技術分析: Kinect

これは前夜の翌日であり、新しい Microsoft Kinect for Xbox 360 プラットフォームの実践的なプレイテストを振り返り、情報源に連絡し、以前は Project として知られていたデバイスの背後にある技術的な全体像をまとめてみる機会です。ナタール。

提供されているゲームのどれも、過去 5 年間このプラットフォームを忠実に使い続けてきたコアな視聴者にアピールするように設計されていないという事実にもかかわらず、Microsoft の行いを嫌いになるのは難しいです。アバター主導のキュートな漫画スタイルのゲームの背後には、単に息をのむような成果である技術的傑作があります。それは、複数のプレーヤーを同時にフルモーション キャプチャし、優れた品質の音声認識を組み合わせたものであり、すべてが消費者レベルのパッケージに収められています。

では、Xbox 360 用の Kinect 内の重要なコンポーネントは何でしょうか。月曜日の夜にプレイするタイトルにそれらのコンポーネントがどのように実装されているのでしょうか?

Kinect には、多くの Web カメラや携帯電話に搭載されている従来の RGB カメラが搭載されており、標準の 640×480 解像度で 30 フレーム/秒で動作します。これに加えて深度センサーもあります。これらはエリアを赤外線ウォッシュで照らし、オブジェクトの距離に基づいてシーンを色分けします。これが Kinect のユニークな機能の鍵です。これにより、ゲームは 3D 空間内のすべての人やすべての場所を認識できるだけでなく、RGB データがなくても、たとえ真っ暗であっても、どんな照明条件でも問題なく動作できることを意味します。

深度マップは、Kinect の武器の中で最も重要な武器であり、レジストレーションとして知られるプロセスで従来の RGB ウェブカメラ画像と統合することもできます。ただし、2 つのプレーンを統合すると、CPU 負荷が若干追加されます。ただし、登録していなくても、開発者がローンチタイトルでそれを利用し、ゲームに直接視覚化していることがわかります。

おそらくこれの最も劇的な例は、Ubisoft の Your Shape: Fitness Evolved です。ここで、画面上のペルソナは事実上、深度マップの後処理されたレンダリングであり、メインの人物 (つまりプレイヤー) が切り取られ、さらに滑らかな外観を作成するために追加のパーティクル効果がオーバーレイされています。

また、Harmonix の Dance Central では深度マップが有効になっていることがわかります。時折、画面上のダンサーがフェードアウトし、さまざまなサイケデリックな効果を備えた、高度に後処理された深度マップの別の表現に置き換えられます。実際、Dance Central は興味深い例です。Your Shape とは異なり、マップはそれほど明確にフィルターされていないため、背景のアイテムやプレイヤーが画像に「漏れ出て」しまいます。

問題は、派手な技術的トリックはさておき、それが実際に機能するかということです。マイクロソフトがイベント用に予約していた巨大なペントハウス スイートでは、私たちが到着したときにはすでに忙しさが始まっていました。各ポッドの周囲のゲームプレイエリアはテープで封鎖されていましたが、カメラの視野内を徘徊する人々や、深度カメラからの IR ビームを乱す可能性のあるフラッシュ撮影による干渉が依然として多くありました。

ただし、1 つの例を除くすべての例で、Kinect は見事に機能し、何らかの問題を引き起こしたのは 1 つのポッド (漫画レーシング タイトルの Joy Ride を実行している) だけでした。これさえも、形を変えた祝福となった。問題をデバッグしようと、ゲームの管理人は開発ダッシュボードに戻り、「NUI」デバッグ ツールをロードしました。私はこのツールが動作している様子をこっそり撮影することができました。基本的には、深度カメラで捉えた視野内の人々を表示し、それらに骨格の動きのポイントを割り当てます。

したがって、システムが実際に機能することが確認できたので、遅れについての考えを再考するときが来ました。思い出していただければ、昨年、試作前の Project Natal を装った Kinect を見たとき、新しい制御スキームに固有の遅延は、Kinect に対する最大の懸念の 1 つでした。比較のアイデアを提供するために、更新されたレンディションではあるものの、まったく同じゲームで特許取得済みの波状アーム テストを実行することにしました。

つまり、1年前に演奏したものと比べて、パフォーマンスレベルという点では大きな変化はありません。すべてのボールを確実に打つためには、200 ミリ秒以内の遅延 (もちろん、ディスプレイからの遅延を含む) で、事前に考えてある程度事前に反応する必要があります。これは、システムの仕組みを理解するにつれて、自然に起こる可能性が高い種類の移行です。