日本マイクロソフトは28日、同社のモーションセンサー「Kinect」をパソコンとつないで活用したナチュラルUIの応用事例や、マイクロソフトの研究部門によるナチュラルUIの最新研究事例について披露した。俊一氏は、まず日本で開発されたKinectの応用事例をいくつか披露した。Opect」(オペクト)は、手術中の医師がKinectに向かって手振りで操作すると、それを認識して写真が切り替わったり、3D画像を動かせるというシステム。医師が機器に触れることなく、患者や手術に必要な情報を表示できるため、集中力を切らさず衛生的でもある。システム」の説明図(左)と、3D画像を操作するデモ。OAK」は、重度の障碍で体の動きが制約されている人が、口の開閉や手の動きでパソコンを操作・入力するシステムである。Kinectセンサーで、顔や口の動きを追跡することで機能を実現しており、例えば顎の開閉をPowerPointのコマンドに割り当てて、スライドを次ページに送るといったデモが披露された。このシステムを使えば、例えば操作者の顔が動いても口の動きだけを別に追跡できるため、口の動きによる操作の精度を高められるという。「OAK」の説明と操作デモ。顔全体だけでなく両目や口の動きを個別に認識して、その動きにコマンドを割り当ててアプリケーションを操作できるそのほかにも、Kinectを応用した介護施設向けのリハビリテーション支援システム「リハビリウム起立くん」(九州大学とメディカ出版、長尾病院による共同開発)や、体の動きにより空中で書道の書を書く「AIRSHODOU」(システムフレンド開発)といったデモも披露された。医療や介護からエンターテイメントまで、人の体や顔の動きを高精度かつ低コストで認識できるKinectは、体を使ったナチュラルUIの世界を大きく変えつつある。立つ/座るといった動作を認識して、ゲーム仕立てのアプリケーションでモチベーションを高めながらリハビリに臨める「リハビリウム起立くん」のデモ。右下の赤丸内にKinectがある加治佐氏自らがデモした「AIRSHODOU」。大きく手を動かすと、その動きが書になる今回披露された事例以外にも、Kinectの応用事例は広がっている。現在は医療・リハビリ向けとエンターテインメント向けが多いようだが、応用範囲はいくらでも広がるだろうマイクロソフトの研究部門、マイクロソフトリサーチによるナチュラルUIの研究成果披露では、ワシントン州レドモンドのマイクロソフト本社敷地内(通称マイクロソフトキャンパス)でのビル間移動を支援する「シャトルバスの手配システム」が紹介された。これもKinectとパソコンをベースに構築されている。ディスプレーの前に立った複数の人物を認識して、それぞれの顔や会話を認識しながら、移動先を聞き出して適切なバスを用意するという仕組みである。真正面にいる人物以外に、カメラとセンサーの範囲にいる別の人物も認識して、「あなたはどうするの?」といった具合に声をかけるといった、人間的な応対を実現している。マイクロソフトリサーチによる「シャトルバスの手配システム」の説明。Kinectを使った人の動きや会話の認識だけでなく、スムーズな音声合成や3D画像によるアバターの動きといったさまざまな要素をまとめているまた、Kinectと同様に赤外線センサーを使って腕の動きを認識する携帯型センサー「Digits」も紹介された。開発機は手首に付けるセンサーを使って腕や手の動きを認識し、コンピューターの操作を可能にするという仕組みだ。Kinectのようにある程度の設置空間を必要とするシステムよりも、手軽に利用できる利点がある。「Digits」の外観(左)とデモの例。右写真の赤枠内が、センサーで捉えて画面内に表示された腕。SDK」は、2012年2月のリリース後も改訂を重ねて機能を追加してきた。2012にも対応している。Fusion」と呼ばれる機能が追加されるという。Kinectを対象物の周囲で動かすと、対象物の3Dスキャンが可能。レコチョクがライブ公演をVRコンテンツとして収録VRでアートの鑑賞。スマホお気に入り一覧マイページ。