How Does A Computer Know Where You're Looking?

車の運転を想像してみましょう。ヘッドアップのディスプレイプロジェクションをフロントガラスに使用して、不慣れな都市をナビゲートします。 これは拡張現実(AR)です。 この情報は、ルート沿いを案内するだけでなく、サイクリストや歩行者など、周囲の目立つ情報を知らせるためにも使用されます。 バーチャルコンテンツの正しい配置は重要であるだけでなく、おそらく生と死の問題です。

情報は他のマテリアルを隠すことができず、それを理解するのに十分長く表示する必要がありますが、あまり長くは表示されません。 コンピュータシステムは、これらの決定をリアルタイムで行う必要があり、情報の邪魔になることはありません。 私たちは自転車運転者が自転車に乗ってサイクリスト自身を不明瞭にすることを警告する必要はありません。

ARの研究者として、適切な情報を適切な場所に、適切なタイミングでユーザーの画面に表示する方法を見つけようと多くの時間を費やしています。 あまりにも多くの情報を表示するとユーザーを混乱させることがあるが、十分ではないとアプリケーションを役に立たなくすることがあるということを学んだ。 私たちは間にスイートスポットを見つけなければなりません。

これの重要な要素は、ユーザーがどこを探しているかを知ることです。 その後、必要な情報を処理できる場所に情報を提供することができます。 私たちの研究は、 ユーザーが実際のシーンを見ている仮想コンテンツを配置する場所を決める手助けとなります。 ARは私たちの生活の多くの領域に 運転 〜へ 〜へ レクリエーション - 重大で批判的な行動をサポートするためにARに頼る前に、この問題を解決する必要があります。

情報の格納場所の決定

ユーザーが探している場所に情報を表示するのは理にかなっています。 ナビゲートするとき、ユーザは、ビルディング、ストリートまたは他の実際のオブジェクトを見て、関連する仮想情報を明らかにすることができる。 システムは、可視シーンが乱雑にならないように、他のすべてのディスプレイを隠すことを知っています。


innerself subscribe graphic


しかし、誰かが何を見ているのか、私たちはどのように知っています 人間の視覚のニュアンスは、私たちが人の目で調べることを可能にすることが判明しました。 彼らが探している場所を計算する。 これらのデータを人の視野を示すカメラとペアリングすることによって、人が何を見ているか、そして自分が何を見ているかを判断することができます。

目の追跡システムは1900で初めて登場しました。 もともと彼らは読書パターンを研究するためにほとんど使用されていました。 いくつかは読者にとって非常に邪魔になることがあります。 最近では、リアルタイムのアイトラッキングが登場し、手頃な価格で、操作が簡単になり、小型化しています。

アイトラッカーは、 スクリーンまたはウェアラブル・メガネまたはヘッドマウントディスプレイに統合。 目の追跡は、 カメラ、投影法、コンピュータビジョンアルゴリズム モニター上の目と注視点の位置を計算する。

目のトラッキングデータを調べる際には、一般的に2つの方法があります。 最初のものは 固定私たちの注視を一時停止したときに、しばしばシーン内の興味深い場所で、私たちの注意を引いたので説明するために使用されます。 2番目は サッカード、目の位置を決めるために使用された迅速な眼球運動の1つ。 短期間の固定の後に、サッカードと呼ばれる迅速な動きが続く。 基本的に、私たちの目は、シーンの一部についての情報の断片を取って、場所から場に素早く移動します。 私たちの脳は、これらの固定からの情報をまとめて、私たちの心の中に視覚的なイメージを形成します。

{youtube}tdFIvRMvFQI{/youtube}

視線追跡とARの組み合わせ

多くの場合、ARコンテンツは実際のオブジェクトまたは場所に固定されます。 たとえば、その通りに通り名を含む仮想ラベルを表示する必要があります。 理想的には、ARラベルを関連付けられている実際のオブジェクトの近くに表示することができます。 しかし、複数のARラベルが重複して判読できないように注意する必要もあります。 ラベル配置の管理には多くのアプローチがあります。 実際のシーンでどこを見ているのかを計算し、その場所にのみARラベルを表示するという選択肢を検討しています。

たとえば、ユーザーがモバイルアプリケーションとやりとりしているので、食料品店で低カロリーの穀物を買い物するのに役立ちます。 ARアプリケーションでは、各穀物はそれに関連するカロリー情報を有する。 ユーザは、各シリアルボックスを物理的にピックアップして栄養成分を読み取るのではなく、モバイル機器を持ち上げて特定のシリアルボックスでポイントして、関連情報を明らかにすることができる。

しかし、店舗のシリアル通路がいかに混雑していて、さまざまなパッケージがあるかを考えてみてください。 ARラベルの表示を管理する何らかの方法がなければ、すべてのシリアルボックスのカロリー情報ラベルが表示されます。 興味のあるシリアルのカロリー量を特定することは不可能です。

彼の目を追跡することによって、ユーザがどのシリアルボックスを見ているかを判断することができます。 次に、特定の穀物のカロリー情報を表示します。 彼が別の箱に視線を移すと、彼は彼が考える次のもののための数字を表示する。 彼の画面は整理されていて、彼が望む情報はすぐに利用でき、追加情報が必要なときにはそれを表示することができます。

このタイプの開発は、AR研究のためのエキサイティングな時間です。 現実世界のシーンをモバイルグラフィックス上のコンピュータグラフィックスと統合する能力は向上しています。 これは、私たちの周りの世界と対話し、学び、そして楽しむ能力を拡大する素晴らしい新しいアプリケーションを作成する見通しです。

著者について

Ann McNamara、視覚化准教授、 テキサスA&M大学

この記事は、最初に公開された 会話。 読む 原著.

関連書籍

at