デジタルカメンのセットアップを支援するためのアプリケーションの設計

竹川研究室 山本江應

コミュニケーションにおいて、顔は重要な要素の一つです。Secordは、人は対話者の顔の特徴から対話者の性格を推測すると述べており、コミュニケーションにおいて顔は重要な要素の一つとともに、特に意識することなく対話者にも多くの影響を与えているといえます。
 近年、オンラインコミュニケーションにおいて仮想空間上などで自分自身の分身として用いらているデジタルアバタが積極的に活用されています。にじさんじプロジェクトでは、約100名の多種多様なインフルエンサーがYouTube等の動画配信プラットフォームにてアバタを用いて配信活動をしている。
 現在、装着者の顔を表情と同期してアバタに変える仮面型ディスプレイである デジタルカメン を当研究室で開発しています。デジタルカメンはフォトリフレクタセンサを用いて仮面の内側にある装着者の表情をリアルタイムで認識し、その表情を反映させたアバタを軽量薄型の曲面ディスプレイに表示します。以下の写真がデジタルカメンの装着時の写真です。現状、デジタルカメンを用いることで装着時には対話者の緊張感が緩和される傾向があり、会話の意欲が向上することが明らかになっています。しかし、既存のデジタルカメンは重く、装着者への負担が大きい。従来マスクの装着者および、対話者が違和感を感じることで、マスク装着時のコミュニケーションに悪影響があると考えられます。そのため、デジタルカメンZを使ったコミュニケーション支援を実現するには、実用化に向けたハードウェアとインタフェースの改良が必要である。そこで、本研究では現状のデジタルカメンより運用しやすいデジタルカメンを実装することを目的とする。

本研究では、当研究室で開発している装着者の顔を表情と同期してアバタに変える仮面型ディスプレイであるデジタルカメンの装着者を対象とした使用感の調査と改良を行った。既存のデジタルカメンの課題点として、重量による使用時間の制限、装着者による精度の差異、環境光による認識精度の低下、システム起動時のインタフェース、表情学習の前の詳細設定不可が挙げられる。最初に、軽量化のためにセンサ数を減らし、筐体の形を変更した。次に、使用しているセンサは検出物体からの距離を検知するもので、従来のマスクは固定されていて装着者によって精度の差異あった。そこで、センサの固定方を変更し装着者の肌に沿うように配置することを可能にした。また、環境光による影響による認識精度低下防止のために、遮光板の検討を追加した。システム起動時のインタフェースは特定のキーボード入力で複雑であったため、STREAM DECK MINIを使用したボタン入力に変更した。最後に、表情学習前の詳細設定のためのアプリケーションを設計した。

研究一覧に戻る