皇冠体育-澳门皇冠体育@

オンラインでも視線を合わせながらの会話を可能にするWeb会議システムを、金沢工業大学情報フロンティア学部皇冠体育-澳门皇冠体育@情報学科 坂知樹助教（専門：画像処理、医用画像処理）が発明しました。

当発明は令和2年12月11日に特許出願済です（特願2020-205631）。

これまで視線が合うWeb会議システムは報告が無く、新規需要が期待されています。

皇冠体育-澳门皇冠体育@感染症（COVID-19）がきっかけとなり、テレワークやネット授業が日常的になりました。アフターコロナにおいてもオンラインでのコミュニケーションは"ニューノーマル"になっていくものと考えられています。一方で、今日一般的に使用されているWeb会議システムは、相手の顔が見える画面とカメラが違う位置にあるため、対面と違ってユーザ同士の視線が合わず、違和感を覚えてしまうケースが多いという課題があります。

画面の相手を観ながら話すと視線が合わなくなる

今回発明されたシステムは、画面の両脇（左右もしくは上下）に置かれたカメラで画面中央に"仮想カメラ"を生成し、ユーザを正面から撮影したような映像を仮想的に表示します。

画面の相手と目線を合わせながら違和感なくコミュニケーションができるため、テレワークにおけるテレビ会議システムやWeb面接システムでの実用化が期待されます。また視線のずれなく鏡を見るように写真撮影が可能になるため、証明写真機等の分野でも新規需要が見込まれます。

当システムの実用化に向けて、今後、企業との連携を進めていく考えです。

新たに発明されたWeb会議システムの概要

【先行技術の課題】

現在、一般的なWeb会議システムに用いられるハードウェアは以下の2通りの形式があり、いずれも画面およびカメラがハードウェアの前面に設置されています(図1)。

図1 先行のWeb会議システム（ハードウェア）
左：画面長辺にカメラを設置する形式、右：画面短辺にカメラを設置する形式

これらのハードウェアを用いてWeb会議システムを動作させた場合、ユーザが画面内の会議相手の顔に視線を向けると、カメラから視線がずれてしまい、ユーザ同士が視線を合わせて会話することが困難となります（図2）。

また画面中央にカメラを設置することで画面に視線を合わせるユーザを正面から撮影できますが、この場合はカメラが画面を遮蔽してしまう問題があります。

図2　先行のWeb会議システム（アプリケーション）
左：画面上部にカメラを設置した場合、右：画面右部にカメラを設置した場合

【本発明の本質】

本発明の本質は、「画面の両脇（左右もしくは上下）に画面を挟むように2台のカメラを設置」し（図3）、これらで撮影した画像を合成することで「画面中央にあるカメラがユーザを正面から撮影したような映像を仮想的に生成」することにあります。

図3 発明したWeb会議システム（ハードウェア）

生成された「画面の中央に位置する仮想カメラより撮影された画像」をWeb会議システムに表示することで（図4）、ユーザ同士の視線が合うWeb会議システムが実現します。

図4 発明したWeb会議システム（アプリケーション）

この「画面中央に位置する仮想カメラより撮影された画像」は「ステレオマッチング」という技術を応用しています。

ステレオマッチングとは、人間が左右の目でモノを立体的に見る仕組みと同様に、左右のカメラで撮影した2枚の2次元画像から視差を推定し3次元の情報を推定する手法です。

本発明ではこのステレオマッチング技術を用いて、2台のカメラの中間に位置する「仮想カメラ」が撮影した画像を推定します。 「仮想カメラより撮影された画像」を画面に表示することで、ユーザは画面内に映る会議相手と視線が合います。

プロトタイプの画像
画面の両脇（左右もしくは上下）に画面を挟むように2台のカメラを設置することで、画面中央に仮想カメラを生成する

左カメラの画像

右カメラの画像

画面中央に位置する仮想カメラより撮影された画像

本発明の効果

?ユーザ同士の視線が合う

?円滑なコミュニケーションが可能となる

?ユーザが自分自身を撮影する際に鏡を見るように表示できる

技術分野、用途、実用化例

?テレビ通話システム　：話し相手と視線が合う

?Web面接システム　　：面接官と受験者の視線が合う

?証明写真機：鏡を見るように証明写真を撮影できる

想定される技術移転先（業界?企業）

?(ハードウェア) スマートフォンメーカー、PCメーカー、周辺機器メーカー

?(アプリケーション) ソーシャル?ネットワーキング?サービス会社

関連ページ

KIT金沢工業大学 研究室ガイド 皇冠体育-澳门皇冠体育@情報学科 坂知樹 研究室