凸版印刷、アバターを活用した遠隔での自動同時通訳技術の実証実験を実施

遠隔鑑賞で、説明員と鑑賞者間の円滑なコミュニケーションに必要なユーザーインターフェース（UI）の要件を抽出

　凸版印刷株式会社（本社：東京都千代田区、代表取締役社長：麿 秀晴、以下 凸版印刷）は、総務省の委託研究「多言語翻訳技術の高度化に関する研究開発」（以下、総務省 委託研究）を2020年6月9日（火）より実施しています。
　今回この活動の一環として、アバター（※1）を活用した遠隔コミュニケーションと自動同時通訳技術を組み合わせた遠隔同時通訳の実証実験を、すみだ北斎美術館（東京都墨田区）を始め、都内の複数拠点で実施しました。

※本件は、総務省の「ICT重点技術の研究開発プロジェクト（JPMI00316）」における「多言語翻訳技術の高度化に関する研究開発」の委託を受けて実施する研究開発の計画に係るものです。

ミュージアムでの説明員による日本語でのガイド

遠隔地で鑑賞者、同時通訳された英語の字幕と音声で鑑賞

　本実証実験では、美術館などで来場者と説明員が対面で鑑賞した際と比較し、アバターを用いた遠隔での鑑賞で、説明員と鑑賞者間の円滑なコミュニケーションに必要なユーザーインターフェース（UI）の要件を抽出しました。
　具体的には、凸版印刷が2016年より取り組んでいる「IoA仮想テレポーテーション」（※2）と総務省委託研究において試作した自動同時通訳アプリケーション（プロトタイプ）を使用して実証を行いました。
　美術館や企業ショールームに説明員（日本語）を置き、離れた場所に視聴者（英語）を配置。説明員はIoANeck（※3）を用いて展示解説を実施しました。また、自動同時通訳アプリケーションを介して、説明員と視聴者は、それぞれ相手の発話内容を自分の母国語の音声として聞くことができ、さらに字幕による確認も可能としました。
　実施後、説明員・視聴者双方に対してアンケート調査を行い、UIに関する要件を抽出し、遠隔鑑賞、見学/視察の有用性を確認しました。
　今後、凸版印刷は本実証実験の結果を基にUIの機能向上を行い、国内および国外から博物館や美術館、企業ショールームなどに遠隔鑑賞や見学/視察、商談などが可能となるサービスの実用化を目指していきます。

■ 実証実験の概要と成果
　現地施設には、ガイドを行う説明員、遠隔地に視聴者を配置。説明員はIoANeck™でガイド（日本語）を行い、視聴者は映像閲覧用の端末と自動同時通訳用の端末で鑑賞（英語）。双方が日英自動同時通訳アプリケーション（プロトタイプ）を介して遠隔コミュニケーションを実施。
　実施後、説明員・視聴者双方に対してアンケート調査を行い、UIに関する要件を抽出。コロナ禍を契機に定着しつつある遠隔鑑賞、見学/視察の有用性が認められた。

＜実証実験実施地＞
・美術館 ・・・すみだ北斎美術館（2021年1月12日）
・企業ショールーム・・・凸版印刷 PLAZA21小石川（2020年12月18日）
　 NECネクサソリューションズ Walk In Solution Center 東京（2021年1月20日）

＜検証内容＞
①会話する目的を達成できたか（展示説明が理解できたか？質疑応答ができたか？）
②通訳結果の字幕表示の有無によるUXの違い
③遠隔と対面でのUXの違い（特に遠隔の優位な点）

＜成果＞
・　コロナ禍で人の移動に制限がある状況において、遠隔地の外国人に向けた自動同時通訳によるコミュニケーションに対するニーズの高さを確認。
・　抽出されたUIに関する要件

  1.　視覚情報の情報量の多さが、対人ガイドに比べ理解度に影響する
（例：字幕表示と対象物を視点が行き来することによるユーザーエクスペリエンス改善の必要性）
  2.　反応速度がコミュニケーション理解度に影響する
（例：発話者は質問の回答まで時間がかかると発話が到達・理解されているかが判断つかず困惑）
3.　ガイド、視聴者の様子を映像で共有することにより不安が解消される
（例：相手の表情を見えるようにする必要性）
4. その他のUIに関するニーズとして、合成音声の声色選択、発話タイミングの可視化などが挙がった

■ 背景
　ウィズコロナ/アフターコロナ時代において活動が制限される博物館や美術館、企業ショールームなどでは、非対面・非接触での鑑賞、見学/視察を実現するサービスの提供が求められています。
　将来的には海外から日本のさまざまな施設を遠隔で鑑賞できるサービスに自動同時通訳技術が組み込まれ、言語の壁を越えたコミュニケーションが可能となり、日本の歴史や文化、製品やサービスの理解を促進し、広く世界に認知させることが期待できます。

■ 今後の展開
　今後、凸版印刷は本実証実験の結果を基にUIの機能向上を行い、国内および国外から遠隔で博物館や美術館、企業ショールームなどへアクセスし、言語の壁を越えて、展示鑑賞や見学/視察、商談などに活用できるサービスの実用化を目指していきます。

※1 アバター
　アバターは、次世代のコミュニケーションインタフェースとして期待されている技術です。世界経済フォーラムによる急成長技術トップ10（2019年版）で「Collaborative Telepresence」としてアバター技術の急拡大が予測されているほか、令和元年版情報通信白書でもICT技術の進展が身体・存在・感覚・認知の点で人間の能力をさらに「拡張」することへの期待が取り上げられており、国内外で次世代のコミュニケーションインタフェースとしての存在感が高まっています。

※2 「IoA仮想テレポーテーション」
　IoA（Internet of Abilities：能力のネットワーク)は東京大学大学院情報学環　暦本純一教授により提唱された未来社会基盤で、人間とテクノロジー・AIが一体化し、時間や空間の制約を超えて相互に能力を強化することを実現します。凸版印刷は、暦本教授との共同研究の成果をもとに「IoA仮想テレポーテーション」の開発を行い、2019年4月より企業向けにサービスを開始しています。
　「IoA仮想テレポーテーション」の活用例としては、遠隔観光体験、遠隔教育、不動産の遠隔内見などへの活用が期待できます。

※3「IoANeck™」
　「IoANeck™」は、従来のコントローラーで操作する分身ロボットと比べて、より簡単・気軽に遠隔体験が提供可能です。また、装着部分が振動することで進行方向や向きなどの指示を出せる、ハプティクスによる指示を実現。言語の違いや、身体的な制約により会話が難しい場合でもコミュニケーションを図ることを可能にします。

＊ 「仮想テレポーテーション」は凸版印刷の登録商標です。
＊ 本ニュースリリースに記載された会社名および商品・サービス名は各社の商標または登録商標です。
＊ 本ニュースリリースに記載された内容は発表日現在のものです。その後予告なしに変更されることがあります。

以　　上