周囲の音を視覚化してスマートグラスに表示する機能を実装

聴覚障がい者向けに「音が見える！字幕表示メガネでオノマトペ体験会」を2025年1月24-26日に開催

大日本印刷株式会社（DNP）は、周囲の環境音などを擬音語・擬声語としてスマートグラスにテキストで表示する機能を実装しました。テキスト内の感情やイメージに適したフォントに自動的に切り替える「DNP感情表現フォントシステム」＊1を活用して文字を表示することで、より感情豊かなコミュニケーションの実現につなげていきます。

DNPは本機能の有用性や課題等を検証するため、聴覚障がい者を主な対象として、スマートグラス「XREAL Air 2 Ultra」を使用した「音が見える！字幕表示メガネでオノマトペ体験会」を2025年1月24日（金）～26日（日）に新宿NSビルと新宿中央公園（ともに東京都新宿区）で実施します。

スマートグラスの利用イメージ

擬音語と字幕を表示したスマートグラスのイメージ

【開発の背景】

母語の違いや障がいの有無、年齢等の多様性を尊重しながら、必要な情報がより多くの人に届き、楽しんだり知識を深めたり意思疎通したりしやすくなる「ユニバーサルコミュニケーション」の重要性が高まっています。特に、観光地や展示会などで、自治体や企業・団体等による「ユニバーサルコミュニケーション」へのニーズが増えている状況です。

こうした中でDNPは2024年1月に、開発パートナーである株式会社アイシンの協力のもと、観光スポットや展示施設での解説音声を字幕にしてスマートグラスに表示するシステム＊2を開発しました。今回、物音や動物の鳴き声などを模倣した擬音語・擬声語を表示する機能を追加し、多様な人々に周囲の環境音などを伝えられるようにしました。特に聴覚に障がいを持つ人や音が聞こえにくい状況に対して、周囲の音を視覚化することで、日常生活での情報不足や不便さの解消につなげていきます。

【周囲の音を視覚的に表示する新機能の特長】

1.音の視覚化による危険の回避やコミュニケーション支援

今回、アイシンが開発した音声認識システム「YYSystem」に追加された周囲の音を擬音語・擬声語に変換する機能を活用し、スマートグラスで表示できるように実装しました。救急車のサイレン、横断歩道の案内音、水の流れや落ち葉などの自然の音、犬・猫などの動物の鳴き声など10種類の擬音語・擬声語を表示します。この機能により、外出時などに自分の身の回りの状況を察知することで、雰囲気を楽しんだり、安全に行動したりするための情報を得ることができます。

2.テキストの内容に合わせて最適なフォントを表示

本システムでは、「DNP感情表現フォントシステム」を活用します。周囲の音を認識してテキストデータ化し、その言葉が表現する感情やイメージに合うフォントや色に自動的に切り替えて、スマートグラスに表示します。今回、屋外の環境などで特に認識したい音を事前に機械学習させており、実際にその音がした際に、システムがその音を認識して最適な感情表現フォントで表示します。

3.協力企業との技術開発

本取り組みは、東京都の「西新宿先端サービス実装・産官学コンソーシアム」における「先端技術を活用したユニバーサルコミュニケーション分科会」のプロジェクトとして行うものです。DNPは開発パートナーのアイシン、日本Xreal株式会社の協力を得ながら技術開発を進めています。

■「音が見える！字幕表示メガネでオノマトペ体験会」について

〇日時 ： 2025年1月24日（金）～26日（日）

＊各日とも、午前の部（10:30-12:00）、午後の部（14:00-15:30）

＊荒天の場合は中止になることがあります。

〇場所 ： 新宿NSビル（東京都新宿区西新宿2丁目4-1）（https://www.shinjuku-ns.jp/access/）

新宿中央公園（東京都新宿区西新宿2-11）（https://shinjukuchuo-park.jp/access/）

〇参加方法 ： 以下のURLのフォームで、2025年1月8日（水）13:00までにお申し込みください。

https://www2.enq-plus.com/enq/DNP-UCProject/entry_Onomatope/

【今後の展開】

DNPは、「XR（Extended Reality）」の技術を活かし、リアルとバーチャルの空間を融合して新しい体験価値と経済圏を創出する「XRコミュニケーション事業®」を推進しています。また、美術館・博物館等に向けて、ヘッドマウントディスプレイやスマートグラスを使用した展示会ガイダンスシステム、DNPインタラクティブシステム「みどころグラス®」＊3を開発・提供してきました。

今後もこうした取り組みを継続し、スマートグラスを利用した「MR（Mixed Reality：複合現実）体験」の機能や用途を開発するとともに、「ユニバーサルコミュニケーション」を支援する製品・サービスを企業や自治体、文化施設等に展開していきます。

＊1　「DNP感情表現フォントシステム」について → https://shueitai.dnp.co.jp/fontsystem/

＊2　解説音声を感情豊かな字幕にしてスマートグラスに表示するシステム → 

https://www.dnp.co.jp/news/detail/20171313_1587.html

＊3　「みどころグラス」について → https://www.dnp.co.jp/biz/solution/products/detail/10158094_1567.html

※記載されている会社名・商品名は、各社の商標または登録商標です。

※記載された内容などは発表日現在のものです。今後予告なしに変更されることがありますので、あらかじめご了承ください。