スイッチ音の音色評価に及ぼす触覚と注意の影響

• このように同じ音でも違った評価となることを日常生活でも経験します。当研究室では，「キーボードを打つ人は，触覚のフィードバックを受け，かつ積極的に音を聴いている」のに対して，隣の人は「触覚フィードバックなしで，かつ消極的に音を聞いている」という違いに着目しました。そして，音色評価に及ぼす触覚のクロスモダリティと，注意の影響を定量化することに成功しました。
• 下左図は，視覚の影響を排除するために同一のキャップを載せた15種のスイッチの写真です。下右図は，音色を評価した結果を2次元で可視化したもので，1〜15番のスイッチの音色の変化を「白矢印：触覚の影響」，「黒矢印：注意の影響」として表現しました。

車室サイズの22.2ch音響システムにおける臨場感評価

• 22.2ch音響は，スーパーハイビジョンの音響システムとして採用されている高臨場感音響再生システムです。これをカーオーディオに転用し，かつ運転席で最高の聞こえを達成するための音圧調整法を工夫しています。（下図では，車室サイズ空間での「包み込まれ感」を評価したもので，赤丸が運転席位置を表しています。音圧調整の結果として助手席よりも評価が高くなっています。

胎児心拍計測システムの構築

• 2019年度： プロトタイプとしてPC外付けの録音系を用いて構築し，母体雑音から胎児心音を抽出する信号処理を検討しました。
• 2020年度： iPhoneで一通りのシステムを構築しました。心配な心音データを得た場合には，即，医師に転送できるようにしました。
• 2021年度： ユーザインタフェースを経産婦さんに評価してもらいブラッシュアップしました。マイクロホン・心拍計測アルゴリズム・データ転送方式等を見直し，一応の完成形としました。

臨場感メータの構築

• 第1期： カワイサウンド技術・音楽振興財団とJSPS科研費の助成を受けて，システム臨場感とコンテンツ臨場感を定義したうえで，高い臨場感を得る条件を明らかにしました。
• 第２期： NICTからの委託を受けて，NHK放送技術研究所・大阪学院大学・東北大学との共同研究として実施しました。AV (Audio-Visual) 信号を解析し，ヒトが視聴した場合に感ずる臨場感の値をニューラルネットワークにより推定する仕組みを構築しました。

成果の一部は，日本音響学会誌の解説記事としてまとめてあります。 

聴覚モデルの構築

• 第1期では，CPU上に聴覚末梢から中枢までの各部位の機能モデルを組み上げることで，大脳皮質聴覚野で観測される様々な神経応答を再現することを目指しました。
• 第2期では，GPU上に各モデルを再構築することで，高速な処理を実現しました。

その他多くのプロジェクト

• 感性情報工学演習用の聴覚・視覚実験システムの構築

• バイノーラル録音再生系における周波数特性補正手法の定式化
• インパルス応答測定システムの構築
• 効率的な感性評価法（ダイアゴナル一対比較法）の開発
• アルプスアルパイン(株)との一連の共同研究
• 渡邉先生が直接指導された頭部伝達関数関連の研究
• 木下先生が直接指導されたユーザインタフェース関連の研究
• 森勢先生が直接指導された音声合成・知覚に関する研究
• 杭州科技大 Kong先生が直接指導された脳波＋人工知能技術の研究
• もっと，もっと...