ヒアラブルデバイスにおける

音漏れ信号を用いた空中ジェスチャ認識

鈴木 俊汰 ，雨坂 宇宙 ，杉浦 裕太 ，渡邉 拓貴

１ １ １ ２

慶應義塾大学，２北海道大学
１

01 経緯
アプローチ
背景
・市販のヒアラブルデバイスから 20kHz の超音波信号を再生し，
・ヒアラブルデバイスの普及 その音漏れ信号を録音
・操作にはスマートフォンのタッチやデバイスのタッチが必要 ・空中ジェスチャを行う手に音漏れ信号が反射し，ドップラー効果
・ユーザビリティの低下 が発生
・タッチによる物理的負担 ・ジェスチャによってドップラー効果に差異が発生し，機械学習
モデルを用いて認識

02 実装

ハードウェア 解析
・ 20kHz 信号のバンドストップフィルタ
・ Apple Earpods[1] に，外部マイクを実装
・フーリエ解析によるスペクトログラム画像生成
・超音波信号を安定して録音
実験と検証
・被験者 1 人に 7 つのジェスチャ＋ニュートラルの
計 8 状態を各 20 回取得
・ 20 分割交差検証を実施
赤：録音，青： 20kHz 信号の再生 ・ Train は 16 回分， Val は 3 回分， Test は 1 回分

03 ジェスチャとスペクトログラム

04 結果 05 今後の展望

・複数人での調査

・データ拡張の採用
・ 8 状態の精度： 81.2%
・画像引き延ばし 1.0 倍 1.1 倍
・ 7 ジェスチャの精度： 78.5%
・ドップラーシフトの大きさの差異を吸収するデータ拡張
・カラーバーの調整
・最適なスペクトログラム表示の探索

問い合わせ先 info-lcl-group@keio.jp