１．他人のいびきを区別できるようにNest Hubの睡眠センサーを強化(2/2)まとめ
・睡眠を理解して改善するためには、なぜ睡眠が妨げられるのかを理解する必要がある
・睡眠障害の原因となるいびきや咳が自分のものであるかどうかを理解することが重要
・ユーザーの呼吸パターンと同期していないいびき音は分けて分類するようにした
２．Nest Hubの睡眠センサーの応用
以下、ai.googleblog.comより「Enhanced Sleep Sensing in Nest Hub」の意訳です。元記事の投稿は2021年11月9日、Michael DixonさんとReena Singhal Leeさんによる投稿です。
アイキャッチ画像のクレジットはPhoto by Matthew Henry on Unsplash
音源を区別してより知的な音声センサーを実現
Soliを使用した睡眠トラッキングは、ユーザーがどれだけの睡眠をとっているか、いつ睡眠障害が発生するかを確認する便利で信頼できる方法です。しかし、睡眠を理解して改善するためには、なぜ睡眠が妨げられるのかを理解する必要があります。
以前、Nest Hubが咳やいびきのモニタリングに役立つことをご紹介しましたが、これらは頻繁に起こる睡眠障害の原因であり、ユーザーが気づかないことも多いものです。このような睡眠障害をより深く理解するためには、検出されたいびきや咳が自分のものであるかどうかを理解することが重要です。
Nest Hubに搭載された元のアルゴリズムでは、デバイス上のCNNベースの検出器を使用してNest Hubのマイク信号を処理し、咳やいびきのイベントを検出していましたが、この音声のみのアプローチでは、音がどこから発生したのかを区別することはできませんでした。
そこで、音声センシングとSoliベースのモーションキューや呼吸キューを組み合わせ、アルゴリズムをアップデートして、ユーザーが指定した睡眠エリアから発生した睡眠障害と、部屋の中の他の音源から発生した睡眠障害を分離することにしました。
例えば、ユーザーがいびきをかいている場合、音声信号に含まれるいびきは、Nest Hubのレーダーセンサーで検出された吸気と呼気と密接に対応します。逆に、睡眠エリア外でいびきが検出された場合、2つの信号の変化は独立しています。
Nest Hubが咳やいびきを検知しても、音声と動作の相関性が十分でないと判断した場合は、ユーザーの咳やいびきのタイムラインから除外し、代わりに「その他の音」としてNest Hubのディスプレイに表示します。
今回のアップデートされたモデルでも、引き続き、完全にデバイス上で音声処理とプライバシー保護のための分析を行います。生の音声データがGoogleのサーバーに送信される事ありません。ユーザーは、処理結果(咳やいびきの回数などの音の発生状況)を「Google Fit」に保存することで、夜間の健康状態を時系列で確認することができます。
ユーザーの呼吸パターンと同期しているいびき音(左)は、ユーザーのNest Hubの「いびき(Snoring)」タイムラインに表示されます。ユーザーの呼吸パターンと同期していないいびき音(右)は、Nest Hubの「その他の音(Other sounds)」のタイムラインに表示されます。
睡眠センシング機能を備えたNest Hubが発売されて以来、研究者たちはNest Hubによる夜間の咳のデジタル定量化を利用した調査研究に興味を示しています。
例えば、Cystic Fibrosis Foundation(嚢胞性線維症財団)が支援する小規模なフィージビリティスタディでは、肺の粘液によって慢性的な咳を引き起こす希少な遺伝性疾患である嚢胞性線維症(CF:Cystic Fibrosis)の子供の家族を対象に、Nest Hubを使って夜間の咳を測定することの実現可能性評価を現在進行中です。研究者たちは、夜間の咳を定量化することで、治療に対する反応をモニタリングするための代用手段になるかどうかを探っています。
まとめ
Nest Hubでは、プライバシー保護に配慮したレーダーと音声信号に基づいて、睡眠の状態を把握したり、音声を感知したりする機能が強化されています。ユーザーが夜間の健康状態を把握して、全体的な健康状態の改善に役立てることができると期待しています。
謝辞
本研究は、ソフトウェアエンジニア、研究者、臨床医、部門横断的な協力者からなる学際的なチームによる共同作業で行われました。特に、睡眠神経学者であるLogan Schneider博士からは、その臨床的な専門知識と貢献により、本研究を継続的に進める上で非常に貴重な助言をいただきました。著者のほか、Anupam Pathak, Jeffrey Yu, Arno Charton, Jian Cui, Sinan Hersek, Jonathan Hsu, Andi Janti, Linda Lei, Shao-Po Ma, Jo Schaeffer, Neil Smith, Siddhant Swaroop, Bhavana Koka, Jim Taylor博士、および拡張チームが本研究に貢献しています。リーダーシップを発揮してくれたMark MalhotraとShwetak Patel、そしてNest Hubでの睡眠感知機能の強化を構築・検証するために協力したNest、Fit、Assistantの各チームに感謝します。
３．他人のいびきを区別できるようにNest Hubの睡眠センサーを強化(2/2)関連リンク
１）ai.googleblog.com
Enhanced Sleep Sensing in Nest Hub
