Google Nest Hubで睡眠の質を確認(2/2)

１．Google Nest Hubで睡眠の質を確認(2/2)まとめ

・睡眠を理解して改善するには睡眠が妨げられる理由も理解する必要がある
・そのため動き以外にも温度や光、音など感知するセンサーをNest Hubは搭載している
・これにより咳やいびきなどのも捕捉され睡眠を妨げていないかを確認できる

２．Google Nest Hubとオーディオセンサー

以下、ai.googleblog.comより「Contactless Sleep Sensing in Nest Hub」の意訳です。元記事の投稿は2021年3月16日、Michael DixonさんとReena Singhal Leeさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by Jeffrey Eisen on Unsplash

オーディオセンシングによる睡眠の質の理解
前述のSoliベースの睡眠追跡アルゴリズムは、ユーザーの睡眠量と睡眠障害がいつ発生するかを確認する便利で信頼性の高い方法をユーザーに提供します。

ただし、睡眠を理解して改善するには、ユーザーは睡眠が妨げられる理由も理解する必要があります。これを支援するために、Nest Hubは他のセンサーも使用して、光のレベルの変化や不快な室温などの一般的な睡眠障害を追跡します。

これらに加えて、咳やいびきなどの呼吸器系のイベントも頻繁に睡眠障害の原因になりますが、人々はこれらのイベントに気づいていないことがよくあります。

音声認識や音楽認識などの他のオーディオ処理アプリケーションと同様に、咳やいびきは、可聴周波数スペクトルに特有の時間的パターンを示します。また、十分なデータがあれば、MLモデルをトレーニングして、これらのパターンを確実に認識し、同時に、送風機の回転音から車の騒音まで、さまざまなバックグラウンドノイズを無視することができます。

このモデルは、プライバシーを保護したまま分析行えるように完全にデバイス内で行う音声認識処理を使用しており、生の音声データはGoogleのサーバーに送信されません。ユーザーは、処理の出力(咳やいびきの回数などの音の発生)をGoogle Fitに保存して、個人的な洞察や夜間の健康状態の概要を経時的に表示することを選択できます。

いびきや咳がユーザーの睡眠を妨げた可能性がある場合にNest Hub上に表示され(上)、毎週の傾向を追跡できます(下)。

モデルをトレーニングするために、手作業でラベル付けされた大規模なデータセットを作成し、公開されているAudioSetデータセットと、数千の個人が提供した数十万の追加の実世界のオーディオクリップからの事例を使いました。

音声データ内の咳(左)といびき(右)を比較するLog-Melスペクトログラム入力

ユーザーがベッド脇のNest Hubで咳やいびきの追跡を選択すると、デバイスは最初にSoliベースの睡眠アルゴリズムを使用してユーザーが就寝するタイミングを検出します。ユーザーが眠りに落ちたことを検出すると、デバイス上のサウンドセンシングモデルを有効にして、オーディオの処理を開始します。

このモデルは、音声入力からスペクトログラムのような特徴表現を継続的に抽出し、畳み込みニューラルネットワークの分類器にそれらを供給して、咳やいびきが特定の瞬間に発生する確率を推定することで機能します。これらの推定値は、全体的な咳の数といびきの持続時間のレポートを作成し、これらのイベントがいつ発生したかを正確に強調するために、夜間に分析されます。

結論
基盤となるスリープセンシング機能を備えた新しいNest Hubは、プライバシーを保護するレーダーと音声信号を使用して、ユーザーが夜間の健康状態を理解できるようにするための最初のステップです。消費者向けデバイスに予測能力を持たせる事は、プライバシーを保護する方法で人々が日常の健康と活力をよりよく理解するのに役立つ可能性があります。私達は、他の環境センシングに関する手法を研究し続けています。

謝辞
この作業には、ソフトウェアエンジニア、研究者、臨床医、および部門の枠を超えた貢献者からなる学際的なチームによる共同作業が含まれていました。

この技術とブログ投稿に多大な貢献をしてくれたD. Shinと、スタンフォード/ VAアルツハイマーセンターおよびスタンフォードスリープセンターに所属する睡眠神経内科医を訪ずれてくれたDr.Logan Schneiderに特に感謝します。その臨床的専門知識と貢献は、この研究を継続的に導くために非常に貴重でした。

著者に加えて、Google Healthからのこの調査の主な貢献者には、Jeffrey Yu, Allen Jiang, Arno Charton, Jake Garrison, Navreet Gill, Sinan Hersek, Yijie Hong, Jonathan Hsu, Andi Janti, Ajay Kannan, Mukil Kesavan, Linda Lei, Kunal Okhandiar‎, Xiaojun Ping, Jo Schaeffer, Neil Smith, Siddhant Swaroop, Bhavana Koka, Anupam Pathak, Dr. Jim Taylor, そして the extended teamが含まれます。

このテクノロジーの開発とNest Hubへの統合へのサポートと貢献に対してKen Mixterに特に感謝します。Mark MalhotraとShwetak Patelの継続的なリーダーシップに感謝します。また、また、Nest Hubでのスリープセンシングを構築および検証するために協力してくれたたNest、Fit、Soli、およびAssistantチームにも感謝します。