他人のいびきを区別できるようにNest Hubの睡眠センサーを強化(1/2)

１．他人のいびきを区別できるようにNest Hubの睡眠センサーを強化(1/2)まとめ

・Google Nest Hubの睡眠記録性能が強化され寝室内の音と室外の音が区別可能になった
・睡眠と覚醒の分類だけではなく、深い眠り、浅い眠り、レム睡眠の睡眠段階を予測可能に
・胸部装着ストラップによって収集された被験データを使って非接触型のNest Hubに転移

２．Nest Hubの睡眠センサーの性能

以下、ai.googleblog.comより「Enhanced Sleep Sensing in Nest Hub」の意訳です。元記事の投稿は2021年11月9日、Michael DixonさんとReena Singhal Leeさんによる投稿です。

最近、眠りが浅い気がするのでNest Hub、再びちょっと欲しくなってきたのですが、睡眠監視は１台では１ユーザ分しか記録出来ないらしいので断念しました。

アイキャッチ画像のクレジットはPhoto by Matthew Henry on Unsplash

今年の初め、私たちはGoogle Nest Hubで非接触型の睡眠センシングを開始しました。これは、ユーザーが望んだ際に自分の睡眠パターンや夜間の健康状態をよりよく理解するのに役立つ機能です。睡眠に関する最も重要な洞察は、その人の全体的なスケジュールと睡眠時間から得られるものもありますが、それだけでは完全なストーリーを語ることはできません。人間の脳には、深い睡眠、浅い睡眠、レム睡眠(REM:Rapid Eye Movement)などの睡眠サイクルを調整する特別な神経回路があり、身体的・精神的な健康だけでなく、身体的・認知的能力のパフォーマンス最適化にも不可欠です。このような睡眠段階の情報と障害事象を組み合わせることで、睡眠中に何が起こっているのかをより深く理解することができます。

本日、より深い睡眠の洞察を提供するスリープ・センシングの機能強化を発表します。

医療目的ではありませんが、今回の機能強化により、睡眠段階や、ユーザーの咳やいびきを室内の他の音と区別することで、睡眠に対する理解が深まります。ここでは、睡眠段階を推定するための転移学習技術と、睡眠障害の原因を特定するためのレーダーとマイクロホンのセンサー情報融合を用いて、これらの新技術を開発した経緯について説明します。

Nest Hubは、ユーザーが自分の睡眠パターンを理解するのに役立つよう、睡眠セッション中のユーザーの睡眠段階を図示した睡眠状態遷移図(hypnogram)を表示します。睡眠中に発生する可能性のある音については、タイムラインに「その他の音」が表示されるようになり、ユーザーの咳やいびきと、寝室外の部屋の音源から検出されたその他の音が区別されるようになりました。

睡眠段階分類モデルの学習と評価

ほとんどの人は一晩に4～6回、約80～120分ごとに睡眠周期を繰り返しますが、周期の間に短時間の覚醒があることもあります。ユーザーが自分の睡眠がどの段階にあるのかを理解することには価値があると考え、Nest Hubの睡眠・覚醒アルゴリズムをSoliを使って拡張し、浅い眠り、深い眠り、レム睡眠の各段階を区別するようにしました。

Nest Hubの初期の睡眠検出アルゴリズムとおおむね同様の設計を採用しました。生のレーダーサンプルのスライディングウィンドウを処理してスペクトログラムの特徴を生成し、これらをTensorflow Liteモデルに継続的に供給します。

重要な違いは、この新しいモデルが、単純な睡眠と覚醒状態の分類だけではなく、睡眠段階を予測するように訓練されており、そのために新しいデータとより高度な訓練プロセスが必要になったことです。

本研究では、高性能なMLモデルの学習に適した豊富で多様なデータセットを構築するために、既存の非レーダーデータを活用し、モデルの学習に転移学習技術を適用しました。

睡眠段階を特定するための標準的な手法には、睡眠ポリグラフ(PSG:polysomnography)があります。PSGでは、ウェアラブルセンサーを用いて、脳活動、心拍、呼吸、眼球運動、体動など睡眠中のさまざまな身体機能をモニタリングします。これらの信号は、訓練を受けた睡眠技術者によって解釈され、睡眠段階が決定されます。

このモデルを開発するために、私達はNational Sleep Research Resourceが公開しているSleep Heart Health Study(SHHS)およびMulti-ethnic Study of Atherosclerosis(MESA)研究から得られた、10,000セッション以上のPSGセンサの生データと、それに対応する睡眠段階の検証済みラベルを用いました。

これらのPSGデータに含まれる胸部無侵襲換気量測定(RIP:Respiratory Inductive Plethysmography)センサーデータは、患者の胸部に装着されたストラップによって収集され、呼吸による動きを測定します。

これはレーダーとは全く異なるセンシング情報ですが、RIPもレーダーも、被験者の呼吸や動きの特徴を示す信号を提供します。この2つの領域の類似性により、プレチスモグラフィ(臓器や全身の容量の変化を測定したデータ)をベースにしたモデルをレーダーに適合させることが可能になりました。

そのために、まずRIPの時系列信号からスペクトログラムを算出し、これを特徴量として畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を学習させ、真実の睡眠段階を予測させました。このモデルは、RIP信号に含まれる呼吸や動きのパターンを識別することに成功し、それをもとに異なる睡眠段階を識別することができました。これは、レーダー信号を用いた場合にも同様のことが可能であることを示しています。

この問題を解決するために、PSG ベースの検証済みラベルに対応するレーダー・センサー・データを収集し、このデータセットの一部を使って初期モデルの重みを微調整しました。このように少量の学習データを追加することで、モデルはプレチスモグラフィに基づいた睡眠段階から学んだ元の特徴に適応し、私達の求める領域にうまく一般化することができました。

更に、新しいレーダーデータを含む初見のテストセットで評価したところ、微調整されたモデルは、他の消費者向け睡眠追跡装置と同等の睡眠段階結果を得ることができました。