Google Nest Hubで睡眠の質を確認(1/2)

１．Google Nest Hubで睡眠の質を確認(1/2)まとめ

・非接触型レーダーを使って睡眠状態を追跡できるGoogle Nest Hubの第二世代が発表
・指定範囲にいる人が眠っているか起きているかを自動判断するアルゴリズムを搭載
・現在の臨床および消費者向け睡眠追跡デバイスと同等またはそれより以上の性能を発揮

２．Google Nest Hubの睡眠記録機能

以下、ai.googleblog.comより「Contactless Sleep Sensing in Nest Hub」の意訳です。元記事は2021年3月16日、Michael DixonさんとReena Singhal Leeさんによる投稿です。

本記事で解説されているNest Hubの睡眠を記録できる機能は大変気になるのですが、この睡眠トラッキング機能が搭載されているのは2021年3月現在ではまだ日本で発売されていない「Google Nest Hub 第２世代」です。現在、日本で期間限定で３割引くらいで販売されているのは初代(無印)なので、まだ睡眠トラッキング機能は搭載されていません。第2世代は第2世代と明記されて販売されるようなるので留意です。

2021年11月追記）睡眠観察機能が更に強化され寝室外の音が区別されるようになりました。

Nest(巣)のHub(中核)感がばっちりな画像で少し嬉しかったアイキャッチ画像のクレジットはPhoto by Jeffrey Eisen on Unsplash

人々は、毎日の運動や心拍数を記録したり、睡眠パターンを理解するために、健康と幸福を管理するテクノロジーを利用することがよくあります。睡眠は人間の日常の幸福の基礎であり、気分、エネルギー、食事、生産性など、人生の他の側面によって影響を受ける(そして、影響を与える)可能性があります

人々の健康と幸福をサポートするための継続的な取り組みの一環として、本日、咳やいびきの検出アルゴリズムに加えてレーダーを使って睡眠状態を追跡する新しいNest Hubの睡眠感知機能を発表しました。

医療目的器具ではありませんが、睡眠センサーは、体に取り付けずともベッド脇に設定する事で、ユーザーが夜間の健康状態をよりよく理解するのに役立つ機能です。ここでは、睡眠センサーの背後にあるテクノロジーについて説明し、搭載された信号処理機構を活用して、(他の臨床および消費者向け機器と比較して)ユーザーのプライバシーを保護する方法で睡眠モニタリングを可能にする方法について説明します。

睡眠追跡のための革新的なレーダーSoli
Nest Hubの睡眠センサーは、指のタップから人の体の動きまで、様々な規模でジェスチャーセンシングに使用できる小型レーダーセンサーであるSoliを健康分野に応用した初のアプリケーションです。Pixel 4では、SoliがMotion Senseを強化し、スマートフォンをタッチせずとも曲をスキップしたり、アラームを小さくしたり、通話を消音したりできるようになっています。このテクノロジーを拡張し、睡眠追跡のためにNest Hub用に組み込みのSoliベースのアルゴリズムを開発しました。

Soliは、ミリ波周波数変調連続波(FMCW:Frequency-Modulated Continuous Wave)レーダートランシーバーで構成されており、超低電力の電波を放射し、対象風景からの反射信号を測定します。反射信号の周波数スペクトルには、風景内の物体の距離と速度の集約表現が含まれています。この信号を処理して、ユーザーの睡眠範囲などの特定の対象範囲を分離し、大きな体の動きから1センチメートル未満の呼吸まで、この領域内のさまざまな動きを検出して特徴づけることができます。

広範囲に動きを検出するSoliのスペクトログラムの能力
(a)空の部屋(黒いスペースによって示される反射信号の変化なし)
(b)大きなポーズの変化
(c)短い手足の動き
(d)安静時の呼吸(1センチメートル未満の胸部および胴体の変位)

この信号を睡眠検知に利用するためには、指定された睡眠範囲に人がいるかどうか、もしそうなら、人が眠っているか起きているかを判断できるアルゴリズムを設計する必要がありました。カスタム機械学習(ML:Machine Learning)モデルを設計して、3Dレーダーテンソル(距離、周波数、時間の範囲にわたる動きを要約)の連続ストリームを効率的に処理し、各特徴を3つの可能な状態(不在、覚醒、そして睡眠)のいずれかに自動的に分類します。

モデルをトレーニングおよび評価するために、数千人の個人から100万時間以上のレーダーデータを、数千の睡眠日記、参照センサーの記録、および外部注釈とともに記録しました。次に、TensorFlow Extendedフレームワークを活用して、このデータを処理し、効率的なTensorFlow Lite組み込みモデルを作成するためのトレーニングパイプラインを構築しました。更に、セットアップ中に実行される自動較正アルゴリズムを作成して、分類器が焦点を合わせるシーンの部分を構成しました。これにより、アルゴリズムは、ベッドの反対側にいる人や、天井のファンや揺れるカーテンなど、部屋の他の領域からの動きを無視します。

カスタムMLモデルは、3Dレーダーテンソル(距離、周波数、時間の範囲で動きを要約)の連続ストリームを効率的に処理し、ユーザーの存在と意識状態(覚醒または睡眠)の可能性を確率として自動的に計算します。

アルゴリズムの精度を検証するために、幅広い年齢層(19～78歳)の33人の「健康な睡眠者」(睡眠時無呼吸や不眠症などの重大な睡眠の問題がない人)集団で、睡眠覚醒測定のゴールドスタンダードである睡眠ポリグラフ検査(the polysomnogram sleep study)と比較しました。

睡眠研究は通常、さまざまな身体信号(脳波、筋活動、呼吸数と心拍数の測定、体の動きと位置、いびき)を収集するために、臨床検査室と研究室で行われます。

次に、訓練を受けた睡眠の専門家がこれを解釈して、睡眠の段階を判断し、関連するイベントを特定します。様々なスコアラーがアメリカ睡眠医学会のステージングとスコアリングのルールを適用するとばらつきが発生するため、私達の研究では、2人の理事会認定の睡眠技術者を採用して、毎晩の睡眠に個別に注釈を付け、明確な根拠を確立しました。

30秒単位毎に、Sleep Sensingアルゴリズムの出力を、専門家が付与した真実のラベル(睡眠または覚醒)と比較して、標準のパフォーマンス指標(感度や特異度など)を計算しました。直接比較ではありませんが、この調査の結果は、パフォーマンスの概算を取得するために、同等の方法論を使用して同様の集団で以前に行われ公開された調査結果と比較できます。

論文「Sleep-wake detection with a contactless, bedside radar sleep sensing system」では、これらの検証結果の詳細をすべて共有し、現在の臨床および消費者の睡眠追跡デバイスと同等または場合によってはそれよりも優れた睡眠覚醒推定であった事を示します。

さまざまな異なる研究で行われた睡眠ポリグラフ検査に対するさまざまな睡眠トラッカーの睡眠(感度)と覚醒(特異度)を検出するために以前に公開されたデータから集計したパフォーマンス図。合計3,990泊を元にしたデータとなります。これは直接の比較ではありませんが、睡眠ポリグラフ検査を同時に受けた健康な睡眠者の集団におけるNest Hubでの睡眠センシングのパフォーマンスが大まかな比較のために図に追加されています。各円のサイズは夜の数を反映しており、挿入図はパフォーマンス測定基準の平均±標準偏差を示しています。