アプリケーション VoiceFilter-Lite：オンデバイス音声認識の改善(2/2)
１．VoiceFilter-Lite：オンデバイスの音声認識の改善(2/2)まとめ ・VoiceFilter-Liteは使用者が自分の音声を登録しなかった場合はアプリ側で無効化できる ・音声分離モデルに発生しがちな抑制不足と抑制過剰への対処...
オンデバイス
アプリケーション アプリケーション VoiceFilter-Lite：オンデバイス音声認識の改善(1/2)
１．VoiceFilter-Lite：オンデバイスの音声認識の改善(1/2)まとめ ・2018年に自分の声を登録して音声認識機能をパーソナライズするVoiceFilterを発表 ・VoiceFilterは成功したがスマートフォンなどのデバイ...
アプリケーション Web MLによるGoogle Meetの背景置き換え(1/2)
１．Web MLによるGoogle Meetの背景置き換え(1/2)まとめ ・ビデオ会議ソフトGoogle Meetで機械学習を使用して背景を置き換える技術が発表 ・ブラウザで直接動作するMediaPipeを使っているのでアドオンのインスト...
アプリケーション YouTubeストーリーで人の声だけ音量を上げる(1/2)
１．YouTubeストーリーで人の声だけ音量を上げる(1/2)まとめ ・バックグラウンドノイズが大きいビデオでは被写体のスピーチが曖昧になり理解しにくい ・Looking to Listenは音声と口の動きなどの視覚信号を使い特定の人の音声...
モデル MediaPipe BlazePose：リアルタイムにオンデバイスでポーズを追跡(2/2)
１．MediaPipe BlazePose：リアルタイムにオンデバイスでポーズを追跡(2/2)まとめ ・Tracking Modelはキーポイントの「ヒートマップとオフセット」の組合わせを教師として使用 ・20%の誤差であれな許容範囲(PC...
モデル MediaPipe BlazePose：リアルタイムにオンデバイスでポーズを追跡(1/2)
１．MediaPipe BlazePose：リアルタイムにオンデバイスでポーズを追跡(1/2)まとめ ・動画内の人間のポーズを推定する技術はARやフィットネス向けのアプリなどで重要 ・BlazePoseは人体のポーズを知覚する新しい手法で既...
アプリケーション Lookout：視覚に困難を抱える人のためにスマホで商品を識別(2/2)
１．Lookout：視覚に困難を抱える人のためにスマホで商品を識別(2/2)まとめ ・LookoutはMediaPipe Box trackingやScaNNを使って実装されている ・大規模な分類モデルであるNASNetを教師モデルとしてト...
ヘルスケア Lookout：視覚に困難を抱える人のためにスマホで商品を識別(1/2)
１．Lookout：視覚に困難を抱える人のためにスマホで商品を識別(1/2)まとめ ・Lookoutは視覚に困難があっても現実世界で活躍できるようにするAndroidアプリ ・スマートフォンカメラをスーパーの陳列棚に向けるとLookoutは...
学習手法 自己教師学習で音声特徴表現と個人専用モデルを改善(1/2)
１．自己教師学習で音声特徴表現と個人専用モデルを改善(1/2)まとめ ・非セマンティックタスクとは、声の調子など、人間の音声の「意味以外の側面」に焦点を当てたタスク ・従来のベンチマークでは非セマンティックタスク用の特徴表現が有用か否かを比...
その他の分野 MediaPipe Objectron:モバイル上でリアルタイムに物体の三次元形状を認識(2/2)
１．MediaPipe Objectron:モバイル上でリアルタイムに物体の三次元形状を認識(2/2)まとめ ・実世界データとAR合成データを組み合わせることで、精度を約10%向上させる事に成功 ・バックボーンとなっている技術は、Mobil...
学習手法 Recorder：Pixelスマートフォン用の検索可能な録音アプリ(2/2)
１．Recorder：Pixelスマートフォン用の検索可能な録音アプリ(2/2)まとめ ・Recorderは音声を50ms単位で小さく分析し正確に音声イベントの開始時間と終了時間を特定している ・音声分類結果が目まぐるしく変わらないようにa...
学習手法 Recorder：Pixelスマートフォン用の検索可能な録音アプリ(1/2)
１．Recorder：Pixelスマートフォン用の検索可能な録音アプリ(1/2)まとめ ・録音音声をリアルタイムで書き起こしてタグ付けし、検索しやすくするPixel用アプリが公開 ・Recorderと名付けられたこのアプリはオンデバイスで動...