アプリケーション MediaPipe Holistic：オンデバイスで顔、手、ポーズを同時に予測(2/2)
１．MediaPipe Holistic：オンデバイスで顔、手、ポーズを同時に予測(2/2)まとめ・MediaPipe Holisticは2017年モデルや中価格帯のスマホほぼリアルタイムで実行可能・モデルがほとんど独立しているため、速度と...
on-device
アプリケーション アプリケーション MediaPipe Holistic：オンデバイスで顔、手、ポーズを同時に予測(1/2)
１．MediaPipe Holistic：オンデバイスで顔、手、ポーズを同時に予測(1/2)まとめ・MediaPipeはスマホで人間のポーズ、顔、手をリアルタイムで認識するフレームワーク・従来のMediaPipeシリーズは各モデルで個々の部...
アプリケーション Smart Scroll：録音データから探している音声を捜しやすくする(1/2)
１．Smart Scroll：録音データから探している音声を捜しやすくする(1/2)まとめ・昨年、音声録音をより便利にする新しい録音アプリであるRecorderをリリース・Recorderは最大18時間を転記できるため特定のセクションを見つ...
アプリケーション VoiceFilter-Lite：オンデバイス音声認識の改善(2/2)
１．VoiceFilter-Lite：オンデバイスの音声認識の改善(2/2)まとめ・VoiceFilter-Liteは使用者が自分の音声を登録しなかった場合はアプリ側で無効化できる・音声分離モデルに発生しがちな抑制不足と抑制過剰への対処も考...
アプリケーション VoiceFilter-Lite：オンデバイス音声認識の改善(1/2)
１．VoiceFilter-Lite：オンデバイスの音声認識の改善(1/2)まとめ・2018年に自分の声を登録して音声認識機能をパーソナライズするVoiceFilterを発表・VoiceFilterは成功したがスマートフォンなどのデバイス上...
モデル MediaPipe BlazePose：リアルタイムにオンデバイスでポーズを追跡(2/2)
１．MediaPipe BlazePose：リアルタイムにオンデバイスでポーズを追跡(2/2)まとめ・Tracking Modelはキーポイントの「ヒートマップとオフセット」の組合わせを教師として使用・20%の誤差であれな許容範囲(PCK@...
モデル MediaPipe BlazePose：リアルタイムにオンデバイスでポーズを追跡(1/2)
１．MediaPipe BlazePose：リアルタイムにオンデバイスでポーズを追跡(1/2)まとめ・動画内の人間のポーズを推定する技術はARやフィットネス向けのアプリなどで重要・BlazePoseは人体のポーズを知覚する新しい手法で既存技...
アプリケーション Lookout：視覚に困難を抱える人のためにスマホで商品を識別(2/2)
１．Lookout：視覚に困難を抱える人のためにスマホで商品を識別(2/2)まとめ・LookoutはMediaPipe Box trackingやScaNNを使って実装されている・大規模な分類モデルであるNASNetを教師モデルとしてトレー...
学習手法 Recorder：Pixelスマートフォン用の検索可能な録音アプリ(2/2)
１．Recorder：Pixelスマートフォン用の検索可能な録音アプリ(2/2)まとめ・Recorderは音声を50ms単位で小さく分析し正確に音声イベントの開始時間と終了時間を特定している・音声分類結果が目まぐるしく変わらないようにada...
学習手法 Recorder：Pixelスマートフォン用の検索可能な録音アプリ(1/2)
１．Recorder：Pixelスマートフォン用の検索可能な録音アプリ(1/2)まとめ・録音音声をリアルタイムで書き起こしてタグ付けし、検索しやすくするPixel用アプリが公開・Recorderと名付けられたこのアプリはオンデバイスで動作す...
入門／解説 Pixel 4のNight Sightで撮影した天体写真(3/3)
１．Pixel 4のNight Sightで撮影した天体写真(3/3)まとめ・人々は夜間は空が暗くなっている事を当然と思っているため空が明るく見えると撮影時刻を誤解する・Night Sightでは撮影部分に空が含まれるとわざと空の部分を暗く...
学習手法 MobileNetV3:次世代のオンデバイス視覚モデル(3/3)
１．MobileNetV3:次世代のオンデバイス視覚モデル(3/3)まとめ・精度とEdge TPU上で実行された際の速度を両立させるAutoMLをした結果MobileNetEdgeTPUモデル誕生・既存のモバイルモデルよりも同一精度でより早...