アプリケーション YouTubeストーリーで人の声だけ音量を上げる(2/2)
１．YouTubeストーリーで人の声だけ音量を上げる(2/2)まとめ ・Looking to Listenはノイズを完全分離していたがユーザは一部を残す事を好んでいた ・年齢、肌の色、言語、声の高低、話者の顔の視認性により偏りがないようにチ...
mediapipe
アプリケーション アプリケーション YouTubeストーリーで人の声だけ音量を上げる(1/2)
１．YouTubeストーリーで人の声だけ音量を上げる(1/2)まとめ ・バックグラウンドノイズが大きいビデオでは被写体のスピーチが曖昧になり理解しにくい ・Looking to Listenは音声と口の動きなどの視覚信号を使い特定の人の音声...
モデル MediaPipe BlazePose：リアルタイムにオンデバイスでポーズを追跡(2/2)
１．MediaPipe BlazePose：リアルタイムにオンデバイスでポーズを追跡(2/2)まとめ ・Tracking Modelはキーポイントの「ヒートマップとオフセット」の組合わせを教師として使用 ・20%の誤差であれな許容範囲(PC...
モデル MediaPipe BlazePose：リアルタイムにオンデバイスでポーズを追跡(1/2)
１．MediaPipe BlazePose：リアルタイムにオンデバイスでポーズを追跡(1/2)まとめ ・動画内の人間のポーズを推定する技術はARやフィットネス向けのアプリなどで重要 ・BlazePoseは人体のポーズを知覚する新しい手法で既...
アプリケーション Lookout：視覚に困難を抱える人のためにスマホで商品を識別(2/2)
１．Lookout：視覚に困難を抱える人のためにスマホで商品を識別(2/2)まとめ ・LookoutはMediaPipe Box trackingやScaNNを使って実装されている ・大規模な分類モデルであるNASNetを教師モデルとしてト...
ヘルスケア Lookout：視覚に困難を抱える人のためにスマホで商品を識別(1/2)
１．Lookout：視覚に困難を抱える人のためにスマホで商品を識別(1/2)まとめ ・Lookoutは視覚に困難があっても現実世界で活躍できるようにするAndroidアプリ ・スマートフォンカメラをスーパーの陳列棚に向けるとLookoutは...
モデル MediaPipe KNIFT：テンプレートベースの画像検索を改善(3/3)
１．MediaPipe KNIFT：テンプレートベースの画像検索を改善(3/3)まとめ ・一時停止標識の識別デモではKNIFTが240中183、ORBは133フレームのマッチングに成功 ・困難なデモでもKNIFTが150中89、ORBは37...
モデル MediaPipe KNIFT：テンプレートベースの画像検索を改善(2/3)
１．MediaPipe KNIFT：テンプレートベースの画像検索を改善(2/3)まとめ ・ハード ネガティブ トリプレット マイニングにより学習用データの品質を向上している ・KNIFTを数十億規模画像データセットに対して迅速な画像検索を行...
モデル MediaPipe KNIFT：テンプレートベースの画像検索を改善(1/3)
１．MediaPipe KNIFT：テンプレートベースの画像検索を改善(1/3)まとめ ・KNIFTはSIFTやORBと同様に局所的な画像範囲をコンパクトにベクトル化する特徴表現 ・KNIFTは局所的な範囲から直接学習するembedding...
モデル MediaPipe Iris：リアルタイムに眼球の虹彩を追跡し距離を推定(2/2)
１．MediaPipe Iris：リアルタイムに眼球の虹彩を追跡し距離を推定(2/2)まとめ ・MediaPipe Irisは特別なハードウェアを必要とせずに被写体までの距離を測定可能 ・MediaPipe上で実装されているのでPC、モバイ...
モデル MediaPipe Iris：リアルタイムに眼球の虹彩を追跡し距離を推定(1/2)
１．MediaPipe Iris：リアルタイムに眼球の虹彩を追跡し距離を推定(1/2)まとめ ・MediaPipe Irisは目の場所をハードウェアの力を使わずに機械学習のみで特定できる ・プライバシーに配慮して個人を識別可能な情報や視線の...
モデル Model Card Toolkit:モデルカード作成支援ツール
１．Model Card Toolkit:モデルカード作成支援ツールまとめ ・モデルカードは食品に張られている成分表ラベルと同じ意図で発明された ・公平性や性能に関する注意書きを付与する事でモデルの透明性を高める事を意図している ・モデルカ...