モデル VideoBERT：ビデオ内の画像と音声を組み合わせて学習(2/3)
１．VideoBERT：ビデオ内の画像と音声を組み合わせて学習(2/3)まとめ ・ビデオ内の画像とテキストを組み合わせたクロスモーダルな文章を元にVideoBERTを学習させた ・VideoBERTを、料理、ガーデニング、車両修理など、10...
人工知能/機械学習
モデル 学習手法 VideoBERT：ビデオ内の画像と音声を組み合わせて学習(1/3)
１．VideoBERT：ビデオ内の画像と音声を組み合わせて学習(1/3)まとめ ・機械学習で動画内でどのような活動が行われているのかを認識させるのは困難 ・従来手法では細かくラベル付けされた大量の動画が必要になるがこれは高価 ・動画内の音声...
モデル モジュラーディープラーニング用の再帰的スケッチ(2/2)
１．モジュラーディープラーニング用の再帰的スケッチ(2/2)まとめ ・モジュラーディープネットワークは複数の独立したニューラルネットワークから構成される ・モジュラーディープネットワークに対応するスケッチは、再帰的なメカニズムで対処する ・...
AI関連その他 Google LensのGoogle Goバージョン(2/2)
１．Google LensのGoogle Goバージョン(2/2)まとめ ・OCRエンジンの誤読に備えて、文脈やナレッジグラフから手がかりを得て精度を上げている ・翻訳した文章が元の文章のどの部分に該当するかわかるように着色を行う ・カラオ...
基礎理論 WANN:学習せずとも特定タスクを実行できるニューラルネットワークの探索(3/3)
１．WANN:学習せずとも特定タスクを実行できるニューラルネットワークの探索(3/3)まとめ ・トレーニングしなくても画像情報からカーレースゲームをプレイするシンプルなWANNは発見済み ・ランダムな重みを使う事で同一モデルでアンサンブル学...
学習手法 WANN:学習せずとも特定タスクを実行できるニューラルネットワークの探索(2/3)
１．WANN:学習せずとも特定タスクを実行できるニューラルネットワークの探索(2/3)まとめ ・WANNは新しいアーキテクチャ探索中に個々の重みを学習させる必要がない ・ネットワークのパフォーマンスと複雑さの両方を同時に最適化する事も可能 ...
学習手法 WANN:学習せずとも特定タスクを実行できるニューラルネットワークの探索(1/3)
１．WANN:学習せずとも特定タスクを実行できるニューラルネットワークの探索(1/3)まとめ ・特定の生物は本能により生まれながらにして天敵から逃れる行動をとる事が出来る ・ニューラルネットワーク探索により見つかったモデルの一部は画像処理タ...
モデル Bi-Tempered Logistic Loss：ノイズの多いデータでニューラルネットをトレーニングするための損失関数(3/3)
１．Bi-Tempered Logistic Loss：ノイズの多いデータでニューラルネットをトレーニングするための損失関数(3/3)まとめ ・バイ テンパーは大きな外れ値にも小さな外れ値にもロジスティック損失より良く対応が出来ている ・今...
モデル MediaPipeを利用してオンデバイスでリアルタイムに手の動きを知覚(2/2)
１．MediaPipeを利用してオンデバイスでリアルタイムに手の動きを知覚(2/2)まとめ ・手の形状を認識するランドマークモデルは手動でラベル付けされたデータに加えて合成画像も使用 ・純粋な合成画像では一般化性能が低下するため混合トレーニ...
モデル MediaPipeを利用してオンデバイスでリアルタイムに手の動きを知覚(1/2)
１．MediaPipeを利用してオンデバイスでリアルタイムに手の動きを知覚(1/2)まとめ ・手は形状が自由に変化したり他の手と組み合わされる事もありリアルタイムな検知が難しい ・MediaPipeと言う様々な手法の知覚データを処理可能な機...
学習手法 音響的な手がかりと言語的な手がかりを使って発言者を特定する(3/3)
１．音響的な手がかりと言語的な手がかりを使って発言者を特定する(3/3)まとめ ・TPUなどのアクセラレータとTensorFlowの効率的なアルゴリズムにより効率的な開発ができた ・統合モデルは音声認識と同じ様にトレーニングできるが発言者の...
学習手法 音響的な手がかりと言語的な手がかりを使って発言者を特定する(1/3)
１．音響的な手がかりと言語的な手がかりを使って発言者を特定する(1/3)まとめ ・スピーカーダイアライゼーション(Speaker Diarization)は「誰が何を発言したのか？」を認識する技術 ・従来は発言者が変化した事を認識するシステ...