学習手法 HuBERT：話言葉を音声から直接学習する自己教師あり特徴表現学習(1/2)
１．HuBERT：話言葉を音声から直接学習する自己教師あり特徴表現学習(1/2)まとめ ・他の人の話を聞いたり交流するだけで音声をよりよく認識して学習するAIは大きな目標 ・実現には単語だけでなく話者の個性、感情、割り込みなど、多くを分析す...
自己教師
学習手法 
アプリケーション FRILL：TensorFlow-Liteを使用したオンデバイスで動作可能な音声特徴表現(1/2)
１．FRILL：TensorFlow-Liteを使用したオンデバイスで動作可能な音声特徴表現(1/2)まとめ ・昨年、音声の特徴表現を比較するベンチマークと新しい音声特徴表現モデルTRILLを公開 ・TRILLは有用だが単純な音声特徴を処理...
学習手法 SupCon：対照学習を教師有り学習に拡張(2/2)
１．SupCon：対照学習を教師有り学習に拡張(2/2)まとめ ・SupConは他の手法と比較して様々なデータセットでtop1精度を一貫して向上させる ・SupConはAutoAugment、RandAugment、およびCutMixを一貫...
学習手法 SupCon：対照学習を教師有り学習に拡張(1/2)
１．SupCon：対照学習を教師有り学習に拡張(1/2)まとめ ・自己教師あり特徴表現学習は対照学習を応用する事でより大幅に進歩した ・アンカー画像とマッチしないネガティブ画像を選択する際に問題があった ・SupConは教師有り学習のラベル...
学習手法 HPP：ロボット同士が待ち合わせできるようにするモデルベース強化学習(3/3)
１．HPP：ロボット同士が待ち合わせできるようにするモデルベース強化学習(3/3)まとめ ・HPPを使用すると、エージェントは軌道を予測して調整し、調整ミスを回避できる ・HPPは追加のトレーニングなしで現実の世界に直接転移させる事が出来る...
学習手法 HPP：ロボット同士が待ち合わせできるようにするモデルベース強化学習(2/3)
１．HPP：ロボット同士が待ち合わせできるようにするモデルベース強化学習(2/3)まとめ ・システムは予測、計画、および制御の3つのモジュールから構成されている ・各エージェントは自分自身の動き用と他のエージェント用の予測モデルを学習 ・予...
AI関連その他 Google Research：2020年の振り返りと2021年以降に向けて(3/5)
１．Google Research：2020年の振り返りと2021年以降に向けて(3/5)まとめ ・機械学習アルゴリズムや基礎理論の研究により効率的な手法の探求が前進 ・強化学習は履歴データの利用やサンプル効率の向上、適用分野の拡大 ・Au...
モデル CLIP：学習していない視覚タスクを実行可能なニューラルネット(2/3)
１．CLIP：学習していない視覚タスクを実行なニューラルネット(2/3)まとめ ・ゼロショット機能実現は単純に事前トレーニングタスクを規模拡大するだけで十分だった ・CLIPは視覚タスクの抱える課題であるデータが高コストである事などを軽減す...
AI関連その他 Googleトレンドで振り返る2020年の日本のAI関連トレンド
１．Googleトレンドで振り返る2020年の日本のAI関連トレンドまとめ ・AIきりたん ・AI画伯 ・ai コロナ 予測 ２．2020年に日本でトレンドになったAI関連キーワードとは？ アイキャッチ画像のクレジットはPhoto by N...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(3/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(3/3)まとめ ・iGPTが強力な画像特徴表現を学習可能で教師有り、半教師モデルと匹敵する事が示された ・しかしGPUにV100を使って延べ2500日が必要で画像専用モデルの約3...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(1/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(1/3)まとめ ・文章生成で有名になった人工知能を画像でトレーニングすると品質の高い画像を生成できた ・iGPTと名付けられたこのモデルは物体の外観など画像の特性を理解しているよ...
入門／解説 対照学習で最良のビューを選択するための原則(2/2)
１．対照学習で最良のビューを選択するための原則(2/2)まとめ ・InfoMin仮説を検証のため相互情報量を徐々に減らすと逆U字型の曲線が観察される ・アーキテクチャ等の違いにもかかわらず、直近の対照学習は暗黙的にInfoMin仮説に従って...