入門／解説 対照学習で最良のビューを選択するための原則(1/2)
１．対照学習で最良のビューを選択するための原則(1/2)まとめ・異なる角度から物体をみても、それが同じ物体である事を認識するのは機械にとって困難・これを実現する主な手法は対照学習と言いラベル付きデータを必要としない自己教師型・InfoMin...
自己教師
入門／解説 
入門／解説 GoogleのリサーチサイエンティストColin Raffelへのインタビュー(2/2)
１．GoogleのリサーチサイエンティストColin Raffelへのインタビュー(2/2)まとめ・転移学習の刺激的な進歩の大爆発が技術の見極めを難しくさせT5に繋がった・教師無し学習でラベルなしデータセットを活用する事が標準になる未来を見...
モデル 自己教師学習で音声特徴表現と個人専用モデルを改善(2/2)
１．自己教師学習で音声特徴表現と個人専用モデルを改善(2/2)まとめ・同じ音声のembeddingは、別の音声のembeddingよりembedding空間内で近い場所に位置するはず・これを利用しBERTと同様なデータ自体の構造にのみ依存し...
学習手法 自己教師学習で音声特徴表現と個人専用モデルを改善(1/2)
１．自己教師学習で音声特徴表現と個人専用モデルを改善(1/2)まとめ・非セマンティックタスクとは、声の調子など、人間の音声の「意味以外の側面」に焦点を当てたタスク・従来のベンチマークでは非セマンティックタスク用の特徴表現が有用か否かを比較す...
入門／解説 PEGASUS：文章要約を行う最先端の人工知能(1/3)
１．PEGASUS：文章要約を行う最先端の人工知能(1/3)まとめ・従来の自然言語の事前トレーニングは様々な下流タスクに流用できるように汎用的な目的だった・事前トレーニングを最終的に実行するタスクに近づけたらパフォーマンスがどうなるか疑問を...
学習手法 オフライン強化学習に関する楽観的な見解(2/2)
１．オフライン強化学習に関する楽観的な見解(2/2)まとめ・教師あり学習のアンサンブル手法を応用してREMと言う新しい強化学習アルゴリズムを開発・REMはオフライン設定とオンライン設定で比較するとオフライン設定の方が高い性能を出せていた・オ...
学習手法 SimCLR:対照学習により自己教師学習の性能を向上
１．SimCLR:対照学習により自己教師学習の性能を向上・同じ画像同士の特徴量を最大化しつつ違う画像同士の特徴量を最小化する事を対照学習という・SimCLRは自己教師および半教師でありながら対照学習により教師あり学習に迫るスコアを達成・対照...
学習手法 T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)まとめ・転移学習を用いたNLP関連技術の進歩が速すぎて何が効果的なのか評価することが困難になった・最も効果的な転移学習手法を調べ、得た洞察...
ロボット Google Research：2019年の振り返りと2020年以降に向けて(7/8)
１．Google Research：2019年の振り返りと2020年以降に向けて(7/8)まとめ・機械学習をロボットの制御に応用するために特に強化学習を使った研究が行われた・世界モデルの学習やポリシーにランダム性を取り込む事、オープンソース...
入門／解説 人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(1/3)
１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(1/3)まとめ・AIが現実世界で益々使われるようになり拡張現実を組み合わせることで顧客体験が変わっていく可能性・2020年も言語モデルの分野で目覚まし...
入門／解説 機械学習のトップマインドによる2020年のAI予測(2/3)
１．機械学習のトップマインドによる2020年のAI予測(2/3)まとめ・Jeff Deanはマルチモーダル学習とマルチタスク学習の進歩を期待・Anandkumarは反復アルゴリズム、自己教師学習の進化を予測・顔認識AIなど個人のプライバシー...
基礎理論 ALBERT:軽量化と冗長性排除をしたBERT(1/2)
１．ALBERT:軽量化と冗長性排除をしたBERT(1/2)まとめ・AIのNLPのパフォーマンスを向上させている主要な要因は複雑で特定は困難・ALBERTを設計していく中で得られた鍵は、モデルの容量をより効率的に割り当てる事であった・パラメ...