入門／解説 組成の一般化能力の測定(3/3)
１．組成の一般化能力の測定(3/3)まとめ・compound divergenceという新しい指標によりデータセットの難度を数値で表す事ができた・代表的な3つの標準的なMLアーキテクチャは難度があがるにつれて正確性が直線的にさがってしまう・...
ベンチマーク
入門／解説 入門／解説 組成の一般化能力の測定(1/3)
１．組成の一般化能力の測定(1/3)まとめ・人間は新しい単語の意味を学習し、それを他の文脈に適用することができる・機械学習ではこのスキルは「組成の一般化(compositional generalization)」と呼ぶ・しかし「組成の一般...
AI関連その他 Mesh-TensorFlowによる超高解像度画像解析(2/2)
１．Mesh-TensorFlowによる超高解像度画像解析(2/2)まとめ・畳み込み演算では各フレームの端部分を超えてフィルターが適用されることがよくある・ヘィロー交換と呼ばれるデータ通信ステップを実装し畳み込みの前に隣接する部分と通信を行...
入門／解説 ストリートビュー画像を道案内用AIの研究者に提供(1/3)
１．ストリートビュー画像を道案内用AIの研究者に提供(1/3)まとめ・前方に進み線路そばの赤い消火栓の後で左折し3ブロック進む、などの指示はAIにとって難しい・VLN(視覚と言語による案内)と、SDR(特定視点からの空間的記述の解決)が必要...
学習手法 T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)まとめ・転移学習を用いたNLP関連技術の進歩が速すぎて何が効果的なのか評価することが困難になった・最も効果的な転移学習手法を調べ、得た洞察...
入門／解説 TyDi QA：多言語対応した質問回答ベンチマーク(2/2)
１．TyDi QA：多言語対応した質問回答ベンチマーク(2/2)まとめ・自然なデータセットを構築するために答えをまだ知らない人に質問文を作ってもらった・その結果、質問文と回答文に共通な単語が少なくなり、同じ意味が異なって表現される事例も出た...
入門／解説 TyDi QA：多言語対応した質問回答ベンチマーク(1/2)
１．TyDi QA：多言語対応した質問回答ベンチマーク(1/2)まとめ・日本語を含む11種類の多様な言語を網羅する質問回答用のデータセットであるTyDi QAが公開・TyDi QAは共通点の少ない言語を集めたため多様な言語に多様な対応可能な...
入門／解説 モデルが出力する「予測の不確実性」はどこまで信用できますか？(1/2)
１．モデルが出力する「予測の不確実性」はどこまで信用できますか？(1/2)まとめ・学習時に使用したデータと製品展開後に扱うデータが同じようなデータ分布になる事は現実世界では少ない・トレーニングデータと実際のデータの分布に差がある事は「共変量...
ロボット Google Research：2019年の振り返りと2020年以降に向けて(7/8)
１．Google Research：2019年の振り返りと2020年以降に向けて(7/8)まとめ・機械学習をロボットの制御に応用するために特に強化学習を使った研究が行われた・世界モデルの学習やポリシーにランダム性を取り込む事、オープンソース...
入門／解説 Google Research：2019年の振り返りと2020年以降に向けて(1/8)
１．Google Research：2019年の振り返りと2020年以降に向けて(1/8)まとめ・Google Researchを率いるJeff Deanによる恒例の年初投稿。去年の振り返りと今後の方向性・AIの倫理的利用についてはモデルカ...
入門／解説 人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(3/3)
１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(3/3)まとめ・ビジネスにAIを採用させる事を成功するためにはビジネス固有のカスタムソリューションが必要・より複雑なデータサイエンスの問題には、特定分...
基礎理論 ALBERT:軽量化と冗長性排除をしたBERT(2/2)
１．ALBERT:軽量化と冗長性排除をしたBERT(2/2)まとめ・パラメータの因数分解と冗長性の排除を行う事でわずかなBERTよりパラメータを89%削減・パラメータサイズを削減した事により計算機資源に余裕が生まれ、モデルの規模を改めて拡大...