AI関連その他 GoogleはAI開発競争における防壁を持っていません！OpenAIもです！
１．GoogleはAI開発競争における防壁を持っていません！OpenAIもです！まとめ ・Google社内から流出したとされる文章がGoogleはOpen Sourceの取り組みからもっと学ぶべきという趣旨を主張していた ・Googleが巨...
large scale model
AI関連その他 
モデル Flan-U-PaLM:わずかな追加計算で大規模言語モデルの性能を向上(2/2)
１．Flan-U-PaLM:わずかな追加計算で大規模言語モデルの性能を向上(2/2)まとめ ・指示微調整とは指示形式で表現されたデータセットでLMを微調整する事 ・指示微調整は1800タスクで実施し場合でもわずかな計算量しか必要としない ・...
モデル PaLI:言語-画像モデルを100以上の言語に規模拡大(2/2)
１．PaLI:言語-画像モデルを100以上の言語に規模拡大(2/2)まとめ ・全タスクを単一の汎用API経由で実施する事でタスク間の知識共有を行った ・PaLIは難易度の高い汎用的な視覚-言語ベンチマークで最先端の結果を達成 ・視覚と言語の...
モデル CoCa：様々な視覚タスクのバックボーンとして利用できる基盤モデル(1/2)
１．CoCa：様々な視覚タスクのバックボーンとして利用できる基盤モデル(1/2)まとめ ・機械学習モデルは幅広いタスクに対応可能な大規模基盤モデルを元に設計する事が多い ・自然言語処理では、BERT、T5、GPT-3などの事前学習済大規模モ...
モデル PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(3/3)
１．PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(3/3)まとめ ・PythonコードのみのデータセットでPaLMを微調整するとさらなる性能向上を確認できた ・規模拡大可能な巨大言語モデルの誤用対策は現在進行中の課題で透...
モデル V-MoEs：条件付き計算を使って視覚モデルの規模を拡大(1/2)
１．V-MoEs:条件付き計算を使って視覚モデルの規模を拡大(1/2)まとめ ・大規模なモデルやデータセットを使用するためには大量の計算が必要になり困難 ・計算に必要なリソースを抑える有望な手法のひとつに条件付き計算がある ・これは常にネッ...
学習手法 GO：グラフ最適化用強化学習(1/3)
１．GO：グラフ最適化用強化学習(1/3)まとめ ・大規模モデルは多様なアクセラレータが混在する環境でトレーニングされるようになってきた ・MLコンパイラは多くの複雑な最適化問題を解決する必要があるが手動設計には限界がある ・この制限を克服...
学習手法 M4:超多言語、大規模ニューラル機械翻訳(3/3)
１．M4:超多言語、大規模ニューラル機械翻訳(3/3)まとめ ・低リソース言語の数を増やすと高リソース言語の翻訳の品質が低下する現象が観察される ・これを敷設ために良い学習アルゴリズムやモデルパラメータ数を増やす試みを行った ・最終的に50...