モデル Vid2Seq：ビデオ内の各イベントを記述可能な事前学習済み視覚言語モデル(1/2)
１．Vid2Seq：ビデオ内の各イベントを記述可能な事前学習済み視覚言語モデル(1/2)まとめ ・数分レベルの長さのビデオの中のすべてのイベントを説明するタスクを「高密度ビデオキャプション」という ・標準的なビデオキャプションと比べて高度に...
language model
モデル 
モデル PaLM-E:ロボットは邪魔をされても引き出しからポテチを取り出すくらいはできるようになっている(2/2)
１．PaLM-E:ロボットは邪魔をされても引き出しからポテチを取り出すくらいはできるようになっている(2/2)まとめ ・PaLM-Eはロボット操作タスクと視覚・言語タスクを共通の特徴表現で括ることで、汎化モデルを学習する新しいパラダイムを提...
モデル PaLM-E:ロボットは邪魔をされても引き出しからポテチを取り出すくらいはできるようになっている(1/2)
１．PaLM-E:ロボットは邪魔をされても引き出しからポテチを取り出すくらいはできるようになっている(1/2)まとめ ・ロボットモデルの規模拡大は一定の成功を収めているが、テキストや画像に匹敵する規模のデータセットがないので遅れをとっている...
AI関連その他 2022年のGoogleのAI研究の成果と今後の展望～言語・視覚・生成モデル編～(5/5)
１．2022年のGoogleのAI研究の成果と今後の展望～言語・視覚・生成モデル編～(5/5)まとめ ・本稿ではGoogleの責任あるAIの原則を改めて解説し2022年のテーマを総括して振り返る ・個々のテーマは各事業担当者がそれぞれ別記事...
AI関連その他 2022年のGoogleのAI研究の成果と今後の展望～言語・視覚・生成モデル編～(1/5)
１．2022年のGoogleのAI研究の成果と今後の展望～言語・視覚・生成モデル編～(1/5)まとめ ・年初恒例のGoogle AI TopのJeff DeanによるGoogleの人工知能関連研究の2022年の振返と今年の展望 ・今年はシリ...
AI関連その他 AIを悪用した偽情報の拡散にどのように備えるか？(2/2)
１．AIを悪用した偽情報の拡散にどのように備えるか？(2/2)まとめ ・言語モデルを使って影響力行使に至るまでのパイプラインには主要な段階が４段階が存在している ・各段階で誤用の影響を緩和する策を講じる事ができるが軽減策そのものにもリスクが...
AI関連その他 AIを悪用した偽情報の拡散にどのように備えるか？(1/2)
１．AIを悪用した偽情報の拡散にどのように備えるか？(1/2)まとめ ・chatGPTで有名なopenaiが主導して大規模言語モデルが情報操作の悪用に使われる可能性について調査 ・言語モデルが影響力行使に大規模に使用される前に取るべき手順を...
モデル ChatGPT:フェルマーの小定理をテーマに五行詩を作ってみせる言語モデル(2/2)
１．ChatGPT:フェルマーの小定理をテーマに五行詩を作ってみせる言語モデル(2/2)まとめ ・現在のChatGPTにはまだ制限があり不正確または無意味な答えを書くことがある ・不明瞭な質問の意図を聞きなおす事も稀でユーザーの意図を推測す...
モデル ChatGPT:フェルマーの小定理をテーマに五行詩を作ってみせる言語モデル(1/2)
１．ChatGPT:フェルマーの小定理をテーマに五行詩を作ってみせる言語モデル(1/2)まとめ ・OpenAIがChatGPTと呼ばれる対話形式で会話可能なモデルを公開 ・ChatGPTは追加の質問に答えたり、不適切な要求を拒否する事が可能...
基礎理論 人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(2/2)
１．人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(2/2)まとめ ・創発的なプロンプトは小さなモデルで失敗し十分に大きなモデルで成功する ・思考連鎖のプロンプトは創発的であり小さいモデルでは標準プロンプトに劣る ...
ロボット CaP：自分で自分の制御プログラムを書くロボットの実現にむけて(2/2)
１．CaP：自分で自分の制御プログラムを書くロボットの実現に向けて(2/2)まとめ ・大きなモデルはより良い性能を発揮し階層的なコードが生産性を最も改善する ・コード執筆モデルはロボットの形状が異なっても実行可能なコードを生成可能 ・生成さ...
データセット UL2 20B：オープンソースとして公開された200億パラメータを持つ統一言語モデル(2/2)
１．UL2 20B：オープンソースとして公開された200億パラメータを持つ統一言語モデル(2/2)まとめ ・UL2は異なる事前学習から得られる能力と帰納的バイアスをモデルに付与可能 ・従来モデルは微調整タスクとプロンプトベースの1ショットタ...