モデル ReAct:わからなかったらググって、ググった情報を元にもう一度ググって必要な情報を探せる人工知能(1/2)
１．ReAct:わからなかったらググって、ググった情報を元にもう一度ググって必要な情報を探せる人工知能(1/2)まとめ ・言語モデルは様々なタスクに応用されているが学習済の知識しか利用できない ・また、長期的な視点にたって行動するための一時...
language modeling
モデル 
ロボット CaP：自分で自分の制御プログラムを書くロボットの実現にむけて(1/2)
１．CaP：自分で自分の制御プログラムを書くロボットの実現に向けて(1/2)まとめ ・ロボットが人間からの指示を受けて自分自身の制御コードを書く時代が到来 ・最新の言語モデルはプログラミング言語を記述できるのでロボット制御も可能 ・言語モデ...
データセット UL2 20B：オープンソースとして公開された200億パラメータを持つ統一言語モデル(1/2)
１．UL2 20B：オープンソースとして公開された200億パラメータを持つ統一言語モデル(1/2)まとめ ・言語モデルは事前学習のやり方により得意なタスクと不得意タスクが分かれる ・事前学習用の効果的な統一フレームワークを作成があればより効...
モデル AudioLM：スピーチの続きもピアノの続きも生成可能なオーディオ言語モデル(2/2)
１．AudioLM：スピーチの続きもピアノの続きも生成可能なオーディオ言語モデル(2/2)まとめ ・AudioLMの学習データは生のオーディオのみで文書化されたデータは未使用 ・人間の評価者は人間の音声とAudioLMの生成音声の見分けがつ...
画像生成 人工知能にスタジオジブリの風の谷のナウシカを描いてもらう事は可能か？(latent diffusion編)
１．人工知能にスタジオジブリの風の谷のナウシカを描いてもらう事は可能か？(latent diffusion編)まとめ ・人工知能に指示を与える際はなるべく具体的な描写が望ましいが長文すぎると後半は無視される ・通常の言い回しよりインターネッ...
学習手法 Plex:何をすればディープラーニングの信頼性を高める事が出来るのか？(2/2)
１．Plex:何をすればディープラーニングの信頼性を高める事が出来るのか？(2/2)まとめ ・Plexは各サブモデルが予測を行って集約することでより効率的なアンサンブルを行う ・Plexはタスク毎にチューニングせずともモデルの出力そのままで...
基礎理論 言語モデルに思考の連鎖を促し推論能力を向上(2/2)
１．言語モデルに思考の連鎖を促し推論能力を向上(2/2)まとめ ・算術的推論は標準的なプロンプトでは比較的平坦に規模拡大と共に性能が向上する ・思考の連鎖プロンプトではモデル規模を大きくすると標準プロンプトを大幅に上回った ・追加の改良を行...
基礎理論 言語モデルに思考の連鎖を促し推論能力を向上(1/2)
１．言語モデルに思考の連鎖を促し推論能力を向上(1/2)まとめ ・大規模言語モデルは数学の文章問題など段階的に思考していく事が必要なタスクで苦戦する ・思考連鎖プロンプトはモデルに問題を中間ステップに分割して段階的に考える事を促す新手法 ・...
学習手法 学習用データが非常に少ない言語で機械翻訳を実現した手法(2/2)
１．学習用データが非常に少ない言語で機械翻訳を実現した手法(2/2)まとめ ・単一巨大モデルを高リソース言語の翻訳タスクと低リソース言語のMASSタスクで訓練した ・入力が同じ言語で不明瞭な文章か、まったく別の言語かはモデルからすれば大きな...
モデル Pix2Seq：言語モデルを使って物体検出を行う(2/2)
１．Pix2Seq：言語モデルを使って物体検出を行う(2/2)まとめ ・Pix2Seqでは物体検出を言語モデリングタスクとみなしており特別な設計をしていない ・システムの出力が比較的簡潔なトークンの並びで表現されるような領域に応用可能 ・幅...
モデル Pix2Seq：言語モデルを使って物体検出を行う(1/2)
１．Pix2Seq：言語モデルを使って物体検出を行う(1/2)まとめ ・物体検出タスクを行う従来のアプローチは高度にカスタマイズされており汎用性がない ・物体検出タスクを画素を入力とする言語モデリングタスクとみなすPix2Seqを考案 ・P...
モデル PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(3/3)
１．PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(3/3)まとめ ・PythonコードのみのデータセットでPaLMを微調整するとさらなる性能向上を確認できた ・規模拡大可能な巨大言語モデルの誤用対策は現在進行中の課題で透...