モデル

モデル

CALM:簡単な語順には手間をかけないようにして人工知能による文章生成を高速化(2/2)

1.CALM:簡単な語順には手間をかけないようにして人工知能による文章生成を高速化(2/2)まとめ ・予測を途中で切り上げる判断は局所的に行なうが、一貫性は全体で判断する ・テキスト整合性とリスクの整合性を設定できるようにしてバランスを...
モデル

CALM:簡単な語順には手間をかけないようにして人工知能による文章生成を高速化(1/2)

1.CALM:簡単な語順には手間をかけないようにして人工知能による文章生成を高速化(1/2)まとめ ・文章生成タスクは直前の単語に基づいて行われるため並列化が困難である ・幾つかの単語は他の単語より次の単語を予測することが簡単な事実に着...
モデル

UnCLIP:画像生成人工知能DALL·E 2のオープンソース実装が動かしやすくなる

1.UnCLIP:画像生成人工知能DALL·E 2のオープンソース実装が動かしやすくなる ・画像生成人工知能の先駆けとなったDALL·E 2のオープンソース実装が改装 ・Diffusersライブラリに統合されたためStableDiffu...
モデル

RT-1:現実世界の大規模データを取り扱い可能なロボット操作用Transformer(2/2)

1.RT-1:現実世界の大規模データを取り扱い可能なロボット操作用Transformer(2/2)まとめ ・RT-1は他のロボットの経験を観察する事で新しいスキルを身につける事が可能 ・SayCanとRT-1を組み合わせる事によって初見...
モデル

RT-1:現実世界の大規模データを取り扱い可能なロボット操作用Transformer(1/2)

1.RT-1:現実世界の大規模データを取り扱い可能なロボット操作用Transformer(1/2)まとめ ・機械学習は大規模データセットとそれを活用可能なモデルによって進歩している ・ロボット分野は大規模データセットもそれを活用できるモ...
モデル

ChatGPT:フェルマーの小定理をテーマに五行詩を作ってみせる言語モデル(2/2)

1.ChatGPT:フェルマーの小定理をテーマに五行詩を作ってみせる言語モデル(2/2)まとめ ・現在のChatGPTにはまだ制限があり不正確または無意味な答えを書くことがある ・不明瞭な質問の意図を聞きなおす事も稀でユーザーの意図を推...
モデル

ChatGPT:フェルマーの小定理をテーマに五行詩を作ってみせる言語モデル(1/2)

1.ChatGPT:フェルマーの小定理をテーマに五行詩を作ってみせる言語モデル(1/2)まとめ ・OpenAIがChatGPTと呼ばれる対話形式で会話可能なモデルを公開 ・ChatGPTは追加の質問に答えたり、不適切な要求を拒否する事が...
モデル

Flan-U-PaLM:わずかな追加計算で大規模言語モデルの性能を向上(2/2)

1.Flan-U-PaLM:わずかな追加計算で大規模言語モデルの性能を向上(2/2)まとめ ・指示微調整とは指示形式で表現されたデータセットでLMを微調整する事 ・指示微調整は1800タスクで実施し場合でもわずかな計算量しか必要としない...
モデル

Flan-U-PaLM:わずかな追加計算で大規模言語モデルの性能を向上(1/2)

1.Flan-U-PaLM:わずかな追加計算で大規模言語モデルの性能を向上(1/2)まとめ ・巨大言語モデルを学習させるためには膨大な計算資源を必要でハードルが高い ・膨大な計算資源を使わずに既存モデルを大幅に改善する2つの手法を提案 ...
モデル

Expert Choice:大規模なMoEモデルを偏らせずに学習させる工夫(2/2)

1.Expert Choice:大規模なMoEモデルを偏らせずに学習させる工夫(2/2)まとめ ・密なFFNにMoEとゲーティング機能を適用するのはFFNが重い処理であるため ・エキスパートが受け入れるトークン数に上限を設けるとスコアは...
モデル

Expert Choice:大規模なMoEモデルを偏らせずに学習させる工夫(1/2)

1.Expert Choice:大規模なMoEモデルを偏らせずに学習させる工夫(1/2)まとめ ・MoEは巨大モデル内のFFレイヤーを複数の同じFFレイヤーに置き換える事 ・MoEとスパース設計を組み合わせる事で効率的なデータ処理が可能...
モデル

ReAct:わからなかったらググって、ググった情報を元にもう一度ググって必要な情報を探せる人工知能(2/2)

1.ReAct:わからなかったらググって、ググった情報を元にもう一度ググって必要な情報を探せる人工知能(2/2)まとめ ・ReActの軌跡を用いてより小さな言語モデルの微調整を行うことも検討中 ・ReActが推論を誤った際、人間が道筋を...
タイトルとURLをコピーしました