モデル Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(2/2)
１．Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(2/2)まとめ ・密なFFNにMoEとゲーティング機能を適用するのはFFNが重い処理であるため ・エキスパートが受け入れるトークン数に上限を設けるとスコアは1ポ...
dahara1
モデル モデル Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(1/2)
１．Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(1/2)まとめ ・MoEは巨大モデル内のFFレイヤーを複数の同じFFレイヤーに置き換える事 ・MoEとスパース設計を組み合わせる事で効率的なデータ処理が可能にな...
基礎理論 人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(2/2)
１．人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(2/2)まとめ ・創発的なプロンプトは小さなモデルで失敗し十分に大きなモデルで成功する ・思考連鎖のプロンプトは創発的であり小さいモデルでは標準プロンプトに劣る ...
基礎理論 人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(1/2)
１．人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(1/2)まとめ ・大きな人工知能の性能は小さな人工知能の性能傾向を元に予測可能な事が多い ・ある種のタスクは人工知能が特定のサイズを超えると突然性能が向上し始める...
ヘルスケア SegCLR：対照学習で教師なしで人間の脳をマッピングを作成(2/2)
１．SegCLR：対照学習で教師なしで人間の脳をマッピングを作成(2/2)まとめ ・SegCLRは脳細胞の小さな断片に対してもヒトとマウスの細胞型を正確推定可能 ・マウス大脳のシナプスの接続相手を分類する事で脳結合性の自動解析も可能 ・リッ...
ヘルスケア SegCLR：対照学習で教師なしで人間の脳をマッピングを作成(1/2)
１．SegCLR：対照学習で教師なしで人間の脳をマッピングを作成(1/2)まとめ ・人間の脳の配線や情報伝達経路をマッピングすること重要な基礎研究分野 ・脳は大量の情報を持つ複雑な構造のため学習用のラベル付けが困難な領域 ・SegCLRを使...
モデル ReAct:わからなかったらググって、ググった情報を元にもう一度ググって必要な情報を探せる人工知能(2/2)
１．ReAct:わからなかったらググって、ググった情報を元にもう一度ググって必要な情報を探せる人工知能(2/2)まとめ ・ReActの軌跡を用いてより小さな言語モデルの微調整を行うことも検討中 ・ReActが推論を誤った際、人間が道筋を編集...
モデル ReAct:わからなかったらググって、ググった情報を元にもう一度ググって必要な情報を探せる人工知能(1/2)
１．ReAct:わからなかったらググって、ググった情報を元にもう一度ググって必要な情報を探せる人工知能(1/2)まとめ ・言語モデルは様々なタスクに応用されているが学習済の知識しか利用できない ・また、長期的な視点にたって行動するための一時...
アプリケーション InfiniteNature-Zero：静止画の奥に向かって鳥のように飛んでいく動画を無限に生成(2/2)
１．InfiniteNature-Zero：静止画の奥に向かって鳥のように飛んでいく動画を無限に生成(2/2)まとめ ・InfiniteNatureの問題点は学習データとして動画を用いることが難しい事 ・InfiniteNature-Zer...
アプリケーション InfiniteNature-Zero：静止画の奥に向かって鳥のように飛んでいく動画を無限に生成(1/2)
１．InfiniteNature-Zero：静止画の奥に向かって鳥のように飛んでいく動画を無限に生成(1/2)まとめ ・素晴らしい自然の風景内を鳥のように飛び回ることが出来たら応用範囲が広い ・Infinite Natureと名付けた研究で...
アプリケーション 人工知能を使って歴史的な写真や絵画を立体化
１．人工知能を使って歴史的な写真や絵画を立体化まとめ ・CVPR 2020で発表されたモデルを使うと古い写真や絵画を動画化してグリグリ動かせる ・ややぼやけてしまっているような歴史上の有名な写真も３D化できる ・もちろん、Stable di...
学習手法 RRL:他のエージェントの学習記録を転移する転生強化学習(2/2)
１．RRL:他のエージェントの学習記録を転移する転生強化学習(2/2)まとめ ・RRLでは教師にポリシーベースRL、生徒をバリューベースRLにする事も可能 ・RRLは教師への非依存、教師からの脱却、計算・サンプルの効率化を実現 ・ゼロから学...