モデル Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(1/2)
１．Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(1/2)まとめ ・MoEは巨大モデル内のFFレイヤーを複数の同じFFレイヤーに置き換える事 ・MoEとスパース設計を組み合わせる事で効率的なデータ処理が可能にな...
人工知能/機械学習
モデル 
基礎理論 人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(2/2)
１．人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(2/2)まとめ ・創発的なプロンプトは小さなモデルで失敗し十分に大きなモデルで成功する ・思考連鎖のプロンプトは創発的であり小さいモデルでは標準プロンプトに劣る ...
基礎理論 人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(1/2)
１．人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(1/2)まとめ ・大きな人工知能の性能は小さな人工知能の性能傾向を元に予測可能な事が多い ・ある種のタスクは人工知能が特定のサイズを超えると突然性能が向上し始める...
ヘルスケア SegCLR：対照学習で教師なしで人間の脳をマッピングを作成(2/2)
１．SegCLR：対照学習で教師なしで人間の脳をマッピングを作成(2/2)まとめ ・SegCLRは脳細胞の小さな断片に対してもヒトとマウスの細胞型を正確推定可能 ・マウス大脳のシナプスの接続相手を分類する事で脳結合性の自動解析も可能 ・リッ...
ヘルスケア SegCLR：対照学習で教師なしで人間の脳をマッピングを作成(1/2)
１．SegCLR：対照学習で教師なしで人間の脳をマッピングを作成(1/2)まとめ ・人間の脳の配線や情報伝達経路をマッピングすること重要な基礎研究分野 ・脳は大量の情報を持つ複雑な構造のため学習用のラベル付けが困難な領域 ・SegCLRを使...
モデル ReAct:わからなかったらググって、ググった情報を元にもう一度ググって必要な情報を探せる人工知能(2/2)
１．ReAct:わからなかったらググって、ググった情報を元にもう一度ググって必要な情報を探せる人工知能(2/2)まとめ ・ReActの軌跡を用いてより小さな言語モデルの微調整を行うことも検討中 ・ReActが推論を誤った際、人間が道筋を編集...
モデル ReAct:わからなかったらググって、ググった情報を元にもう一度ググって必要な情報を探せる人工知能(1/2)
１．ReAct:わからなかったらググって、ググった情報を元にもう一度ググって必要な情報を探せる人工知能(1/2)まとめ ・言語モデルは様々なタスクに応用されているが学習済の知識しか利用できない ・また、長期的な視点にたって行動するための一時...
学習手法 RRL:他のエージェントの学習記録を転移する転生強化学習(2/2)
１．RRL:他のエージェントの学習記録を転移する転生強化学習(2/2)まとめ ・RRLでは教師にポリシーベースRL、生徒をバリューベースRLにする事も可能 ・RRLは教師への非依存、教師からの脱却、計算・サンプルの効率化を実現 ・ゼロから学...
学習手法 RRL:他のエージェントの学習記録を転移する転生強化学習(1/2)
１．RRL:他のエージェントの学習記録を転移する転生強化学習(1/2)まとめ ・強化学習の主流は既存知識を用いずにゼロから効率的に学習するタブラ・ラサ ・タブラ・ラサはアルゴリズムやアーキテクチャ変更時にゼロからやり直しが必要 ・RRLは既...
ロボット CaP：自分で自分の制御プログラムを書くロボットの実現にむけて(2/2)
１．CaP：自分で自分の制御プログラムを書くロボットの実現に向けて(2/2)まとめ ・大きなモデルはより良い性能を発揮し階層的なコードが生産性を最も改善する ・コード執筆モデルはロボットの形状が異なっても実行可能なコードを生成可能 ・生成さ...
ロボット CaP：自分で自分の制御プログラムを書くロボットの実現にむけて(1/2)
１．CaP：自分で自分の制御プログラムを書くロボットの実現に向けて(1/2)まとめ ・ロボットが人間からの指示を受けて自分自身の制御コードを書く時代が到来 ・最新の言語モデルはプログラミング言語を記述できるのでロボット制御も可能 ・言語モデ...
インフラ Pay As You Go:Colab有料版の料金体系が従量課金制に変更
１．Pay As You Go:Colab有料版の料金体系が従量課金制に変更まとめ ・従来のColab Pro, Colab Pro+にも暗黙の使用枠があったが明確ではなかった ・使用枠がコンピューティング ユニットいう形で明示化され従量課...