データセット Data Cards Playbook:データセットの透明性を高めるツールキット(1/2)
１．Data Cards Playbook:データセットの透明性を高めるツールキット(1/2)まとめ ・データセットの起源、開発、意図等に関する理解の共有は重要度が高まっている・しかしデータセットに関する知識はチームや個人間で分散してしまう...
人工知能/機械学習
データセット 
モデル Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(2/2)
１．Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(2/2)まとめ ・密なFFNにMoEとゲーティング機能を適用するのはFFNが重い処理であるため ・エキスパートが受け入れるトークン数に上限を設けるとスコアは1ポ...
モデル Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(1/2)
１．Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(1/2)まとめ ・MoEは巨大モデル内のFFレイヤーを複数の同じFFレイヤーに置き換える事 ・MoEとスパース設計を組み合わせる事で効率的なデータ処理が可能にな...
基礎理論 人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(2/2)
１．人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(2/2)まとめ ・創発的なプロンプトは小さなモデルで失敗し十分に大きなモデルで成功する ・思考連鎖のプロンプトは創発的であり小さいモデルでは標準プロンプトに劣る ...
基礎理論 人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(1/2)
１．人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(1/2)まとめ ・大きな人工知能の性能は小さな人工知能の性能傾向を元に予測可能な事が多い ・ある種のタスクは人工知能が特定のサイズを超えると突然性能が向上し始める...
ヘルスケア SegCLR：対照学習で教師なしで人間の脳をマッピングを作成(2/2)
１．SegCLR：対照学習で教師なしで人間の脳をマッピングを作成(2/2)まとめ ・SegCLRは脳細胞の小さな断片に対してもヒトとマウスの細胞型を正確推定可能 ・マウス大脳のシナプスの接続相手を分類する事で脳結合性の自動解析も可能 ・リッ...
ヘルスケア SegCLR：対照学習で教師なしで人間の脳をマッピングを作成(1/2)
１．SegCLR：対照学習で教師なしで人間の脳をマッピングを作成(1/2)まとめ ・人間の脳の配線や情報伝達経路をマッピングすること重要な基礎研究分野 ・脳は大量の情報を持つ複雑な構造のため学習用のラベル付けが困難な領域 ・SegCLRを使...
モデル ReAct:わからなかったらググって、ググった情報を元にもう一度ググって必要な情報を探せる人工知能(2/2)
１．ReAct:わからなかったらググって、ググった情報を元にもう一度ググって必要な情報を探せる人工知能(2/2)まとめ ・ReActの軌跡を用いてより小さな言語モデルの微調整を行うことも検討中 ・ReActが推論を誤った際、人間が道筋を編集...
モデル ReAct:わからなかったらググって、ググった情報を元にもう一度ググって必要な情報を探せる人工知能(1/2)
１．ReAct:わからなかったらググって、ググった情報を元にもう一度ググって必要な情報を探せる人工知能(1/2)まとめ ・言語モデルは様々なタスクに応用されているが学習済の知識しか利用できない ・また、長期的な視点にたって行動するための一時...
学習手法 RRL:他のエージェントの学習記録を転移する転生強化学習(2/2)
１．RRL:他のエージェントの学習記録を転移する転生強化学習(2/2)まとめ ・RRLでは教師にポリシーベースRL、生徒をバリューベースRLにする事も可能 ・RRLは教師への非依存、教師からの脱却、計算・サンプルの効率化を実現 ・ゼロから学...
学習手法 RRL:他のエージェントの学習記録を転移する転生強化学習(1/2)
１．RRL:他のエージェントの学習記録を転移する転生強化学習(1/2)まとめ ・強化学習の主流は既存知識を用いずにゼロから効率的に学習するタブラ・ラサ ・タブラ・ラサはアルゴリズムやアーキテクチャ変更時にゼロからやり直しが必要 ・RRLは既...
ロボット CaP：自分で自分の制御プログラムを書くロボットの実現にむけて(2/2)
１．CaP：自分で自分の制御プログラムを書くロボットの実現に向けて(2/2)まとめ ・大きなモデルはより良い性能を発揮し階層的なコードが生産性を最も改善する ・コード執筆モデルはロボットの形状が異なっても実行可能なコードを生成可能 ・生成さ...