学会 NeurIPS 2022におけるGoogleの存在感
１．NeurIPS 2022におけるGoogleの存在感まとめ ・11/27(日)-12/3(土)に今年最大の機械学習会議であるNeurIPS 2021が開催 ・Googleは160を超える論文で強力な存在感を示し講演やワークショップも開催...
人工知能/機械学習
学会 
データセット Data Cards Playbook:データセットの透明性を高めるツールキット(2/2)
１．Data Cards Playbook:データセットの透明性を高めるツールキット(2/2)まとめ ・PlaybookはAsk、Inspect、Answer、Auditという4つのモジュールで構成 ・各モジュールには透明性の問題に対処する...
データセット Data Cards Playbook:データセットの透明性を高めるツールキット(1/2)
１．Data Cards Playbook:データセットの透明性を高めるツールキット(1/2)まとめ ・データセットの起源、開発、意図等に関する理解の共有は重要度が高まっている・しかしデータセットに関する知識はチームや個人間で分散してしまう...
モデル Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(2/2)
１．Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(2/2)まとめ ・密なFFNにMoEとゲーティング機能を適用するのはFFNが重い処理であるため ・エキスパートが受け入れるトークン数に上限を設けるとスコアは1ポ...
モデル Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(1/2)
１．Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(1/2)まとめ ・MoEは巨大モデル内のFFレイヤーを複数の同じFFレイヤーに置き換える事 ・MoEとスパース設計を組み合わせる事で効率的なデータ処理が可能にな...
基礎理論 人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(2/2)
１．人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(2/2)まとめ ・創発的なプロンプトは小さなモデルで失敗し十分に大きなモデルで成功する ・思考連鎖のプロンプトは創発的であり小さいモデルでは標準プロンプトに劣る ...
基礎理論 人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(1/2)
１．人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(1/2)まとめ ・大きな人工知能の性能は小さな人工知能の性能傾向を元に予測可能な事が多い ・ある種のタスクは人工知能が特定のサイズを超えると突然性能が向上し始める...
ヘルスケア SegCLR：対照学習で教師なしで人間の脳をマッピングを作成(2/2)
１．SegCLR：対照学習で教師なしで人間の脳をマッピングを作成(2/2)まとめ ・SegCLRは脳細胞の小さな断片に対してもヒトとマウスの細胞型を正確推定可能 ・マウス大脳のシナプスの接続相手を分類する事で脳結合性の自動解析も可能 ・リッ...
ヘルスケア SegCLR：対照学習で教師なしで人間の脳をマッピングを作成(1/2)
１．SegCLR：対照学習で教師なしで人間の脳をマッピングを作成(1/2)まとめ ・人間の脳の配線や情報伝達経路をマッピングすること重要な基礎研究分野 ・脳は大量の情報を持つ複雑な構造のため学習用のラベル付けが困難な領域 ・SegCLRを使...
モデル ReAct:わからなかったらググって、ググった情報を元にもう一度ググって必要な情報を探せる人工知能(2/2)
１．ReAct:わからなかったらググって、ググった情報を元にもう一度ググって必要な情報を探せる人工知能(2/2)まとめ ・ReActの軌跡を用いてより小さな言語モデルの微調整を行うことも検討中 ・ReActが推論を誤った際、人間が道筋を編集...
モデル ReAct:わからなかったらググって、ググった情報を元にもう一度ググって必要な情報を探せる人工知能(1/2)
１．ReAct:わからなかったらググって、ググった情報を元にもう一度ググって必要な情報を探せる人工知能(1/2)まとめ ・言語モデルは様々なタスクに応用されているが学習済の知識しか利用できない ・また、長期的な視点にたって行動するための一時...
学習手法 RRL:他のエージェントの学習記録を転移する転生強化学習(2/2)
１．RRL:他のエージェントの学習記録を転移する転生強化学習(2/2)まとめ ・RRLでは教師にポリシーベースRL、生徒をバリューベースRLにする事も可能 ・RRLは教師への非依存、教師からの脱却、計算・サンプルの効率化を実現 ・ゼロから学...