基礎理論 言語モデルに思考の連鎖を促し推論能力を向上(2/2)
１．言語モデルに思考の連鎖を促し推論能力を向上(2/2)まとめ ・算術的推論は標準的なプロンプトでは比較的平坦に規模拡大と共に性能が向上する ・思考の連鎖プロンプトではモデル規模を大きくすると標準プロンプトを大幅に上回った ・追加の改良を行...
dahara1
基礎理論 基礎理論 言語モデルに思考の連鎖を促し推論能力を向上(1/2)
１．言語モデルに思考の連鎖を促し推論能力を向上(1/2)まとめ ・大規模言語モデルは数学の文章問題など段階的に思考していく事が必要なタスクで苦戦する ・思考連鎖プロンプトはモデルに問題を中間ステップに分割して段階的に考える事を促す新手法 ・...
学習手法 学習用データが非常に少ない言語で機械翻訳を実現した手法(2/2)
１．学習用データが非常に少ない言語で機械翻訳を実現した手法(2/2)まとめ ・単一巨大モデルを高リソース言語の翻訳タスクと低リソース言語のMASSタスクで訓練した ・入力が同じ言語で不明瞭な文章か、まったく別の言語かはモデルからすれば大きな...
学習手法 学習用データが非常に少ない言語で機械翻訳を実現した手法(1/2)
１．学習用データが非常に少ない言語で機械翻訳を実現した手法(1/2)まとめ ・機械翻訳サービスは大多数の人が話す言語をカバーしているが数としては合計100言語程度 ・100言語は世界で話されている言語の1%強に過ぎず地域もヨーロッパ系に偏っ...
ロボット 脚式ロボットが学習時に転倒して破損しないようにする(3/3)
１．脚式ロボットが学習時に転倒して破損しないようにする(3/3)まとめ ・2脚バランスタスクでは2脚だけで最大4回ジャンプしてバランスを維持することができた ・実世界で自律的かつ安全にロボットが脚式運動スキルを学習できることが示唆された。 ...
ロボット 脚式ロボットが学習時に転倒して破損しないようにする(2/3)
１．脚式ロボットが学習時に転倒して破損しないようにする(2/3)まとめ ・ロボットを使い効率的歩行、キャットウォーク、2脚バランスタスクで実験を行った ・学習者ポリシーは安全回復ポリシーを発動する必要性を回避しながら学習できた ・安全トリガ...
ロボット 脚式ロボットが学習時に転倒して破損しないようにする(1/3)
１．脚式ロボットが学習時に転倒して破損しないようにする(1/3)まとめ ・脚式ロボットはは本質的に不安定であり学習中にロボットが転倒し破損する可能性がある ・仮想空間で学習させる事もできるが現実世界に転移学習する際に微妙な違いが問題を引き起...
学習手法 GraphWorld：グラフニューラルネットワーク用データセットを自動生成(2/2)
１．GraphWorld：グラフニューラルネットワーク用データセットを自動生成(2/2)まとめ ・GraphWorldは標準的なデータセットがカバーする領域を超える範囲のデータを生成 ・グラフが学術的なベンチマークセットと異なるとGNNモデ...
学習手法 GraphWorld：グラフニューラルネットワーク用データセットを自動生成(1/2)
１．GraphWorld：グラフニューラルネットワーク用データセットを自動生成(1/2)まとめ ・グラフニューラルネットワークは人気が高まっているがベンチマークセットは多くない ・グラフは相互接続性や接続の偏りなどで様々な形を持つが既存ベン...
AI関連その他 2022年のAIの進歩は汎用人工知能に手が届くところまで来ているのか？
１．2022年のAIの進歩は汎用人工知能に手が届くところまで来ているのか？まとめ ・汎用人工知能は存在しえない。人間レベルのAIでさえ汎用的ではなく分化している ・モデルの規模を拡大する事は有用だが人間レベルのAIを達成するための十分条件で...
学習手法 Alpa：わずか1行でJAXニューラルネットワークを並列化(2/2)
１．Alpa：わずか1行でJAXニューラルネットワークを並列化(2/2)まとめ ・Alpaは標準的な専門家が設計したTransformerモデルでは最高のフレームワークに匹敵する ・mixture-of-expert層を持つTransfor...
学習手法 Alpa：わずか1行でJAXニューラルネットワークを並列化(1/2)
１．Alpa：わずか1行でJAXニューラルネットワークを並列化(1/2)まとめ ・データ並列を行うと複数アクセラレータで並列処理できるのでモデルの規模拡大が可能 ・しかし、最近の大規模モデルはデータ並列では間に合わずモデル並列処理が必要にな...