モデル LaMDA：人間より機知に富んだ会話が可能な対話モデル(2/2)
１．LaMDA：人間より機知に富んだ会話が可能な対話モデル(2/2)まとめ ・品質指標は微調整の有無にかかわらず、モデルパラメータの数とともに一般に改善する ・根拠性はモデルサイズが大きくなると向上するが外部の知識源を参照する事が可能 ・微...
モデル
モデル モデル LaMDA：人間より機知に富んだ会話が可能な対話モデル(1/2)
１．LaMDA：人間より機知に富んだ会話が可能な対話モデル(1/2)まとめ ・LaMDAは最大1370億のパラメータを持つ対話に特化したニューラル言語モデル ・微調整を行い外部の知識ソースを活用する方法をモデルを教えて品質を向上した ・品質...
モデル TaskMoE：効率的に推論を行うためにタスク別のルーティングを学習(2/2)
１．TaskMoE：効率的に推論を行うためにタスク別のルーティングを学習(2/2)まとめ ・蒸留でサイズを削減する際は教師モデルから生徒モデルを訓練する追加計算が必要 ・更にTokenMoEを蒸留しても向上したパフォーマンスを全て維持する事...
モデル TaskMoE：効率的に推論を行うためにタスク別のルーティングを学習(1/2)
１．TaskMoE：効率的に推論を行うためにタスク別のルーティングを学習(1/2)まとめ ・MoEは効果的だが多くのトークンを複数のexpertsに送ると多くの計算コストがかかる ・TokenMoEはTaskMoEと異なりタスク毎にサブネッ...
モデル V-MoEs：条件付き計算を使って視覚モデルの規模を拡大(2/2)
１．V-MoEs:条件付き計算を使って視覚モデルの規模を拡大(2/2)まとめ ・Batch Priority Routingにより優先度の低いトークンを捨てる事を強制 ・従来手法ではバッファ容量不足時に性能が低下するがBPRは堅牢 ・ルーテ...
モデル V-MoEs：条件付き計算を使って視覚モデルの規模を拡大(1/2)
１．V-MoEs:条件付き計算を使って視覚モデルの規模を拡大(1/2)まとめ ・大規模なモデルやデータセットを使用するためには大量の計算が必要になり困難 ・計算に必要なリソースを抑える有望な手法のひとつに条件付き計算がある ・これは常にネッ...
モデル GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(2/2)
１．GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(2/2)まとめ ・GLaMはゼロショットとワンショットで密モデルと比べて競争力のある結果を達成した ・多くのタスクで高いスコアを達成し、推論時も学習時も計算量が少な...
モデル GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(1/2)
１．GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(1/2)まとめ ・大規模モデルを学習させて使用可能にするためには非常に多くの計算が必要となり手間 ・モデルをより効率的に学習させるためにスパース(疎)なネットワーク...
モデル MURAL:ヒンディー語で野菜を入れない麺が入った丼を検索されても対応画像を探せる人工知能(2/2)
１．MURAL:ヒンディー語で野菜を入れない素の麺が入った丼を検索されても対応画像を探せる人工知能(1/2)まとめ ・翻訳ペアを用いて共同で学習させるとリソース不足言語のクロスモーダル検索能力を向上可 ・また、マルチモーダルモデルは言語同士...
モデル MURAL:ヒンディー語で野菜を入れない麺が入った丼を検索されても対応画像を探せる人工知能(1/2)
１．MURAL:ヒンディー語で野菜を入れない素の麺が入った丼を検索されても対応画像を探せる人工知能(1/2)まとめ ・概念の多くは、ある言語から別の言語への直接的に一対一に翻訳する事ができない ・連想するものが異なるためだが概念のイメージを...
モデル MMCC:ラベル付けされていない動画から将来を予測する(2/2)
１．MMCC:ラベル付けされていない動画から将来を予測する(2/2)まとめ ・MMCCはラベル無しで時間的なサイクルを見つけるようにモデルを学習させる ・学習完了後MMCCはビデオの複雑な変化を捉えて意味のある状態変化を識別可能 ・時間的に...
モデル MMCC:ラベル付けされていない動画から将来を予測する(1/2)
１．MMCC:ラベル付けされていない動画から将来を予測する(1/2)まとめ ・AIが次にどのように行動すべきかを計画できるようになるためには未来予測が必要 ・そのために意味のある変化が時間の経過とともにどのように展開するか知る必要がある ・...