モデル LLaMA、chatGPT値下げ、FLAN-UL2：直近の巨大ゴリラ同士の殴り合い
１．LLaMA、chatGPT値下げ、FLAN-UL2：直近の巨大ゴリラ同士の殴り合いまとめ ・一週間前にMetaが最大650億のパラーメーターを持つLLaMAを非商用ライセンスで公開 ・三日前にOpenAIがchatGPTのAPI経由での...
large language model
モデル 
AI関連その他 人間にあってchatGPTにないもの
１．人間にあってchatGPTにないもの ・chatGPTは文章から学習しており物理世界を体験した事がないため物理的なルールに関する常識を持たない ・chatGPTは一見、良さそうに見えても完全に誤っている回答をしてしまう時が1割から2割程...
基礎理論 人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(1/2)
１．人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(1/2)まとめ ・大きな人工知能の性能は小さな人工知能の性能傾向を元に予測可能な事が多い ・ある種のタスクは人工知能が特定のサイズを超えると突然性能が向上し始める...
基礎理論 言語モデルに思考の連鎖を促し推論能力を向上(1/2)
１．言語モデルに思考の連鎖を促し推論能力を向上(1/2)まとめ ・大規模言語モデルは数学の文章問題など段階的に思考していく事が必要なタスクで苦戦する ・思考連鎖プロンプトはモデルに問題を中間ステップに分割して段階的に考える事を促す新手法 ・...
モデル PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(1/3)
１．PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(1/3)まとめ ・昨年、Googlは領域やタスクを横断して汎化できる高効率な単一モデルPathways構想を発表 ・PaLMはPathwaysシステムで学習した5,400...
モデル GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(2/2)
１．GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(2/2)まとめ ・GLaMはゼロショットとワンショットで密モデルと比べて競争力のある結果を達成した ・多くのタスクで高いスコアを達成し、推論時も学習時も計算量が少な...
モデル GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(1/2)
１．GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(1/2)まとめ ・大規模モデルを学習させて使用可能にするためには非常に多くの計算が必要となり手間 ・モデルをより効率的に学習させるためにスパース(疎)なネットワーク...