データセット FRMT:複数地域で使われる共通言語の微妙な差異を扱う能力を測る機械翻訳用ベンチマーク(2/2)
１．FRMT:複数地域で使われる共通言語の微妙な差異を扱う能力を測る機械翻訳用ベンチマーク(2/2)まとめ ・各地域の専門家である注釈付け作業者が、MQMフレームワークを用いて、翻訳の誤りを分類した所、地域間の言語差異が補足できていた ・人...
palm
データセット 
基礎理論 言語モデルに思考の連鎖を促し推論能力を向上(2/2)
１．言語モデルに思考の連鎖を促し推論能力を向上(2/2)まとめ ・算術的推論は標準的なプロンプトでは比較的平坦に規模拡大と共に性能が向上する ・思考の連鎖プロンプトではモデル規模を大きくすると標準プロンプトを大幅に上回った ・追加の改良を行...
AI関連その他 2022年のAIの進歩は汎用人工知能に手が届くところまで来ているのか？
１．2022年のAIの進歩は汎用人工知能に手が届くところまで来ているのか？まとめ ・汎用人工知能は存在しえない。人間レベルのAIでさえ汎用的ではなく分化している ・モデルの規模を拡大する事は有用だが人間レベルのAIを達成するための十分条件で...
モデル PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(2/3)
１．PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(2/3)まとめ ・PaLMの性能はモデル規模の関数として表現でき、性能が更に向上可能である事が示唆される ・PaLMは適切な文脈で概念の組み合わせを理解するので絵文字から...
モデル PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(1/3)
１．PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(1/3)まとめ ・昨年、Googlは領域やタスクを横断して汎化できる高効率な単一モデルPathways構想を発表 ・PaLMはPathwaysシステムで学習した5,400...
データセット PALMS：厳選した少量のデータセットを使ってGPT-3の動作を制御(1/2)
１．PALMS：厳選した少量のデータセットを使ってGPT-3の動作を制御(1/2)まとめ ・GPT-3に質問をすると非常に偏った価値観をベースに回答をしてくる場合がある ・少量の厳選したデータセットで価値観を微調整する事でこの偏った動作を是...