AI関連その他 AIのアルゴリズムの効率性は16か月毎に2倍に上昇(2/2)
１．AIのアルゴリズムの効率性は16か月毎に2倍に上昇(2/2)まとめ ・少量のコンピューティングで達成された顕著な進歩の測定に力を注ぐことが重要 ・今後も効率的な最新技術を引き続き追跡し、視覚と翻訳タスク以外も追加して行く予定 ・未掲載の...
openAI
AI関連その他 AI関連その他 AIのアルゴリズムの効率性は16か月毎に2倍に上昇(1/2)
１．AIのアルゴリズムの効率性は16か月毎に2倍に上昇(1/2)まとめ ・アルゴリズムの改良でImageNet分類タスクに必要な計算量が16か月ごとに2分の1に減少 ・7年前のAlexNetと同等のパフォーマンスを実現するために必要な計算能...
モデル 人間による評価を使って要約を学ぶ(3/4)
１．人間による評価を使って要約を学ぶ(3/4)まとめ ・初期要約モデル、人間が要約品質を定量化、報酬モデル、RLによる微調整の4ステップで実現 ・要約品質の定量化はラベル付け作業者に高い報酬と緊密な連携を取る事で実現した ・報酬モデルを最適...
モデル 人間による評価を使って要約を学ぶ(2/4)
１．人間による評価を使って要約を学ぶ(2/4)まとめ ・人間によるフィードバックを使った微調整は他の手法と比較して品質に大きな影響を与えた ・Redditの投稿と非常に異なったスタイルで書かれたニュースデータセットにも対応できた ・要約の長...
モデル 人間による評価を使って要約を学ぶ(1/4)
１．人間による評価を使って要約を学ぶ(1/4)まとめ ・人間による評価を強化学習に取り込んで優れた要約文を書き上げる言語モデルを開発 ・人間による評価モデルは巨大な教師ありモデルや人間が作成した要約よりも優れていた ・本研究は長期的にはAI...
入門／解説 Image GPTの画像補完の実例
１．Image GPTの画像補完の実例まとめ ・対称形なデザインはかなりの精度で補完されるが非対称デザインは凄い事になる場合がある ・S、M、Lの順にオリジナル画像を補完して再現する能力が上がっているようにみえる ・自然画像をそれっぽい物体...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(3/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(3/3)まとめ ・iGPTが強力な画像特徴表現を学習可能で教師有り、半教師モデルと匹敵する事が示された ・しかしGPUにV100を使って延べ2500日が必要で画像専用モデルの約3...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(2/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(2/3)まとめ ・モデルは画像生成を学んだ際に物体のカテゴリについても学習している可能性がある ・本研究で、より良い生成モデルがより強力な分類パフォーマンスを達成する事が示された...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(1/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(1/3)まとめ ・文章生成で有名になった人工知能を画像でトレーニングすると品質の高い画像を生成できた ・iGPTと名付けられたこのモデルは物体の外観など画像の特性を理解しているよ...
アプリケーション OpenAIがGPT-3をマイクロソフトにライセンス供与
１．OpenAIがGPT-3をマイクロソフトにライセンス供与まとめ ・複数年パートナーシップの一環としてOpenAIがMicrosoftにGPT-3のライセンスを供与 ・OpenAIのAPIを介したGPT-3モデルへの継続的なアクセスに影響...
モデル GPT-3がAPI経由で利用可能に
１．GPT-3がAPI経由で利用可能にまとめ ・GPT-2比で100倍近い性能を持つと推測されるGPT-3が発表されAPI経由で使用可能になる ・テキストを入力するとテキストを出力するという非常に汎用的なAPIで微調整も可能 ・現時点では限...
入門／解説 ML-fairness-gym：機械学習システムの長期的な影響を調査するツール(2/3)
１．ML-fairness-gym:機械学習システムの長期的な影響を調査するツール(2/3)まとめ ・固定したデータセットを利用した公平性の確認は２つの欠陥がある事が知られている ・第一にテストセットが不完全かシステム固有のバイアスを内包し...