アプリケーション GitHub Copilot：貴方とペアを組んでプログラミングする人工知能(1/2)
１．GitHub Copilot：貴方とペアを組んでプログラミングする人工知能(1/2)まとめ ・AIとペアプログラミングできると喧伝されているGitHubの新サービスCopilotの紹介 ・Copilotはプログラムの文脈に基づいて関数全...
language model
アプリケーション 
データセット PALMS：厳選した少量のデータセットを使ってGPT-3の動作を制御(1/2)
１．PALMS：厳選した少量のデータセットを使ってGPT-3の動作を制御(1/2)まとめ ・GPT-3に質問をすると非常に偏った価値観をベースに回答をしてくる場合がある ・少量の厳選したデータセットで価値観を微調整する事でこの偏った動作を是...
学習手法 KELM：ナレッジグラフを言語モデルの事前トレーニング資料に統合
１．KELM：ナレッジグラフを言語モデルの事前トレーニング資料に統合まとめ ・大規模な自然言語処理モデルは、インターネットから取得した自然言語の資料を活用する ・自然言語のテキストだけでは、知識の範囲が限られるため他の情報源もある事が望まし...
AI関連その他 トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(2/2)
１．トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(2/2)まとめ ・トレーニングデータ抽出攻撃の目標は言語モデルが何を記憶しているかを予測する事 ・ニュースヘッドライン、ログ、コード、個人情報などの幅広いコン...
AI関連その他 トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(1/2)
１．トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(1/2)まとめ ・言語モデルがトレーニング時に使用したデータの詳細を漏洩してしまう危険性が指摘された ・大規模言語モデルを非公開データを使って公開している際に...
モデル 人間による評価を使って要約を学ぶ(1/4)
１．人間による評価を使って要約を学ぶ(1/4)まとめ ・人間による評価を強化学習に取り込んで優れた要約文を書き上げる言語モデルを開発 ・人間による評価モデルは巨大な教師ありモデルや人間が作成した要約よりも優れていた ・本研究は長期的にはAI...
アプリケーション OpenAIがGPT-3をマイクロソフトにライセンス供与
１．OpenAIがGPT-3をマイクロソフトにライセンス供与まとめ ・複数年パートナーシップの一環としてOpenAIがMicrosoftにGPT-3のライセンスを供与 ・OpenAIのAPIを介したGPT-3モデルへの継続的なアクセスに影響...
モデル GPT-3がAPI経由で利用可能に
１．GPT-3がAPI経由で利用可能にまとめ ・GPT-2比で100倍近い性能を持つと推測されるGPT-3が発表されAPI経由で使用可能になる ・テキストを入力するとテキストを出力するという非常に汎用的なAPIで微調整も可能 ・現時点では限...
学習手法 ELECTRA：NLPの事前トレーニングを効率的に改良(1/2)
１．ELECTRA：NLPの事前トレーニングを効率的に改良(1/2)まとめ ・既存のNLP用の事前トレーニング手法には言語モデルとマスク言語モデルの２種類がある ・マスク言語モデルは双方向なので言語モデルより優位だが入力文の全てを学習に利用...
入門／解説 GPT-2のリリースから六か月後の振り返り(2/2)
１．GPT-2のリリースから六か月後の振り返り(2/2)まとめ ・この度公開された774Mモデルに関する研究や使用方法が今後の公開方法に影響する ・GPT-2は近い将来出現が予想される強力な生成モデルの取り扱いに関するテストケースとなる ・...
入門／解説 GPT-2のリリースから六か月後の振り返り(1/2)
１．GPT-2のリリースから六か月後の振り返り(1/2)まとめ ・六カ月前に公開された小型モデルの6倍のパラメータを持つ大規模GPT-2が公開された ・偽ニュースの検出の研究は進んでいるが決定的な手法はまだない ・7割の人がGPT-2が作成...