AIGoogle Research：2020年の振り返りと2021年以降に向けて(2/5)
１．Google Research：2020年の振り返りと2021年以降に向けて(2/5)まとめ ・機械学習の応用は脳の構造解析から有望な分子化合物の探索、チップセットの設計など多岐に ・責任あるAIは解釈可能性の向上やバイアスの削減、...
gpt-2
AI
AICLIP：学習していない視覚タスクを実行可能なニューラルネット(2/3)
１．CLIP：学習していない視覚タスクを実行なニューラルネット(2/3)まとめ ・ゼロショット機能実現は単純に事前トレーニングタスクを規模拡大するだけで十分だった ・CLIPは視覚タスクの抱える課題であるデータが高コストである事などを軽...
AICLIP：学習していない視覚タスクを実行可能なニューラルネット(1/3)
１．CLIP：学習していない視覚タスクを実行なニューラルネット(1/3)まとめ ・自然言語を教師に視覚的概念を効率的に学習するネットワークCLIPの紹介 ・CLIPはGPT-2やGPT-3の「ゼロショット」機能を視覚タスクで実現 ・個...
AIトレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(2/2)
１．トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(2/2)まとめ ・トレーニングデータ抽出攻撃の目標は言語モデルが何を記憶しているかを予測する事 ・ニュースヘッドライン、ログ、コード、個人情報などの幅広い...
AIトレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(1/2)
１．トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(1/2)まとめ ・言語モデルがトレーニング時に使用したデータの詳細を漏洩してしまう危険性が指摘された ・大規模言語モデルを非公開データを使って公開している...