アプリケーション GPT-3を使った次世代アプリの紹介
１．GPT-3を使った次世代アプリの紹介まとめ ・GPT-3の発表から9か月だが既に300を超えるアプリケーションがAPI経由で使用している ・顧客からの意見の要約、仮想存在との対話、超高速セマンティック検索などで実用化 ・プラットフォーム...
gpt-2
アプリケーション 
アプリケーション Jukebox：歌声を含む生のオーディオを生成可能なニューラルネット(1/2)
１．Jukebox：歌声を含む生のオーディオを生成可能なニューラルネット(1/2)まとめ ・音楽におけるスタイル転送が歌声を含む生の音声データで可能なOpen AIのJukeboxの紹介 ・CD品質の音楽は1,000万を超えるタイムステップ...
AI関連その他 2020年版AIによる創造と夢(2/2)
１．2020年版AIによる創造と夢(2/2)まとめ ・OpenAIのGPT-3は造物主が何者であるのか問う質問に回答可能 ・OpenAIのJukeBoxは生の音を対象にして作風を真似て作曲が可能 ・これらを組み合わせるとAI主導のPodCa...
AI関連その他 2020年版AIによる創造と夢(1/2)
１．2020年版AIによる創造と夢(1/2)まとめ ・AIを使って作文、作曲、画像生成、合成音声、など様々な表現が出来るようになった ・それらを繋ぎ合わせて映像作品などを造られている方の2020年の作品集まとめ ・画像、動画、独自の空間効果...
AI関連その他 Google Research：2020年の振り返りと2021年以降に向けて(2/5)
１．Google Research：2020年の振り返りと2021年以降に向けて(2/5)まとめ ・機械学習の応用は脳の構造解析から有望な分子化合物の探索、チップセットの設計など多岐に ・責任あるAIは解釈可能性の向上やバイアスの削減、安全...
モデル CLIP：学習していない視覚タスクを実行可能なニューラルネット(2/3)
１．CLIP：学習していない視覚タスクを実行なニューラルネット(2/3)まとめ ・ゼロショット機能実現は単純に事前トレーニングタスクを規模拡大するだけで十分だった ・CLIPは視覚タスクの抱える課題であるデータが高コストである事などを軽減す...
モデル CLIP：学習していない視覚タスクを実行可能なニューラルネット(1/3)
１．CLIP：学習していない視覚タスクを実行なニューラルネット(1/3)まとめ ・自然言語を教師に視覚的概念を効率的に学習するネットワークCLIPの紹介 ・CLIPはGPT-2やGPT-3の「ゼロショット」機能を視覚タスクで実現 ・個々のタ...
AI関連その他 トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(2/2)
１．トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(2/2)まとめ ・トレーニングデータ抽出攻撃の目標は言語モデルが何を記憶しているかを予測する事 ・ニュースヘッドライン、ログ、コード、個人情報などの幅広いコン...
AI関連その他 トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(1/2)
１．トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(1/2)まとめ ・言語モデルがトレーニング時に使用したデータの詳細を漏洩してしまう危険性が指摘された ・大規模言語モデルを非公開データを使って公開している際に...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(3/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(3/3)まとめ ・iGPTが強力な画像特徴表現を学習可能で教師有り、半教師モデルと匹敵する事が示された ・しかしGPUにV100を使って延べ2500日が必要で画像専用モデルの約3...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(2/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(2/3)まとめ ・モデルは画像生成を学んだ際に物体のカテゴリについても学習している可能性がある ・本研究で、より良い生成モデルがより強力な分類パフォーマンスを達成する事が示された...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(1/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(1/3)まとめ ・文章生成で有名になった人工知能を画像でトレーニングすると品質の高い画像を生成できた ・iGPTと名付けられたこのモデルは物体の外観など画像の特性を理解しているよ...