学習手法 XMC-GAN：クロスモーダルな対照学習でテキストから画像を生成(1/2)
１．XMC-GAN：クロスモーダルな対照学習でテキストから画像を生成(1/2)まとめ ・テキストの説明文から画像を生成する合成タスクは最近大きな注目を集めている ・従来の画像合成手法はGANを使うケースが多いがモード崩壊などの問題を抱える ...
openAI
学習手法 
アプリケーション MicrosoftがGPT-3を利用した最初の製品を発表
１．MicrosoftがGPT-3を利用した最初の製品を発表まとめ ・ローコード開発ツールのMicrosoft Power Apps内でGPT-3の一部機能が使用可能に ・話言葉を計算式に変換可能になり6 月末までに北米全域で試用できるよう...
モデル ALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(1/3)
１．ALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(1/3)まとめ ・視覚言語間マッチングモデルは文章や画像を入力して関連性の高い画像を見つけるのに役立つ ・最先端の視覚および視覚対言語モデルは厳選されたトレー...
モデル 2021年時点の各分野における最先端の機械学習モデルの紹介
１．2021年時点の各分野における最先端の機械学習モデルの紹介まとめ ・未知の分野で作業を始める時、現時点の最先端モデルを調べるのは時間がかかる ・各MLタスクに最適なモデルをリスト化してまとめておくと手間がかなり省ける ・Kaggleのコ...
アプリケーション GPT-3を使った次世代アプリの紹介
１．GPT-3を使った次世代アプリの紹介まとめ ・GPT-3の発表から9か月だが既に300を超えるアプリケーションがAPI経由で使用している ・顧客からの意見の要約、仮想存在との対話、超高速セマンティック検索などで実用化 ・プラットフォーム...
モデル 文字情報と画像情報を同じ概念として認識できる人工知能の出現(2/2)
１．文字情報と画像情報を同じ概念として認識できる人工知能の出現(2/2)まとめ ・ニューロンレベルでの単純な分析ではモデルの動作を完全に説明する事は出来ない ・高度な抽象化は人工知能に対する新しい攻撃手法に繋がる可能性がある ・個人やグルー...
モデル 文字情報と画像情報を同じ概念として認識できる人工知能の出現(1/2)
１．文字情報と画像情報を同じ概念として認識できる人工知能の出現(1/2)まとめ ・特定の女優さんの画像や名前に反応するニューロンが人間の脳内で見つかった事がある ・ネットワークで機能するので特定のニューロンが反応するのはおかしいと反論があっ...
インフラ Kubernetesのノード数を7500に拡張(2/2)
１．Kubernetesのノード数を7500に拡張(2/2)まとめ ・私達は誤動作しているノードを検出してクラスターから削除する処理は自動化 ・GPUは既存ツールでは捕捉できないエラーがあるため内製の仕組みを利用 ・Prometheusによ...
インフラ Kubernetesのノード数を7500に拡張(1/2)
１．Kubernetesのノード数を7500に拡張(1/2)まとめ ・GPT-3やCLIPやDALL·Eなどで有名なOpen AIの背後にあるインフラシステムの紹介 ・Kubernetesを7500ノードに規模拡大し大規模モデルから小規模研...
インフラ GCP上で大きなモデルを動かした際のGPUの性能比較
１．GCP上で大きなモデルを動かした際のGPUの性能比較まとめ ・Colabで動かせないモデルをGCP上で実行するとColabの凄みを改めて実感する事になる ・GPUはベンチマークではなく実際のタスクやモデルで動かさないと性能差はわからない...
入門／解説 50億のパラメータを持つ人工知能はどこかぁ～に君ぃ～を隠しているからぁ～♪の続きを歌えるのか？
１．50億のパラメータを持つ人工知能はどこかぁ～に君ぃ～を隠しているからぁ～♪の続きを歌えるのか？まとめ ・10億版に比べて50億版の表現力は明らかにあがっており違和感が減っている ・特に英語の歌では人工知能によって補完された歌である事に気...
アプリケーション Jukebox：歌声を含む生のオーディオを生成可能なニューラルネット(2/2)
１．Jukebox：歌声を含む生のオーディオを生成可能なニューラルネット(2/2)まとめ ・Jukeboxは局所的には一貫性のある音楽を作成できるが曲全体で見るとまだ構造把握が甘い ・ダウンサンプリングとアップサンプリングを行っているためノ...