モデル DALL·E：文章から画像を作成(1/3)
１．DALL·E：文章から画像を作成(1/3)まとめ ・自然言語で記述した様々な概念を参考にして画像を作成する事ができるDALL·EをOpenAIが発表 ・DALL·Eは、テキストと画像のペアを使用して訓練されたGPT-3の120億パラメー...
モデル
モデル 
アプリケーション MediaPipe Holistic：オンデバイスで顔、手、ポーズを同時に予測(2/2)
１．MediaPipe Holistic：オンデバイスで顔、手、ポーズを同時に予測(2/2)まとめ ・MediaPipe Holisticは2017年モデルや中価格帯のスマホほぼリアルタイムで実行可能 ・モデルがほとんど独立しているため、速...
アプリケーション MediaPipe Holistic：オンデバイスで顔、手、ポーズを同時に予測(1/2)
１．MediaPipe Holistic：オンデバイスで顔、手、ポーズを同時に予測(1/2)まとめ ・MediaPipeはスマホで人間のポーズ、顔、手をリアルタイムで認識するフレームワーク ・従来のMediaPipeシリーズは各モデルで個々...
モデル ViT：規模拡大可能な画像認識用のTransformers(2/2)
１．ViT：規模拡大可能な画像認識用のTransformers(2/2)まとめ ・画像タスク用に特化したモデルは不要であるか最適ではない可能性がある ・データのサイズが増え続けており画像タスクに関する新しいアプローチが必要 ・ViTは視覚タ...
モデル ViT：規模拡大可能な画像認識用のTransformers(1/2)
１．ViT：規模拡大可能な画像認識用のTransformers(1/2)まとめ ・畳み込みニューラルネットワークは画像専用に設計されたため計算量が多くなる可能性がある ・次世代の計算効率の高い視覚モデルが求められておりVision Tran...
モデル 人間による評価を使って要約を学ぶ(4/4)
１．人間による評価を使って要約を学ぶ(4/4)まとめ ・モデルは依然として不正確な要約を生成する可能性があり満点の要約は45%の割合で達成 ・人間がモデル出力の品質を簡単に評価できないようなタスクにも今回の手法を応用したい ・人間の好みに合...
モデル 人間による評価を使って要約を学ぶ(3/4)
１．人間による評価を使って要約を学ぶ(3/4)まとめ ・初期要約モデル、人間が要約品質を定量化、報酬モデル、RLによる微調整の4ステップで実現 ・要約品質の定量化はラベル付け作業者に高い報酬と緊密な連携を取る事で実現した ・報酬モデルを最適...
モデル 人間による評価を使って要約を学ぶ(2/4)
１．人間による評価を使って要約を学ぶ(2/4)まとめ ・人間によるフィードバックを使った微調整は他の手法と比較して品質に大きな影響を与えた ・Redditの投稿と非常に異なったスタイルで書かれたニュースデータセットにも対応できた ・要約の長...
モデル 人間による評価を使って要約を学ぶ(1/4)
１．人間による評価を使って要約を学ぶ(1/4)まとめ ・人間による評価を強化学習に取り込んで優れた要約文を書き上げる言語モデルを開発 ・人間による評価モデルは巨大な教師ありモデルや人間が作成した要約よりも優れていた ・本研究は長期的にはAI...
モデル Performers：Attentionの規模拡大を容易にする(3/3)
１．Performers：Attentionの規模拡大を容易にする(3/3)まとめ ・PerformerはAttentionをまったく使用していないモデルに非常に近い性能を発揮 ・転移後に微調整すると元の勾配ステップ数のごく一部で精度をすば...
モデル Performers：Attentionの規模拡大を容易にする(2/3)
１．Performers：Attentionの規模拡大を容易にする(2/3)まとめ ・通常のAttentionは保存されたAttention行列に入力された値を乗算して最終結果を取得 ・Attention行列を分解すれば通常のAttenti...
モデル Performers：Attentionの規模拡大を容易にする(1/3)
１．Performers：Attentionの規模拡大を容易にする(1/3)まとめ ・Transformerの中心となるAttentionモジュールはデータが長くなると計算が困難になる ・類似性スコアを計算するため指数関数的に計算量と必要メ...