モデル CoCa：様々な視覚タスクのバックボーンとして利用できる基盤モデル(1/2)
１．CoCa：様々な視覚タスクのバックボーンとして利用できる基盤モデル(1/2)まとめ ・機械学習モデルは幅広いタスクに対応可能な大規模基盤モデルを元に設計する事が多い ・自然言語処理では、BERT、T5、GPT-3などの事前学習済大規模モ...
dahara1
モデル 
学習手法 30億のパラメータを持つ巨大モデルを学習させた際の知見
１．30億のパラメータを持つ巨大モデルを学習させた際の知見まとめ ・非常に巨大なモデルを学習させる際は混合精度と全精度で違いが出る可能性がある ・通常の学習では問題は発生しないが学習の収束が見込めるトレーニングの後半に出る ・DALL·E ...
モデル ViT-VQGAN：画像量子化技術を再考して画像生成と画像理解の性能を向上(2/2)
１．ViT-VQGAN：画像量子化技術を再考して画像生成と画像理解の性能を向上(2/2)まとめ ・VIMは犬や猫など与えられた特定のクラスの画像を合成するクラス条件付き生成が可能 ・画像理解タスクでも分類精度を60.3%(iGPT-L)から...
モデル ViT-VQGAN：画像量子化技術を再考して画像生成と画像理解の性能を向上(1/2)
１．ViT-VQGAN：画像量子化技術を再考して画像生成と画像理解の性能を向上(1/2)まとめ ・事前学習は入力信号が文章である事を仮定しないので量子化すれば画像も扱う事が可能 ・画像を離散トークンにエンコードし、それをCNNまたはTran...
アプリケーション Googleアシスタントが文脈を意識できる理由(2/2)
１．Googleアシスタントが文脈を意識できる理由(2/2)まとめ ・言い換えシステムは3種の異なるタイプの生成器を用いて候補を生成している ・言い換え候補からいくつかの信号を抽出しMLモデルで最も有望な候補を選択 ・本手法は、問い合わせ文...
アプリケーション Googleアシスタントが文脈を意識できる理由(1/2)
１．Googleアシスタントが文脈を意識できる理由(1/2)まとめ ・人は会話時に文脈を意識して効率的な会話を行っているが機械が文脈を意識する事は困難 ・Googleアシスタントは以前の問い合わせや回答で定義された文脈を参照する事が可能 ・...
アプリケーション 複数のトレードオフを念頭にワイヤレスネットワークを自動設計(3/3)
１．複数のトレードオフを念頭にワイヤレスネットワークを自動設計(3/3)まとめ ・近接したサイトは干渉を起こすため明示的に禁止して良い解決策へと探索を誘導している ・オートプランニングは3つの競合する目的のバランスをとる必要があるので候補を...
アプリケーション 複数のトレードオフを念頭にワイヤレスネットワークを自動設計(2/3)
１．複数のトレードオフを念頭にワイヤレスネットワークを自動設計(2/3)まとめ ・詳細な地理データを使用することで正確な経路損失予測が可能になり分散計算で高速実行が可能 ・オートプランニングの入力には需要点候補拠点、予測信号強度、および予算...
アプリケーション 複数のトレードオフを念頭にワイヤレスネットワークを自動設計(1/3)
１．複数のトレードオフを念頭にワイヤレスネットワークを自動設計(1/3)まとめ ・高品質でコスト効率の高い無線ネットワークの設計、構築、運用は様々な要因が絡み困難 ・コストと干渉を最小限に抑えながら範囲と容量を最大化する設置場所の決定が必要...
基礎理論 言語モデルに思考の連鎖を促し推論能力を向上(2/2)
１．言語モデルに思考の連鎖を促し推論能力を向上(2/2)まとめ ・算術的推論は標準的なプロンプトでは比較的平坦に規模拡大と共に性能が向上する ・思考の連鎖プロンプトではモデル規模を大きくすると標準プロンプトを大幅に上回った ・追加の改良を行...
基礎理論 言語モデルに思考の連鎖を促し推論能力を向上(1/2)
１．言語モデルに思考の連鎖を促し推論能力を向上(1/2)まとめ ・大規模言語モデルは数学の文章問題など段階的に思考していく事が必要なタスクで苦戦する ・思考連鎖プロンプトはモデルに問題を中間ステップに分割して段階的に考える事を促す新手法 ・...
学習手法 学習用データが非常に少ない言語で機械翻訳を実現した手法(2/2)
１．学習用データが非常に少ない言語で機械翻訳を実現した手法(2/2)まとめ ・単一巨大モデルを高リソース言語の翻訳タスクと低リソース言語のMASSタスクで訓練した ・入力が同じ言語で不明瞭な文章か、まったく別の言語かはモデルからすれば大きな...