AI関連その他 2022年のGoogleのAI研究の成果と今後の展望～MLとコンピュータシステム編～(3/3)
１．2022年のGoogleのAI研究の成果と今後の展望～MLとコンピュータシステム編～(3/3)まとめ・モジュール式なコンパイラLLVMにML技術を体系的に統合した産業レベルのフレームワークであるMLGOをリリース・MLの実践者はモデル学...
efficiency
AI関連その他 AI関連その他 2022年のGoogleのAI研究の成果と今後の展望～MLとコンピュータシステム編～(1/3)
１．2022年のGoogleのAI研究の成果と今後の展望～MLとコンピュータシステム編～(1/3)まとめ・複雑なモデルの提供とトレーニングをサポートすることを可能にするML用システムの昨年の進歩の概要の説明・大規模モデルを効率的に規模拡大し...
モデル CALM:簡単な語順には手間をかけないようにして人工知能による文章生成を高速化(2/2)
１．CALM:簡単な語順には手間をかけないようにして人工知能による文章生成を高速化(2/2)まとめ・予測を途中で切り上げる判断は局所的に行なうが、一貫性は全体で判断する・テキスト整合性とリスクの整合性を設定できるようにしてバランスを取る・完...
アプリケーション speaker labels:誰の発言がわかるように音声データにラベルをつけるスマホアプリ(2/2)
１．speaker labels:誰の発言かわかるように音声データにラベルをつけるスマホアプリ(2/2)まとめ・音声をembedding化した後、複数のクラスタリング手法で話者推定を実施する・メイン処理に渡す前に予備的アルゴリズムで事前処理...
モデル FindIt：テキストの指示に基づいて画像内からサンドイッチの左半分を特定可能な統合モデル(2/2)
１．FindIt：テキストの指示に基づいて画像内からサンドイッチの左半分を特定可能な統合モデル(2/2)まとめ・３つのタスク全てを同じ入力を取るように適応させ学習の効率化を行った・全てのタスクに対して標準的な物体検出損失を使ったが驚くほど効...
学習手法 iterative co-tokenization:動画内でボウルに注がれた2番目の食材が何か答えられるようにする(2/2)
１．iterative co-tokenization:動画内でボウルに注がれた2番目の食材が何か答えられるようにする(2/2)まとめ・反復的共同トークン化アルゴリズムは他の最新モデルよりも性能とサイズに優れる・計算量も他の手法よりも低く抑...
モデル ByteQRNN：BERTの1/300のサイズで同等性能なオンデバイスモデル(2/2)
１．ByteQRNN：BERTの1/300のサイズで同等性能なオンデバイスモデル(2/2)まとめ・ByteQRNNはマージAttentionサブレイヤーと量子化ビーム探索で計算を効率化している・事前学習済みのByteQRNNの性能は、300...
モデル LIMoE:画像と文章に対応可能で規模拡大が容易なスパースMoEモデル(1/2)
１．LIMoE:画像と文章に対応可能で規模拡大が容易なスパースMoEモデル(1/2)まとめ・従来の密なモデルに比べると疎らなスパースモデルは規模拡大が用意で将来的に有望・疎なモデルは密なモデルが直面するマルチタスク時の性能悪化や破局的忘却を...
モデル TaskMoE：効率的に推論を行うためにタスク別のルーティングを学習(2/2)
１．TaskMoE：効率的に推論を行うためにタスク別のルーティングを学習(2/2)まとめ・蒸留でサイズを削減する際は教師モデルから生徒モデルを訓練する追加計算が必要・更にTokenMoEを蒸留しても向上したパフォーマンスを全て維持する事はで...
モデル TaskMoE：効率的に推論を行うためにタスク別のルーティングを学習(1/2)
１．TaskMoE：効率的に推論を行うためにタスク別のルーティングを学習(1/2)まとめ・MoEは効果的だが多くのトークンを複数のexpertsに送ると多くの計算コストがかかる・TokenMoEはTaskMoEと異なりタスク毎にサブネットワ...
その他の調査 Google Research：2022年以降にAIはどのように進化していくか？(2/6)
１．Google Research：2022年以降にAIはどのように進化していくか？(2/6)まとめ・新ハードウェアやアルゴリズムの改良、学習手法の進歩によってMLの効率性が継続的に向上・最先端の性能を維持または改善しながら、計算量や速度、...
学習手法 Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(2/2)
１．Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(2/2)まとめ・LinMaxMatchアルゴリズムはループ処理を行わないので効率的・事前トークン化とWordPiece化を直接実行す...