アプリケーション データセンター内のBERTに匹敵する性能を持つPixel 6搭載の言語モデル(2/3)
１．データセンター内のBERTに匹敵する性能を持つPixel 6搭載の言語モデル(2/3)まとめ ・様々なタイプのIBNを含めた探索空間を構築しNASで画像像分類用のモデルを発見 ・発見されたMobileNetEdgeTPUV2はCPU上で...
モデル
アプリケーション アプリケーション データセンター内のBERTに匹敵する性能を持つPixel 6搭載の言語モデル(1/3)
１．データセンター内のBERTに匹敵する性能を持つPixel 6搭載の言語モデル(1/3)まとめ ・Google TensorはGoogleのAI原則に沿ってMLモデルを実行するために最適化されている ・ニューラルアーキテクチャ探索を使用し...
アプリケーション GCE:Pixel6の文字入力時の文法エラー修正モデル(2/2)
１．GCE:Pixel6の文字入力時の文法エラー修正モデル(2/2)まとめ ・大規模なクラウドベースのモデルを作りそこからオンデバイス用の学習データを作成 ・クラウドベースのモデルの学習用データをそのまま使うより良いモデルが出来た ・このモ...
アプリケーション GCE:Pixel6の文字入力時の文法エラー修正モデル(1/2)
１．GCE:Pixel6の文字入力時の文法エラー修正モデル(1/2)まとめ ・スマートフォンを使用してより長い文章を作成することは、依然として非常に面倒 ・この問題に対処するためにPixel 6のGboardに直接組み込んだ文法修正機能をリ...
モデル GPT-3の約2倍の性能で算数の文章問題を解く人工知能
１．GPT-3の約2倍の性能で算数の文章問題を解く人工知能まとめ ・小学校の算数の問題を微調整したGPT-3モデルの約2倍の精度で解くシステムを開発 ・このシステムは、実際の子供たちが出した正答率の約90%の正答率で問題を解くことが可能 ・...
モデル SimVLM：弱い教師を使ったシンプルな視覚言語モデル(2/2)
１．SimVLM：弱い教師を使ったシンプルな視覚言語モデル(2/2)まとめ ・SimVLMは非常に単純な構成であるにもかかわらず最先端のモデルを凌駕 ・微調整せずともドイツ語で画像の説明文を作成するなどゼロショットが可能 ・SimVLMは教...
モデル SimVLM：弱い教師を使ったシンプルな視覚言語モデル(1/2)
１．SimVLM：弱い教師を使ったシンプルな視覚言語モデル(1/2)まとめ ・視覚言語モデリングは、視覚的な入力に言語を対応させて理解する土台となる ・視覚入力と言語入力の両方から単一の特徴空間を学習する手法で近年大きく進歩した ・SimV...
ヘルスケア MICLe:自己教師あり学習で医療用画像の分類精度を向上(3/3)
１．MICLe:自己教師あり学習で医療用画像の分類精度を向上(3/3)まとめ ・自己教師事前トレーニングは分布がシフトするデータセットに堅牢であった ・自己教師事前トレーニングはラベル効率が高く少ないラベルで性能向上可能 ・自己教師事前トレ...
ヘルスケア MICLe:自己教師あり学習で医療用画像の分類精度を向上(2/3)
１．MICLe:自己教師あり学習で医療用画像の分類精度を向上(2/3)まとめ ・SimCLRはデータ増強によってのみペアを構築するので医療用画像の特性を活用できない ・MICLeはマンモグラムの正面図と側面図など病理を複数視点から撮影した画...
ヘルスケア MICLe:自己教師あり学習で医療用画像の分類精度を向上(1/3)
１．MICLe:自己教師あり学習で医療用画像の分類精度を向上(1/3)まとめ ・医療画像分類にディープラーニングを適用することへの関心が高まっている ・しかし対照学習などの直近の画像分類タスクの進歩は十分に検討されていない ・医療画像分類に...
モデル FLAN：指示調整により初見タスク実行能力を向上した言語モデル(2/2)
１．FLAN：指示調整により初見タスク実行能力を向上した言語モデル(2/2)まとめ ・FLANはGPT-3よりサイズが小さいがゼロショット設定のGPT-3を上回った ・一部のタスクでは小数ショット設定のGPT-3よりも優れた結果を出した ・...
モデル FLAN：指示調整により初見タスク実行能力を向上した言語モデル(1/2)
１．FLAN：指示調整により初見タスク実行能力を向上した言語モデル(1/2)まとめ ・モデルが意味のある文章を生成するためには現実世界の知識と物事を抽象化する能力が必要 ・モデルは規模拡大するとこれらの知識を自動的に取得するが条件は明確にわ...