モデル ByteQRNN：BERTの1/300のサイズで同等性能なオンデバイスモデル(1/2)
１．ByteQRNN：BERTの1/300のサイズで同等性能なオンデバイスモデル(1/2)まとめ ・トークンフリーモデルは文字列をバイト列として扱うのでモデルサイズを小さくできる ・サイズは小さくできるが推論の待ち時間や計算コストが増加する...
dahara1
モデル 
学習手法 LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(2/2)
１．LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(2/2)まとめ ・LocoProp はレイヤー単位に正則化、出力目標、損失関数を使用してネットワークを分解 ・重み更新はシンプルなオプティマイザーを使用するが性能...
学習手法 LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(1/2)
１．LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(1/2)まとめ ・ディープラーニングではモデルや学習データほどパラメータ更新手法は研究されていない ・高度な更新手法は単純な手法より効率的だが計算量と必要メモリが...
アプリケーション Look and Talk：視線を検知して呼び出しを認識するアシスタント(2/2)
１．Look and Talk：視線を検知して呼び出しを認識するアシスタント(2/2)まとめ ・プライバシーと応答遅延対策のため音声データはサーバに送らずデバイス上で解析している ・デモ登録した音声データを利用することで個々のユーザー毎に最...
アプリケーション Look and Talk：視線を検知して呼び出しを認識するアシスタント(1/2)
１．Look and Talk：視線を検知して呼び出しを認識するアシスタント(1/2)まとめ ・現在のGoogle Assistantは「OK Google」と呼びかける事で起動する仕組みに依存している ・ホームデバイスとの自然で直感的な対...
アプリケーション 機械学習を使ったコード補完で開発者の生産性はどのくらい向上するのか？(2/2)
１．機械学習を使ったコード補完で開発者の生産性はどのくらい向上するのか？(2/2)まとめ ・MLによるコード補完は正しく見えてもコンパイルできないコードを提案する欠点がある ・この欠点を克服するためにセマンティックエンジンを併用して精度を向...
アプリケーション 機械学習を使ったコード補完で開発者の生産性はどのくらい向上するのか？(1/2)
１．機械学習を使ったコード補完で開発者の生産性はどのくらい向上するのか？(1/2)まとめ ・プログラミングコードは年々複雑化しておりコード補完は不可欠なツールとなっている ・従来のコード補完提案はルールベースのセマンティックエンジンで実装さ...
モデル MGDT：41種のゲームを人間同等にプレイ可能なTransformer(2/2)
１．MGDT：41種のゲームを人間同等にプレイ可能なTransformer(2/2)まとめ ・MGDTは様々な経験を学習した方が専門家レベルのデモのみを学習するより優れている ・他の学習システムと比較してモデルサイズの増加に伴う性能向上がよ...
モデル MGDT：41種のゲームを人間同等にプレイ可能なTransformer(1/2)
１．MGDT：41種のゲームを人間同等にプレイ可能なTransformer(1/2)まとめ ・現在の強化学習は様々な個別タスクの意思決定に秀でるが汎用性に関する研究は少ない ・自然言語、視覚、生成モデルの分野ではTransformerが活躍...
ヘルスケア 転移学習手順を改良して医療用モデルを少量データでも開発しやすくする(2/2)
１．転移学習手順を改良して医療用モデルを少量データでも開発しやすくする(2/2)まとめ ・事前学習を３ステップにする事で最大で600倍少ないデータで高品質なモデルを学習可能 ・この手法はモデルのアーキテクチャやデータセットに依存しないことが...
ヘルスケア 転移学習手順を改良して医療用モデルを少量データでも開発しやすくする(1/2)
１．転移学習手順を改良して医療用モデルを少量データでも開発しやすくする(1/2)まとめ ・胸部X線画像は一般に他の医療用画像診断よりも安価で身近な存在だが有効活用できていない ・機械学習モデルは有効活用に貢献するが大規模なラベル付きデータは...
学会 ICML 2022におけるGoogleの存在感
１．ICML 2022におけるGoogleの存在感まとめ ・7/17から7/22の間インターネット上のヴァーチャルイベントとしてICML 2022が開催 ・Google社員も多数参加し101の論文やワークショップを12、チュートリアルを3開...