学習手法 ELECTRA：NLPの事前トレーニングを効率的に改良(2/2)
１．ELECTRA：NLPの事前トレーニングを効率的に改良(2/2)まとめ ・ELECTRAを他のNLPモデルと比較すると同じ計算量であれば従来の方法よりも大幅にスコアが改善した ・単一GPUで4日間で学習可能でELECTRA-smallは...
学習手法
学習手法 学習手法 ELECTRA：NLPの事前トレーニングを効率的に改良(1/2)
１．ELECTRA：NLPの事前トレーニングを効率的に改良(1/2)まとめ ・既存のNLP用の事前トレーニング手法には言語モデルとマスク言語モデルの２種類がある ・マスク言語モデルは双方向なので言語モデルより優位だが入力文の全てを学習に利用...
学習手法 T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)まとめ ・転移学習を用いたNLP関連技術の進歩が速すぎて何が効果的なのか評価することが困難になった ・最も効果的な転移学習手法を調べ、得た...
学習手法 LaserTagger：制御可能で効率的な文章生成アプローチ(2/2)
１．LaserTagger：制御可能で効率的な文章生成アプローチ(2/2)まとめ ・従来のseq2seqを使ったモデルと比較してLaserTaggerには３つの利点がある ・制御可能で幻覚の影響を受けにくい事、最大100倍の速度で予測を実行...
学習手法 Meena：どんな会話にも対応できるチャットボット(2/3)
１．Meena：どんな会話にも対応できるチャットボット(2/3)まとめ ・MeenaはOpenAI GPT-2と比較してモデル容量が1.7倍で8.5倍以上多いデータでトレーニングされている ・チャットボットの品質を評価する従来の評価基準はバ...
学習手法 Recorder：Pixelスマートフォン用の検索可能な録音アプリ(2/2)
１．Recorder：Pixelスマートフォン用の検索可能な録音アプリ(2/2)まとめ ・Recorderは音声を50ms単位で小さく分析し正確に音声イベントの開始時間と終了時間を特定している ・音声分類結果が目まぐるしく変わらないようにa...
学習手法 Recorder：Pixelスマートフォン用の検索可能な録音アプリ(1/2)
１．Recorder：Pixelスマートフォン用の検索可能な録音アプリ(1/2)まとめ ・録音音声をリアルタイムで書き起こしてタグ付けし、検索しやすくするPixel用アプリが公開 ・Recorderと名付けられたこのアプリはオンデバイスで動...
学習手法 機械学習モデルの分類外データの検出を改良(1/3)
１．機械学習モデルの分類外データの検出を改良(1/3)まとめ ・機械学習は学習時に想定されてなかった分類外データを入力に与えられると確信を持って間違う時がある ・これを避けるため「そのデータが分類外(out of distribution)...
学習手法 MobileNetV3:次世代のオンデバイス視覚モデル(3/3)
１．MobileNetV3:次世代のオンデバイス視覚モデル(3/3)まとめ ・精度とEdge TPU上で実行された際の速度を両立させるAutoMLをした結果MobileNetEdgeTPUモデル誕生 ・既存のモバイルモデルよりも同一精度でよ...
学習手法 MobileNetV3:次世代のオンデバイス視覚モデル(2/3)
１．MobileNetV3:次世代のオンデバイス視覚モデル(2/3)まとめ ・MobileNetV3の探索スペースはh-swishとsqueeze-and-excitationで改良が施されている ・ネットワークの最後に新しい効率的な〆(l...
学習手法 Live Caption:オンデバイスで音声コンテンツに字幕を付与(1/2)
１．Live Caption:オンデバイスで音声コンテンツに字幕を付与(1/2)まとめ ・音声コンテンツに字幕を付ける新しいAndroidの機能、Live Captionが発表された ・現在Pixel 4およびPixel 4 XLで利用可能...
学習手法 ディープラーニングを使用して嗅覚を学習(2/2)
１．ディープラーニングを使用して嗅覚を学習(2/2)まとめ ・今回の研究で開発したGNNによる特徴表現は立体異性体を区別できないが臭気予測には支障がなかった ・GNNで学習した特徴表現を中間層から色彩におけるRGBのような「匂い埋め込み」を...