基礎理論 LaBSE：言語に依存しないBERT仕様のEmbedding(1/2)
１．LaBSE：言語に依存しないBERT仕様のEmbedding(1/2)まとめ ・多言語アプローチは有用ではあるがパフォーマンスを維持しながら対応言語を増やすのは困難 ・LaBSEは109の言語を使って訓練したBERT仕様で多言語共通なe...
transformer
基礎理論 
その他 GoogleのリサーチサイエンティストColin Raffelへのインタビュー(1/2)
１．GoogleのリサーチサイエンティストColin Raffelへのインタビュー(1/2)まとめ ・音楽に関する研究から始めたため、ラベル付きデータを取得する事の困難さを味わった ・そのため、ラベル付きデータの必要性を軽減する研究に関して...
入門／解説 Seq2act：機械学習でスマホ操作を人間の代わりに実行する(2/2)
１．Seq2act：機械学習でスマホ操作を人間の代わりに実行する(2/2)まとめ ・モデルをトレーニング、および評価するための3つの新しいデータセットを構築して公開 ・「アクションフレーズの抽出」と「言語の割り当て」に分解してモデルパフォー...
モデル YouTuber向けのSmartReply機能が実装(2/2)
１．YouTuber向けのSmartReply機能が実装(2/2)まとめ ・文字単位の処理は単語単位の処理よりも文字列の並びが長くなり推論速度が遅すぎた ・WaveNetが使った拡張手法を適用し計算量と品質の間で適切なトレードオフを実現 ・...
アプリケーション YouTuber向けのSmartReply機能が実装(1/2)
１．YouTuber向けのSmartReply機能が実装(1/2)まとめ ・Gmailで自動的に返信案を作ってくれるSmartReplyがYoutubeのコメント欄で利用可能に ・現在は英語とスペイン語のコメント用だが複数言語対応用の基盤は...
モデル RepNet：人工知能で動画内の反復行動を数える(1/2)
１．RepNet：人工知能で動画内の反復行動を数える(1/2) ・月の満ち欠けや心拍や呼吸、製造ラインや交通パターンなどの反復行動は現実世界で一般的 ・反復行動を理解する事でより複雑な行動パターンを認識できたり様々な洞察を得る事ができる ・...
入門／解説 PEGASUS：文章要約を行う最先端の人工知能(2/3)
１．PEGASUS：文章要約を行う最先端の人工知能(2/3)まとめ ・PEGASUSは1000程度の微調整用のサンプルで教師有りモデルを性能を発揮する事が出来た ・人間による品質評価を行ったところモデルの要約は人間の要約よりを一貫して好まれ...
入門／解説 PEGASUS：文章要約を行う最先端の人工知能(1/3)
１．PEGASUS：文章要約を行う最先端の人工知能(1/3)まとめ ・従来の自然言語の事前トレーニングは様々な下流タスクに流用できるように汎用的な目的だった ・事前トレーニングを最終的に実行するタスクに近づけたらパフォーマンスがどうなるか疑...
入門／解説 Google翻訳の最近の進歩(1/2)
１．Google翻訳の最近の進歩(1/2)まとめ ・機械学習の進歩により自動翻訳品質が大幅に向上したがまだ人間のパフォーマンスには及ばない ・利用可能な学習用データが少ない低リソース言語の翻訳品質は特に多くの課題が残されている ・本投稿では...
入門／解説 BLEURT:人工知能が生成した文章の品質を評価(1/3)
１．BLEURT:人工知能が生成した文章の品質を評価(1/3)まとめ ・人工知能が生成した文章を評価する手法は「人間による手動評価」と「機械による自動評価」の２つがある ・手動評価は正確だが手間がかかり自動評価は気軽にできるが高度な言い換え...
入門／解説 TAPAS：ニューラルネットワークを使って表形式データから自動で答えを抽出
１．TAPAS：ニューラルネットワークを使って表形式データから自動で答えを抽出まとめ ・TAPASはBERTを拡張し、質問に対する回答を表形式データから直接抽出する新モデル ・質問と表形式のデータ構造を一緒にエンコードするアプローチによりこ...
入門／解説 ICLR 2020におけるGoogleの存在感
１．ICLR 2020におけるGoogleの存在感まとめ ・エチオピアで開催予定だったICLR2020が完全バーチャル会議として開催 ・Google AIブログで概要が発表済みの論文も9つ存在するので要チェック ・BERTが76分でトレーニ...