入門／解説 PEGASUS：文章要約を行う最先端の人工知能(3/3)
１．PEGASUS：文章要約を行う最先端の人工知能(3/3)まとめ ・PEGASUSの記事要約事例を５パターン紹介。タイトル部分だけが異なり本文は同一 ・出力される要約文は文章毎に微妙に異なる文章が出力されているが概ね正しい ・船の数を数え...
入門／解説 入門／解説 PEGASUS：文章要約を行う最先端の人工知能(2/3)
１．PEGASUS：文章要約を行う最先端の人工知能(2/3)まとめ ・PEGASUSは1000程度の微調整用のサンプルで教師有りモデルを性能を発揮する事が出来た ・人間による品質評価を行ったところモデルの要約は人間の要約よりを一貫して好まれ...
入門／解説 PEGASUS：文章要約を行う最先端の人工知能(1/3)
１．PEGASUS：文章要約を行う最先端の人工知能(1/3)まとめ ・従来の自然言語の事前トレーニングは様々な下流タスクに流用できるように汎用的な目的だった ・事前トレーニングを最終的に実行するタスクに近づけたらパフォーマンスがどうなるか疑...
入門／解説 Google翻訳の最近の進歩(2/2)
１．Google翻訳の最近の進歩(2/2)まとめ ・低リソース言語の翻訳品質向上には逆翻訳やM4モデリングなどが有効であった ・直近で行われた改良はフレーズベースの翻訳からNMTベースへ移行した4年前の改善度合いに匹敵 ・機械翻訳の幻覚に対...
入門／解説 Google翻訳の最近の進歩(1/2)
１．Google翻訳の最近の進歩(1/2)まとめ ・機械学習の進歩により自動翻訳品質が大幅に向上したがまだ人間のパフォーマンスには及ばない ・利用可能な学習用データが少ない低リソース言語の翻訳品質は特に多くの課題が残されている ・本投稿では...
モデル GPT-3がAPI経由で利用可能に
１．GPT-3がAPI経由で利用可能にまとめ ・GPT-2比で100倍近い性能を持つと推測されるGPT-3が発表されAPI経由で使用可能になる ・テキストを入力するとテキストを出力するという非常に汎用的なAPIで微調整も可能 ・現時点では限...
ビッグデータ 2020年6月7日時点の日本のCOVID-19 Community Mobility Reports
１．2020年6月7日時点の日本のCOVID-19 Community Mobility Reportsまとめ ・COVID-19 Community Mobility Reportsが6月7日(日)時点版として更新 ・5月25日(月)に首...
学習手法 DADS：教師なしで有用なスキルを発見する強化学習(2/2)
１．DADS：教師なしで有用なスキルを発見する強化学習(2/2)まとめ ・DADSは環境にとらわれないため、ロボット移動タスクにも操作タスクにも適用可能 ・スキルに追加のトレーニングが必要ないため、サンプル効率が非常に高く追加トレーニングが...
学習手法 DADS：教師なしで有用なスキルを発見する強化学習(1/2)
１．DADS：教師なしで有用なスキルを発見する強化学習(1/2)まとめ ・教師有り強化学習はシミュレーション環境を飛び出して現実世界の複雑な動作を学習できるようになった ・しかし、様々なタスク用に報酬関数を手動で設計する必要がありこれがボト...
入門／解説 Federated Analytics：データを一か所に収集せずにデータ分析を行う(2/2)
１．Federated Analytics：データを一か所に収集せずにデータ分析を行う(2/2)まとめ ・Secure Aggregationにより、Federated Analyticsはより強力なプライバシー属性を実現できている ・この...
入門／解説 Federated Analytics：データを一か所に収集せずにデータ分析を行う(1/2)
１．Federated Analytics：データを一か所に収集せずにデータ分析を行う(1/2)まとめ ・Federated learningはスマートフォン上のデータをプライバシーを考慮しながら機械学習で利用する仕組み ・Federate...
入門／解説 BLEURT:人工知能が生成した文章の品質を評価(3/3)
１．BLEURT:人工知能が生成した文章の品質を評価(3/3)まとめ ・BLEURTは、何百万もの合成文章ペアを使用してモデルを「ウォームアップ」して品質を向上した ・既存の評価手法と比較するとBLEURTは最も良く人間による品質評価と相関...