ベンチマーク

1/14ページ

TyDi QA:多言語対応した質問回答ベンチマーク(2/2)

AI

1.TyDi QA:多言語対応した質問回答ベンチマーク(2/2)まとめ ・自然なデータセットを構築するために答えをまだ知らない人に質問文を作ってもらった ・その結果、質問文と回答文に共通な単語が少なくなり、同じ意味が異なって表現される事例も出た ・TyDi QAはオープンソースとして公開され、品質評価のためのリーダーボードも挑戦を募集中 2.世界中の言語の幅広い言語現象 以下、ai.googleb […]

TyDi QA:多言語対応した質問回答ベンチマーク(1/2)

AI

1.TyDi QA:多言語対応した質問回答ベンチマーク(1/2)まとめ ・日本語を含む11種類の多様な言語を網羅する質問回答用のデータセットであるTyDi QAが公開 ・TyDi QAは共通点の少ない言語を集めたため多様な言語に多様な対応可能なモデルを訓練できそう ・TyDi QAには言語とデータの課題を表す11言語からの200,000を超える質問と回答のペアが含まれる 2.TyDi QAとは? […]

モデルが出力する「予測の不確実性」はどこまで信用できますか?(1/2)

AI

1.モデルが出力する「予測の不確実性」はどこまで信用できますか?(1/2)まとめ ・学習時に使用したデータと製品展開後に扱うデータが同じようなデータ分布になる事は現実世界では少ない ・トレーニングデータと実際のデータの分布に差がある事は「共変量シフト」として知られている ・共変量シフトや分類外データを扱う際にモデルが出力する「予測の確実性」は信頼できるのかを調査した 2.共変量シフトとは? 以下、 […]

Google Research:2019年の振り返りと2020年以降に向けて(7/8)

AI

1.Google Research:2019年の振り返りと2020年以降に向けて(7/8)まとめ ・機械学習をロボットの制御に応用するために特に強化学習を使った研究が行われた ・世界モデルの学習やポリシーにランダム性を取り込む事、オープンソースなハードなど ・TensorFlowは2.0がリリースされコンパイラ等の周辺ツールも続々改良されている 2.ロボット制御とコミュニティへの支援 以下、ai. […]

Google Research:2019年の振り返りと2020年以降に向けて(1/8)

AI

1.Google Research:2019年の振り返りと2020年以降に向けて(1/8)まとめ ・Google Researchを率いるJeff Deanによる恒例の年初投稿。去年の振り返りと今後の方向性 ・AIの倫理的利用についてはモデルカード、Activation Atlases、Fairness Indicators、FaceForensicsなど ・AI for Social Goodは […]

1 14