ベンチマーク

AI

人工知能学習用にパソコンを自作する際に知っておくべき事(2020年版)

1.人工知能学習用にパソコンを自作する際に知っておくべき事(2020年版)まとめ ・ディープラーニングには大量の計算が必要なのでクラウドか自作ハードウェアを選ぶ事になる ・自作ハードウェアは長期目線ではコストの削減とスピードの向上に繋が...
AI

より少ないデータから表形式データを推論することを学習(1/2)

1.より少ないデータから表形式データを推論することを学習(1/2)まとめ ・自然言語推論は通常の文章を対象にした研究は多いが構造化データに適用する研究は少ない ・EMNLP 2020で表形式データ解析用にカスタマイズされた初の事前トレー...
AI

RxR:多言語の案内指示に対応する能力を測るベンチマーク(2/2)

1.RxR:多言語の案内指示に対応する能力を測るベンチマーク(2/2)まとめ ・RxRには約1,000万語が含まれており既存のデータセットの約10倍の規模 ・RxRを使い現在の最良のモデルであっても人間の半分程度のスコアである事が判明 ...
AI

RxR:多言語の案内指示に対応する能力を測るベンチマーク(1/2)

1.RxR:多言語の案内指示に対応する能力を測るベンチマーク(1/2)まとめ ・話し言葉や書き言葉を使った指示に応じて複雑な環境を案内できるAIの開発は大きな課題 ・視覚と言語のナビゲーション(VLN)と呼ばれるこの課題には、空間言語の...
AI

ToTTo:表から文を抽出する能力を測るためのデータセット(2/2)

1.ToTTo:表から文を抽出する能力を測るためのデータセット(2/2)まとめ ・最もパフォーマンスの高いモデルであっても約20%の確率で情報を幻覚化するように見える ・最先端のモデルでも幻覚、数値的推論、および稀なトピックに苦労してい...
タイトルとURLをコピーしました