入門／解説 GoogleのリサーチサイエンティストColin Raffelへのインタビュー(2/2)
１．GoogleのリサーチサイエンティストColin Raffelへのインタビュー(2/2)まとめ ・転移学習の刺激的な進歩の大爆発が技術の見極めを難しくさせT5に繋がった ・教師無し学習でラベルなしデータセットを活用する事が標準になる未来...
nlp
入門／解説 その他 GoogleのリサーチサイエンティストColin Raffelへのインタビュー(1/2)
１．GoogleのリサーチサイエンティストColin Raffelへのインタビュー(1/2)まとめ ・音楽に関する研究から始めたため、ラベル付きデータを取得する事の困難さを味わった ・そのため、ラベル付きデータの必要性を軽減する研究に関して...
入門／解説 人工知能とデータサイエンスの2019年の主な進展と2020年の予測Industry編(3/3)
１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測Industry編(3/3)まとめ ・文章または音声による自然言語処理は「市民データサイエンティスト」のブームを促進 ・2020年は低消費電力で安価なデバイスにAIが展開...
ビッグデータ 人工知能とデータサイエンスの2019年の主な進展と2020年の予測Industry編(2/3)
１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測Industry編(2/3)まとめ ・IoTデータの大規模分析を可能にするためにはストレージと監視システムの革新が必要 ・データサイエンスタスクの自動化は機械学習パイプラ...
入門／解説 人工知能とデータサイエンスの2019年の主な進展と2020年の予測Industry編(1/3)
１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測Industry編(1/3)まとめ ・データの民主化によりデータ分析がよりビジネスに近い様々な部門で行われるようになる ・AIおよび分析チームはデータ組織の新しい基盤とし...
入門／解説 効率的な質問回答システムにおける課題とワークショップの開催
１．効率的な質問回答システムにおける課題とワークショップの開催まとめ ・従来の質問回答システムは「知識」をドキュメント、またはナレッジグラフから取得して回答していた ・しかし直近の大規模システムはナレッジグラフや文章を参照せず直接回答をする...
入門／解説 定型書式から必要な情報を自動で抽出(1/2)
１．定型書式から必要な情報を自動で抽出(1/2)まとめ ・領収書、請求書などの定型書式文書は、様々なビジネス場面において非常に一般的で大切 ・しかしこれらの定型書式文書は手作業で処理されるが転記ミスなどが発生する可能性がある ・機械学習を用...
入門／解説 XTREME：多言語対応能力を評価する多言語マルチタスクベンチマーク
１．XTREME：多言語対応能力を評価する多言語マルチタスクベンチマークまとめ ・自然言語処理の主要な挑戦の1つは世界の全ての約6900言語で機能するシステムを構築すること ・「多言語間で汎用的な言語の特徴」を学習しようとするモデルは増加し...
学習手法 ELECTRA：NLPの事前トレーニングを効率的に改良(2/2)
１．ELECTRA：NLPの事前トレーニングを効率的に改良(2/2)まとめ ・ELECTRAを他のNLPモデルと比較すると同じ計算量であれば従来の方法よりも大幅にスコアが改善した ・単一GPUで4日間で学習可能でELECTRA-smallは...
学習手法 ELECTRA：NLPの事前トレーニングを効率的に改良(1/2)
１．ELECTRA：NLPの事前トレーニングを効率的に改良(1/2)まとめ ・既存のNLP用の事前トレーニング手法には言語モデルとマスク言語モデルの２種類がある ・マスク言語モデルは双方向なので言語モデルより優位だが入力文の全てを学習に利用...
入門／解説 T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)まとめ ・NLP用の転移学習に導入されたアイデアと手法を広範囲にわたって調査して有用な知見を多く得た ・体系的な研究から得た最良の方法を組...
学習手法 T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)まとめ ・転移学習を用いたNLP関連技術の進歩が速すぎて何が効果的なのか評価することが困難になった ・最も効果的な転移学習手法を調べ、得た...