学習手法 T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)まとめ ・転移学習を用いたNLP関連技術の進歩が速すぎて何が効果的なのか評価することが困難になった ・最も効果的な転移学習手法を調べ、得た...
転移学習
学習手法 
入門／解説 人工知能とデータサイエンスの2019年の主な進展と2020年の予測developments編(2/3)
１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測developments編(2/3)まとめ ・AIモデルとテクニックの透明性、説明責任、再現性を高める「説明可能なAI」が重視される ・景気の後退がデータを活用する「持っ...
入門／解説 人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(3/3)
１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(3/3)まとめ ・ビジネスにAIを採用させる事を成功するためにはビジネス固有のカスタムソリューションが必要 ・より複雑なデータサイエンスの問題には、特...
入門／解説 その転移学習は本当に有用なのか？(3/3)
１．その転移学習は本当に有用なのか？(3/3)まとめ ・事前学習によって学習された重みは特徴表現とは無関係に学習を高速化する効果がある ・高速効果は平均と分散を意識した初期化で実現できるため任意のレイヤーに適用可能 ・重みを再利用できる下位...
入門／解説 その転移学習は本当に有用なのか？(2/3)
１．その転移学習は本当に有用なのか？(2/3)まとめ ・大きなモデルの下位レイヤーでは学習による重みの変化が小さく特徴表現はかなり再利用される ・大きなモデルでも小さなモデルでも上位レイヤーでは重みの変化が大きく特徴表現はあまり再利用されな...
入門／解説 その転移学習は本当に有用なのか？(1/3)
１．その転移学習は本当に有用なのか？(1/3)まとめ ・転移学習は医療用画像処理タスクのパフォーマンスに大きな影響を与えていない事がわかった ・医療用画像処理タスクでは小さいモデルが大きなモデルに匹敵するパフォーマンスを出せていた ・大きな...
入門／解説 敵対的サンプルはバグではなく人間には知覚できない高度な特徴(1/5)
１．敵対的サンプルはバグではなく人間には知覚できない高度な特徴(1/5)まとめ ・敵対的サンプルを使ってトレーニングしたモデルが敵対的でないデータを扱う事が出来る事が判明 ・堅牢なデータセットを使ってトレーニングしたモデルが自明でない特徴を...
学習手法 VideoBERT：ビデオ内の画像と音声を組み合わせて学習(3/3)
１．VideoBERT：ビデオ内の画像と音声を組み合わせて学習(3/3)まとめ ・VideoBERTはベースラインとした完全教師付き学習のtop-5 accuracyに匹敵する精度を達成 ・VideoBERTはヴィジュアルトークン作成時に細...
入門／解説 気候変動に対してAIは何が出来るのか？(5/4)
１．気候変動に対してAIは何が出来るのか？(5/4)まとめ ・貴方のスキルがどのように役立つかを特定する事 ・共同作業者を見つけ意見を聞き、作業が望ましい影響を与えるように考案 ・インパクトを実現できる場所に作業を展開 ２．気候変動に対して...
入門／解説 GPT-2のリリースから六か月後の振り返り(1/2)
１．GPT-2のリリースから六か月後の振り返り(1/2)まとめ ・六カ月前に公開された小型モデルの6倍のパラメータを持つ大規模GPT-2が公開された ・偽ニュースの検出の研究は進んでいるが決定的な手法はまだない ・7割の人がGPT-2が作成...
入門／解説 多言語化対応したユニバーサルセンテンスエンコーダーで意味検索(1/2)
１．多言語化対応したユニバーサルセンテンスエンコーダーで意味検索(1/2)まとめ ・USEは文章を特徴表現ベクトルに変換する汎用の文章embedding化モデル ・この度、多言語化対応と機能追加した３つのモジュールがリリース ・多言語化され...
入門／解説 データ拡張を教師なしで実現し半教師付き学習の性能を向上(1/2)
１．データ拡張を教師なしで実現し半教師付き学習の性能を向上(1/2)まとめ ・ラベル付きデータが不足している際にデータを水増しする手法は進歩している ・しかし、基本的には教師付き学習でのみ利用可能な手法であった ・今回、ラベルなしデータを教...