入門／解説 最も役に立った機械学習に関する10の無料オンラインコース
１．最も役に立った機械学習に関する10の無料オンラインコースまとめ ・FastAIのJeremy HowardさんがTwitterで紹介してたまとめの意訳 ・英語の授業ですがどんなコースが評価されてるかの目安として ・良い評判を聞いた事のあ...
BERT
入門／解説 入門／解説 敵対的サンプルはバグではなく人間には知覚できない高度な特徴(3/5)
１．敵対的サンプルはバグではなく人間には知覚できない高度な特徴(3/5)まとめ ・堅牢ではない特徴が存在しなくてもバグから敵対的サンプルを構築できる ・しかし、バグから構築した敵対的サンプルによる学習は転移しない ・堅牢ではない特徴は転移し...
入門／解説 敵対的サンプルはバグではなく人間には知覚できない高度な特徴(2/5)
１．敵対的サンプルはバグではなく人間には知覚できない高度な特徴(2/5)まとめ ・敵対的サンプルがバグではなく人間にできない特徴説に対するコメント集 ・堅牢な特徴の定義から単純化したモデルを使って調査する案など様々 ・スタイル転送の際に堅牢...
入門／解説 敵対的サンプルはバグではなく人間には知覚できない高度な特徴(1/5)
１．敵対的サンプルはバグではなく人間には知覚できない高度な特徴(1/5)まとめ ・敵対的サンプルを使ってトレーニングしたモデルが敵対的でないデータを扱う事が出来る事が判明 ・堅牢なデータセットを使ってトレーニングしたモデルが自明でない特徴を...
入門／解説 PAWS：自然言語の言い換えの理解を促進する新しいデータセット(3/3)
１．PAWS：自然言語の言い換えの理解を促進する新しいデータセット(3/3)まとめ ・BERTなどの強力なモデルはPAWSでトレーニングすると大幅に性能が向上 ・BOWなどの文脈情報を学習できないモデルではPAWSを使っても性能向上せず ・...
ビッグデータ PAWS：自然言語の言い換えの理解を促進する新しいデータセット(1/3)
１．PAWS：自然言語の言い換えの理解を促進する新しいデータセット(1/3)まとめ ・語順が変わっても意味が変わらないフレーズを言い換えペア、意味が変わるペアを非言い換えペアと言う ・言い換えペアと非言い換えペアの識別は最先端のモデルでも苦...
学習手法 VideoBERT：ビデオ内の画像と音声を組み合わせて学習(3/3)
１．VideoBERT：ビデオ内の画像と音声を組み合わせて学習(3/3)まとめ ・VideoBERTはベースラインとした完全教師付き学習のtop-5 accuracyに匹敵する精度を達成 ・VideoBERTはヴィジュアルトークン作成時に細...
モデル VideoBERT：ビデオ内の画像と音声を組み合わせて学習(2/3)
１．VideoBERT：ビデオ内の画像と音声を組み合わせて学習(2/3)まとめ ・ビデオ内の画像とテキストを組み合わせたクロスモーダルな文章を元にVideoBERTを学習させた ・VideoBERTを、料理、ガーデニング、車両修理など、10...
学習手法 VideoBERT：ビデオ内の画像と音声を組み合わせて学習(1/3)
１．VideoBERT：ビデオ内の画像と音声を組み合わせて学習(1/3)まとめ ・機械学習で動画内でどのような活動が行われているのかを認識させるのは困難 ・従来手法では細かくラベル付けされた大量の動画が必要になるがこれは高価 ・動画内の音声...
入門／解説 モジュラーディープラーニング用の再帰的スケッチ(1/2)
１．モジュラーディープラーニング用の再帰的スケッチ(1/2)まとめ ・スケッチとはディープニューラルネットワークが入力をどのように処理しているかを要約する試み ・スケッチはニューラルネットワークに記憶を元にした回答や要約機能を持たせる事に繋...
ビッグデータ アメリカのデータサイエンス求人レポート2019(2/2)
１．アメリカのデータサイエンス求人レポート2019(2/2)まとめ ・2年前と比べて250%以上の求人数の伸びを示したのはTensorflow、Apache Flink、Alteryx ・次に伸びているのはH2O、Caffe、Python、...
ビッグデータ アメリカのデータサイエンス求人レポート2019(1/2)
１．アメリカのデータサイエンス求人レポート2019(1/2)まとめ ・アメリカのデータサイエンス求人でスキル要件として上げられる事の多いソフトウェアのランキング ・求人情報件数で比較するとRの求人はPythonの求人の約半数となっている ・...