入門／解説 Deep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(1/2)
１．Deep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(1/2)まとめ ・モデルサイズ、データサイズ、トレーニング時間を増加させるとパフォーマンスは向上し悪化し向上する ・この現象はCNN、ResNe...
transformer
入門／解説 モデル Cloud TPU v3 PodsがAI学習にかかる時間を競うコンペで最速記録を達成
１．Cloud TPU v3 PodsがAI学習にかかる時間を競うコンペで最速記録を達成まとめ ・Cloud TPU v3 Podsが機械学習モデルの学習時間を測るベンチマークであるMLPerfで最速記録を達成 ・オンプレミスが主体のNVI...
モデル BERTのGoogle検索エンジンへの実践投入
１．BERTのGoogle検索エンジンへの実践投入まとめ ・文脈を理解するAIとして昨年秋に話題になったBERTがGoogle検索に実践投入 ・従来より検索語の意図を理解する能力が高まり英語検索の10%程度が改善された ・改良された学習結果...
学習手法 M4:超多言語、大規模ニューラル機械翻訳(3/3)
１．M4:超多言語、大規模ニューラル機械翻訳(3/3)まとめ ・低リソース言語の数を増やすと高リソース言語の翻訳の品質が低下する現象が観察される ・これを敷設ために良い学習アルゴリズムやモデルパラメータ数を増やす試みを行った ・最終的に50...
学習手法 VideoBERT：ビデオ内の画像と音声を組み合わせて学習(3/3)
１．VideoBERT：ビデオ内の画像と音声を組み合わせて学習(3/3)まとめ ・VideoBERTはベースラインとした完全教師付き学習のtop-5 accuracyに匹敵する精度を達成 ・VideoBERTはヴィジュアルトークン作成時に細...
モデル VideoBERT：ビデオ内の画像と音声を組み合わせて学習(2/3)
１．VideoBERT：ビデオ内の画像と音声を組み合わせて学習(2/3)まとめ ・ビデオ内の画像とテキストを組み合わせたクロスモーダルな文章を元にVideoBERTを学習させた ・VideoBERTを、料理、ガーデニング、車両修理など、10...
学習手法 VideoBERT：ビデオ内の画像と音声を組み合わせて学習(1/3)
１．VideoBERT：ビデオ内の画像と音声を組み合わせて学習(1/3)まとめ ・機械学習で動画内でどのような活動が行われているのかを認識させるのは困難 ・従来手法では細かくラベル付けされた大量の動画が必要になるがこれは高価 ・動画内の音声...
入門／解説 GPT-2のリリースから六か月後の振り返り(2/2)
１．GPT-2のリリースから六か月後の振り返り(2/2)まとめ ・この度公開された774Mモデルに関する研究や使用方法が今後の公開方法に影響する ・GPT-2は近い将来出現が予想される強力な生成モデルの取り扱いに関するテストケースとなる ・...
学習手法 AdvGen:ニューラル機械翻訳を堅牢にするために敵対的サンプルを利用(2/2)
１．AdvGen:ニューラル機械翻訳を堅牢にするために敵対的サンプルを利用(2/2)まとめ ・AdvGenの出力する敵対的サンプルを利用して堅牢性の損失が計算され、モデルにフィードバックされる ・AdvGenを用いた学習によりニューラル機械...
入門／解説 AdvGen:ニューラル機械翻訳を堅牢にするために敵対的サンプルを利用(1/2)
１．AdvGen:ニューラル機械翻訳を堅牢にするために敵対的サンプルを利用(1/2)まとめ ・文法等を意識せずとも言語を他の言語に直接翻訳するニューラル機械翻訳は大きな成功を収めている ・しかし、ニューラル機械翻訳は入力文のわずかな違いで大...
学習手法 集積カプセルオートエンコーダー(6/6)
１．集積カプセルオートエンコーダー(6/6)まとめ ・SCAE、集積カプセルオートエンコーダーはPCAEとそれに続くOCAEで構成されています ・PCAEエンコーダ、OCAEエンコーダ、OCAEデコーダ、PCAEデコーダの機能から構成される...
モデル 集積カプセルオートエンコーダー(5/6)
１．集積カプセルオートエンコーダー(5/6)まとめ ・OCAEは、パーツの姿勢をオブジェクトとして説明しようとする ・古いカプセルはEMベースの推論を使用してオブジェクトに対するパーツの投票をクラスタ化した ・新しいカプセルはK個の出力を持...