学習手法 iterative co-tokenization:動画内でボウルに注がれた2番目の食材が何か答えられるようにする(2/2)
１．iterative co-tokenization:動画内でボウルに注がれた2番目の食材が何か答えられるようにする(2/2)まとめ ・反復的共同トークン化アルゴリズムは他の最新モデルよりも性能とサイズに優れる ・計算量も他の手法よりも低...
人工知能/機械学習
学習手法 学習手法 iterative co-tokenization:動画内でボウルに注がれた2番目の食材が何か答えられるようにする(1/2)
１．iterative co-tokenization:動画内でボウルに注がれた2番目の食材が何か答えられるようにする(1/2)まとめ ・自動字幕、動画分析、動画を使った質問回答(VideoQA)など動画を使ったアプリは増えている ・Vid...
データセット Google Universal Image Embeddingチャレンジの紹介(2/2)
１．Google Universal Image Embeddingチャレンジの紹介(2/2)まとめ ・同じ実体レベルの認識でもランドマークとアパレルでは実体にばらつきがあり性質が異なる ・従来の実体レベル認識を競うコンペでは対象とする領域...
データセット Google Universal Image Embeddingチャレンジの紹介(1/2)
１．Google Universal Image Embeddingチャレンジの紹介(1/2)まとめ ・物体の属しているクラスではなく特定の実体まで認識する事を実体レベルの認識タスクと言う ・世界に一つしかない物体と多くの複製品を持つ可能性...
モデル MPNAS：写真も絵画も扱えるモデルを自動生成可能なニューラルアーキテクチャ探索(2/2)
１．MPNAS：写真も絵画も扱えるモデルを自動生成可能なニューラルアーキテクチャ探索(2/2)まとめ ・高度に関連したドメイン間ではネットワーク内のパスと構成要素の大部分が重複する ・MPNASから得られたモデルは従来モデルと比較して効率と...
モデル MPNAS：写真も絵画も扱えるモデルを自動生成可能なニューラルアーキテクチャ探索(1/2)
１．MPNAS：写真も絵画も扱えるモデルを自動生成可能なニューラルアーキテクチャ探索(1/2)まとめ ・視覚タスクではデータ領域が写真や絵画などで異なる場合は別々にモデルを学習させる事が多い ・異なる領域を共同で学習させる試みはマルチドメイ...
モデル ByteQRNN：BERTの1/300のサイズで同等性能なオンデバイスモデル(2/2)
１．ByteQRNN：BERTの1/300のサイズで同等性能なオンデバイスモデル(2/2)まとめ ・ByteQRNNはマージAttentionサブレイヤーと量子化ビーム探索で計算を効率化している ・事前学習済みのByteQRNNの性能は、3...
モデル ByteQRNN：BERTの1/300のサイズで同等性能なオンデバイスモデル(1/2)
１．ByteQRNN：BERTの1/300のサイズで同等性能なオンデバイスモデル(1/2)まとめ ・トークンフリーモデルは文字列をバイト列として扱うのでモデルサイズを小さくできる ・サイズは小さくできるが推論の待ち時間や計算コストが増加する...
学習手法 LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(2/2)
１．LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(2/2)まとめ ・LocoProp はレイヤー単位に正則化、出力目標、損失関数を使用してネットワークを分解 ・重み更新はシンプルなオプティマイザーを使用するが性能...
学習手法 LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(1/2)
１．LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(1/2)まとめ ・ディープラーニングではモデルや学習データほどパラメータ更新手法は研究されていない ・高度な更新手法は単純な手法より効率的だが計算量と必要メモリが...
モデル MGDT：41種のゲームを人間同等にプレイ可能なTransformer(2/2)
１．MGDT：41種のゲームを人間同等にプレイ可能なTransformer(2/2)まとめ ・MGDTは様々な経験を学習した方が専門家レベルのデモのみを学習するより優れている ・他の学習システムと比較してモデルサイズの増加に伴う性能向上がよ...
モデル MGDT：41種のゲームを人間同等にプレイ可能なTransformer(1/2)
１．MGDT：41種のゲームを人間同等にプレイ可能なTransformer(1/2)まとめ ・現在の強化学習は様々な個別タスクの意思決定に秀でるが汎用性に関する研究は少ない ・自然言語、視覚、生成モデルの分野ではTransformerが活躍...