データセット Google Universal Image Embeddingチャレンジの紹介(2/2)
１．Google Universal Image Embeddingチャレンジの紹介(2/2)まとめ ・同じ実体レベルの認識でもランドマークとアパレルでは実体にばらつきがあり性質が異なる ・従来の実体レベル認識を競うコンペでは対象とする領域...
データセット データセット Google Universal Image Embeddingチャレンジの紹介(1/2)
１．Google Universal Image Embeddingチャレンジの紹介(1/2)まとめ ・物体の属しているクラスではなく特定の実体まで認識する事を実体レベルの認識タスクと言う ・世界に一つしかない物体と多くの複製品を持つ可能性...
モデル MPNAS：写真も絵画も扱えるモデルを自動生成可能なニューラルアーキテクチャ探索(2/2)
１．MPNAS：写真も絵画も扱えるモデルを自動生成可能なニューラルアーキテクチャ探索(2/2)まとめ ・高度に関連したドメイン間ではネットワーク内のパスと構成要素の大部分が重複する ・MPNASから得られたモデルは従来モデルと比較して効率と...
モデル MPNAS：写真も絵画も扱えるモデルを自動生成可能なニューラルアーキテクチャ探索(1/2)
１．MPNAS：写真も絵画も扱えるモデルを自動生成可能なニューラルアーキテクチャ探索(1/2)まとめ ・視覚タスクではデータ領域が写真や絵画などで異なる場合は別々にモデルを学習させる事が多い ・異なる領域を共同で学習させる試みはマルチドメイ...
モデル ByteQRNN：BERTの1/300のサイズで同等性能なオンデバイスモデル(2/2)
１．ByteQRNN：BERTの1/300のサイズで同等性能なオンデバイスモデル(2/2)まとめ ・ByteQRNNはマージAttentionサブレイヤーと量子化ビーム探索で計算を効率化している ・事前学習済みのByteQRNNの性能は、3...
モデル ByteQRNN：BERTの1/300のサイズで同等性能なオンデバイスモデル(1/2)
１．ByteQRNN：BERTの1/300のサイズで同等性能なオンデバイスモデル(1/2)まとめ ・トークンフリーモデルは文字列をバイト列として扱うのでモデルサイズを小さくできる ・サイズは小さくできるが推論の待ち時間や計算コストが増加する...
学習手法 LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(2/2)
１．LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(2/2)まとめ ・LocoProp はレイヤー単位に正則化、出力目標、損失関数を使用してネットワークを分解 ・重み更新はシンプルなオプティマイザーを使用するが性能...
学習手法 LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(1/2)
１．LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(1/2)まとめ ・ディープラーニングではモデルや学習データほどパラメータ更新手法は研究されていない ・高度な更新手法は単純な手法より効率的だが計算量と必要メモリが...
アプリケーション Look and Talk：視線を検知して呼び出しを認識するアシスタント(2/2)
１．Look and Talk：視線を検知して呼び出しを認識するアシスタント(2/2)まとめ ・プライバシーと応答遅延対策のため音声データはサーバに送らずデバイス上で解析している ・デモ登録した音声データを利用することで個々のユーザー毎に最...
アプリケーション Look and Talk：視線を検知して呼び出しを認識するアシスタント(1/2)
１．Look and Talk：視線を検知して呼び出しを認識するアシスタント(1/2)まとめ ・現在のGoogle Assistantは「OK Google」と呼びかける事で起動する仕組みに依存している ・ホームデバイスとの自然で直感的な対...
アプリケーション 機械学習を使ったコード補完で開発者の生産性はどのくらい向上するのか？(2/2)
１．機械学習を使ったコード補完で開発者の生産性はどのくらい向上するのか？(2/2)まとめ ・MLによるコード補完は正しく見えてもコンパイルできないコードを提案する欠点がある ・この欠点を克服するためにセマンティックエンジンを併用して精度を向...
アプリケーション 機械学習を使ったコード補完で開発者の生産性はどのくらい向上するのか？(1/2)
１．機械学習を使ったコード補完で開発者の生産性はどのくらい向上するのか？(1/2)まとめ ・プログラミングコードは年々複雑化しておりコード補完は不可欠なツールとなっている ・従来のコード補完提案はルールベースのセマンティックエンジンで実装さ...