モデル 文字情報と画像情報を同じ概念として認識できる人工知能の出現(2/2)
１．文字情報と画像情報を同じ概念として認識できる人工知能の出現(2/2)まとめ ・ニューロンレベルでの単純な分析ではモデルの動作を完全に説明する事は出来ない ・高度な抽象化は人工知能に対する新しい攻撃手法に繋がる可能性がある ・個人やグルー...
neural network
モデル モデル 文字情報と画像情報を同じ概念として認識できる人工知能の出現(1/2)
１．文字情報と画像情報を同じ概念として認識できる人工知能の出現(1/2)まとめ ・特定の女優さんの画像や名前に反応するニューロンが人間の脳内で見つかった事がある ・ネットワークで機能するので特定のニューロンが反応するのはおかしいと反論があっ...
モデル LEAF：人間の聴覚用の設定を学習システムに置き換えてオーディオ分類の性能を向上(1/2)
１．LEAF：人間の聴覚用の設定を学習システムに置き換えてオーディオ分類の性能を向上(1/2)まとめ ・音声分類用のモデルは生音声ではなく前処理されたデータを扱う事が多い ・メルフィルターバンクは人間の聴覚反応を再現するように設計されたフィ...
基礎理論 転移学習とは何か？
１．転移学習とは何か？ ・ディープラーニングは大量のデータと計算機能力を必要とするためハードルが高い ・転移学習は既に学習済みのモデルをベースにして学習をさせるので効率が向上する ・転移学習によりディープラーニングトレーニング時のデータや計...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(3/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(3/4)まとめ ・batchnormは使用した場所により効果が異なりSGDの分析が困難になる側面がある ・embedding次元を決定する際はできるだけ大きなニューラルネットを使...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(2/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(2/4)まとめ ・何を重視するかによってミニバッチとシングルバッチの優位性は異なる ・一般化能力を最優先する場合はシングルバッチの方が優れているという見方もある ・バッチ毎に正規...
基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(1/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(1/4)まとめ ・バックプロパゲーションが脳に実装されていないことは生物学的制約のために非常に明白 ・神経科学の観点からはこれはバックプロパゲーションに対する批判に繋がる側面があ...
AI関連その他 Model Search：最適なMLモデルを見つけるためのオープンソースプラットフォーム(1/2)
１．Model Search：最適なMLモデルを見つけるためのオープンソースプラットフォーム(1/2)まとめ ・うまく一般化できるニューラルネットワークを設計することは現在も困難な課題 ・AutoMLアルゴリズムはこの課題の助力となるが計算...
モデル Apollo：コンピュータアーキテクチャのために機械学習を活用(1/3)
１．Apollo：コンピュータアーキテクチャのために機械学習を活用(1/3)まとめ ・最近の機械学習の進歩の要因の1つにTPUなどのカスタムアクセラレータの開発がある ・急速に進化するMLモデルに順応するためにアーキテクチャの革新を続ける必...
アプリケーション Jukebox：歌声を含む生のオーディオを生成可能なニューラルネット(1/2)
１．Jukebox：歌声を含む生のオーディオを生成可能なニューラルネット(1/2)まとめ ・音楽におけるスタイル転送が歌声を含む生の音声データで可能なOpen AIのJukeboxの紹介 ・CD品質の音楽は1,000万を超えるタイムステップ...
入門／解説 グラフニューラルネットワークのわかりやすい紹介(1/3)
１．グラフニューラルネットワークのわかりやすい紹介(1/3)まとめ ・グラフニューラルネットワークでは、入力データは「各ノードの元の状態」 ・ハイパーパラメータとして定義された特定の更新を実行した後、隠れ状態から出力を解析 ・GNNの更新は...
アプリケーション VoiceFilter-Lite：オンデバイス音声認識の改善(1/2)
１．VoiceFilter-Lite：オンデバイスの音声認識の改善(1/2)まとめ ・2018年に自分の声を登録して音声認識機能をパーソナライズするVoiceFilterを発表 ・VoiceFilterは成功したがスマートフォンなどのデバイ...