基礎理論 ディープラーニングコースを受講した生徒からの興味深い質問(1/4)
１．ディープラーニングコースを受講した生徒からの興味深い質問(1/4)まとめ・バックプロパゲーションが脳に実装されていないことは生物学的制約のために非常に明白・神経科学の観点からはこれはバックプロパゲーションに対する批判に繋がる側面がある・...
ヒントン
基礎理論 
モデル GPT-3がAPI経由で利用可能に
１．GPT-3がAPI経由で利用可能にまとめ・GPT-2比で100倍近い性能を持つと推測されるGPT-3が発表されAPI経由で使用可能になる・テキストを入力するとテキストを出力するという非常に汎用的なAPIで微調整も可能・現時点では限られた...
入門／解説 ICLR 2020におけるGoogleの存在感
１．ICLR 2020におけるGoogleの存在感まとめ・エチオピアで開催予定だったICLR2020が完全バーチャル会議として開催・Google AIブログで概要が発表済みの論文も9つ存在するので要チェック・BERTが76分でトレーニング出...
学習手法 集積カプセルオートエンコーダー(6/6)
１．集積カプセルオートエンコーダー(6/6)まとめ・SCAE、集積カプセルオートエンコーダーはPCAEとそれに続くOCAEで構成されています・PCAEエンコーダ、OCAEエンコーダ、OCAEデコーダ、PCAEデコーダの機能から構成される・S...
学習手法 集積カプセルオートエンコーダー(1/6)
１．集積カプセルオートエンコーダー(1/6)まとめ・脳が備えている自己教師と帰納的バイアスのお蔭で人間が効率的な学習が可能になっている可能性がある・この直感によって教師なしバージョンのカプセルネットワークが新たに開発された・カプセルネットワ...
入門／解説 Googleを巨大にした友情(5/9)
１．Googleを巨大にした友情(5/9)まとめ・ハワイ生まれのJeffは子供の頃からコンピュータに慣れ親しんでいた・Sanjayは大学に入るまでコンピュータに触った事がなく兄の影で生きてきた・人生ではJeffは外交的でSanjayは内向的...
入門／解説 3人のAIのパイオニアがチューリング賞を受賞
１．3人のAIのパイオニアがチューリング賞を受賞まとめ・ノーベルコンピューティング賞ともいわれるチューリング賞をAIのパイオニア３名が共同受賞・ヨシュア・ベンジオ、ジェフリー・ヒントン、ヤン・ルカンの３博士は2004年にAIを共同研究・真の...
入門／解説 ヒントン教授のオンライン授業の動画が全て公開
１．ヒントン教授のオンライン授業の動画が全て公開まとめ・Courseraのヒントン教授の講座の動画が教授のWebサイトで全部公開へ・2012年の講座なので古くなりすぎたので取り下げを依頼したとの事・Courseraも元々無料だが１章から16...
入門／解説 QNN:量子ニューラルネットワークで手書き文字を認識させる(2/2)
１．QNN:量子ニューラルネットワークで手書き文字を認識させる(2/2)まとめ・量子ニューラルネットワークでは従来のニューラルネットワークのアルゴリズムが通用しない・特に超高次元空間では勾配が一定の範囲に収まったままになる不毛な台地問題が発...
入門／解説 人工知能に皮肉を理解させる
１．人工知能に皮肉を理解させるまとめ・人工知能に皮肉や風刺を理解させるのは重要だが困難な課題である・皮肉をストレートに受け取ると感情分析やAffective computingが大きな誤動作をしてしまう・個人特性や感情、情緒に注目して皮肉を...
入門／解説 マスターアルゴリズムとは？
１．マスターアルゴリズムとは？まとめ・マスターアルゴリズムとは機械学習の５流派を包括した上位概念・「あらゆる学習可能な知識」を学習可能な汎用性のある人工知能の事・マスターアルゴリズムはまだ存在しないが到達方法を論じたベストセラー本がある２．...
入門／解説 大工になりかけたヒントン教授
１．大工になりかけたヒントン教授まとめ・ヒントン教授はケンブリッジで学んだ後に大工になった時がある・ヒントン教授の曽祖父は、ブール演算の名称の由来となったジョージ・ブール・ヒントン教授が博士課程に進んだとき時はちょうど、人工知能暗黒の時代だ...