入門／解説 Meena：どんな会話にも対応できるチャットボット(3/3)
１．Meena：どんな会話にも対応できるチャットボット(3/3)まとめ ・PerplexityがMeena開発中に作ったSSA値などの人間による評価と強い相関関係を示す事がわかった ・Perplexityは言語モデルの不確実性を測定する従来...
入門／解説 学習手法 Meena：どんな会話にも対応できるチャットボット(2/3)
１．Meena：どんな会話にも対応できるチャットボット(2/3)まとめ ・MeenaはOpenAI GPT-2と比較してモデル容量が1.7倍で8.5倍以上多いデータでトレーニングされている ・チャットボットの品質を評価する従来の評価基準はバ...
入門／解説 Meena：どんな会話にも対応できるチャットボット(1/3)
１．Meena：どんな会話にも対応できるチャットボット(1/3)まとめ ・現在の人工知能を使ったチャットボットは特定の会話はこなせるが雑談に対応できる能力は低い ・MeenaはGPT-2を超える26億のパラメータを内部に持つ新しいニューラル...
入門／解説 ハエの脳のニューロン接続を見える化(2/2)
１．ハエの脳のニューロン接続を見える化(2/2)まとめ ・フロードフィリングネットワークにより校正にかかる時間が大幅に短縮できた ・また、自動シナプス検出用のモデルも訓練する事で更に堅牢性を向上した ・ヘミブレインコネクトーム使って中心複合...
入門／解説 ハエの脳のニューロン接続を見える化(1/2)
１．ハエの脳のニューロン接続を見える化(1/2)まとめ ・ショウジョウバエの脳の半分がどのように相互接続されているかニューロン構造の詳細判明 ・昨年時点の研究では３D画像を自動再構築する所まで出来ていたが接続詳細まではわからなかった ・判明...
基礎理論 Reformer：効率的なTransformer(2/2)
１．Reformer:効率的なTransformer(2/2)まとめ ・リバーシブルレイヤーは、レイヤーごとに2セットのアクティベーションを持つ事でメモリを節約 ・LSHとリバーシブルレイヤーによりReformerは16GBのメモリで最大1...
基礎理論 Reformer:効率的なTransformer(1/2)
１．Reformer:効率的なTransformer(1/2)まとめ ・TransformerはLSTMより大きなコンテキストウィンドウを持つため文脈を理解する能力が高い ・しかしTransformerを更に拡張しようとするとAttenti...
入門／解説 モデルが出力する「予測の不確実性」はどこまで信用できますか？(2/2)
１．モデルが出力する「予測の不確実性」はどこまで信用できますか？(2/2)まとめ ・モデルは予測の不確実性が増した事を認識せずに自信を持って間違う傾向がある ・ディープアンサンブルがデータの変化に対する耐久性を最も改善するシンプルな戦略 ・...
入門／解説 モデルが出力する「予測の不確実性」はどこまで信用できますか？(1/2)
１．モデルが出力する「予測の不確実性」はどこまで信用できますか？(1/2)まとめ ・学習時に使用したデータと製品展開後に扱うデータが同じようなデータ分布になる事は現実世界では少ない ・トレーニングデータと実際のデータの分布に差がある事は「共...
入門／解説 機械学習を利用して今現在の天気予報を行う(3/3)
１．機械学習を利用して今現在の天気予報を行う(3/3)まとめ ・従来の天気予報モデルと比較した結果、短期的未来を予測する能力は機械学習モデルが最も高かった ・しかし、５時間以上先の天気では物理学を考慮するHRRRの性能の方が高かった ・短期...
入門／解説 機械学習を利用して今現在の天気予報を行う(2/3)
１．機械学習を利用して今現在の天気予報を行う(2/3)まとめ ・従来のオプティカルフローアルゴリズムは嵐の勢いが変化する事などは考慮出来ていない ・物理学から得られた大気の動きに関する知見は利用せず、画像予測問題として天気予報に挑戦 ・画像...
入門／解説 機械学習を利用して今現在の天気予報を行う(1/3)
１．機械学習を利用して今現在の天気予報を行う(1/3)まとめ ・従来の天気予報は大規模システムにより１～１０日間の比較的遠い将来の天気が予報されてきた ・０～６時間程度の比較的近い未来の天気を予測するナウキャスティングという予報が増えた ・...