入門／解説 ML-fairness-gym：機械学習システムの長期的な影響を調査するツール(1/3)
１．ML-fairness-gym:機械学習システムの長期的な影響を調査するツール(1/3)まとめ ・機械学習の公平性は一般的に固定したデータセットを利用して公平性を確認する事で行われる ・機械学習の影響を受けたデータが次の入力に使われるよ...
dahara1
入門／解説 
学習手法 LaserTagger：制御可能で効率的な文章生成アプローチ(2/2)
１．LaserTagger：制御可能で効率的な文章生成アプローチ(2/2)まとめ ・従来のseq2seqを使ったモデルと比較してLaserTaggerには３つの利点がある ・制御可能で幻覚の影響を受けにくい事、最大100倍の速度で予測を実行...
入門／解説 LaserTagger：制御可能で効率的な文章生成アプローチ(1/2)
１．LaserTagger：制御可能で効率的な文章生成アプローチ(1/2)まとめ ・Transformerをベースとしたseq2seqモデルは高い性能を持つが文章生成に使うと３つの弱点がある ・幻覚、大量のトレーニングデータ、推論速度、の3...
入門／解説 学習ベースの画像圧縮手法に関する第3回ワークショップ
１．学習ベースの画像圧縮手法に関する第3回ワークショップまとめ ・CVPR 2020で第三回学習ベースの画像圧縮コンペが開催される事が発表し挑戦受付中 ・本ワークショップシリーズの初のビデオ圧縮タスクであるPフレーム圧縮に関するコンペも開催...
入門／解説 Meena：どんな会話にも対応できるチャットボット(3/3)
１．Meena：どんな会話にも対応できるチャットボット(3/3)まとめ ・PerplexityがMeena開発中に作ったSSA値などの人間による評価と強い相関関係を示す事がわかった ・Perplexityは言語モデルの不確実性を測定する従来...
学習手法 Meena：どんな会話にも対応できるチャットボット(2/3)
１．Meena：どんな会話にも対応できるチャットボット(2/3)まとめ ・MeenaはOpenAI GPT-2と比較してモデル容量が1.7倍で8.5倍以上多いデータでトレーニングされている ・チャットボットの品質を評価する従来の評価基準はバ...
入門／解説 Meena：どんな会話にも対応できるチャットボット(1/3)
１．Meena：どんな会話にも対応できるチャットボット(1/3)まとめ ・現在の人工知能を使ったチャットボットは特定の会話はこなせるが雑談に対応できる能力は低い ・MeenaはGPT-2を超える26億のパラメータを内部に持つ新しいニューラル...
入門／解説 ハエの脳のニューロン接続を見える化(2/2)
１．ハエの脳のニューロン接続を見える化(2/2)まとめ ・フロードフィリングネットワークにより校正にかかる時間が大幅に短縮できた ・また、自動シナプス検出用のモデルも訓練する事で更に堅牢性を向上した ・ヘミブレインコネクトーム使って中心複合...
入門／解説 ハエの脳のニューロン接続を見える化(1/2)
１．ハエの脳のニューロン接続を見える化(1/2)まとめ ・ショウジョウバエの脳の半分がどのように相互接続されているかニューロン構造の詳細判明 ・昨年時点の研究では３D画像を自動再構築する所まで出来ていたが接続詳細まではわからなかった ・判明...
基礎理論 Reformer：効率的なTransformer(2/2)
１．Reformer:効率的なTransformer(2/2)まとめ ・リバーシブルレイヤーは、レイヤーごとに2セットのアクティベーションを持つ事でメモリを節約 ・LSHとリバーシブルレイヤーによりReformerは16GBのメモリで最大1...
基礎理論 Reformer:効率的なTransformer(1/2)
１．Reformer:効率的なTransformer(1/2)まとめ ・TransformerはLSTMより大きなコンテキストウィンドウを持つため文脈を理解する能力が高い ・しかしTransformerを更に拡張しようとするとAttenti...
入門／解説 モデルが出力する「予測の不確実性」はどこまで信用できますか？(2/2)
１．モデルが出力する「予測の不確実性」はどこまで信用できますか？(2/2)まとめ ・モデルは予測の不確実性が増した事を認識せずに自信を持って間違う傾向がある ・ディープアンサンブルがデータの変化に対する耐久性を最も改善するシンプルな戦略 ・...