学習手法 ELECTRA：NLPの事前トレーニングを効率的に改良(2/2)
１．ELECTRA：NLPの事前トレーニングを効率的に改良(2/2)まとめ・ELECTRAを他のNLPモデルと比較すると同じ計算量であれば従来の方法よりも大幅にスコアが改善した・単一GPUで4日間で学習可能でELECTRA-smallはGP...
学習手法 学習手法 ELECTRA：NLPの事前トレーニングを効率的に改良(1/2)
１．ELECTRA：NLPの事前トレーニングを効率的に改良(1/2)まとめ・既存のNLP用の事前トレーニング手法には言語モデルとマスク言語モデルの２種類がある・マスク言語モデルは双方向なので言語モデルより優位だが入力文の全てを学習に利用でき...
量子コンピュータ TensorFlow Quantum：量子機械学習のためのオープンソースライブラリ(3/3)
１．TensorFlow Quantum：量子機械学習のためのオープンソースライブラリ(3/3)まとめ・TensorFlow Quantumの重要な機能は、多くの量子回路を同時にトレーニングおよび実行できる事・このため新しい高性能オープンソ...
モデル TensorFlow Quantum：量子機械学習のためのオープンソースライブラリ(2/3)
１．TensorFlow Quantum：量子機械学習のためのオープンソースライブラリ(2/3)まとめ・TFQにより研究者は量子データセット、量子モデル、制御パラメータをテンソルとして構築できる・TFQの目標は量子処理を実行して通常は量子も...
モデル TensorFlow Quantum：量子機械学習のためのオープンソースライブラリ(1/3)
１．TensorFlow Quantum：量子機械学習のためのオープンソースライブラリ(1/3)まとめ・機械学習と量子コンピュータは大きく進歩したが量子コンピュータで実行できる量子機械学習は存在しない・量子機械学習モデルの試作やシミュレーシ...
入門／解説 組成の一般化能力の測定(3/3)
１．組成の一般化能力の測定(3/3)まとめ・compound divergenceという新しい指標によりデータセットの難度を数値で表す事ができた・代表的な3つの標準的なMLアーキテクチャは難度があがるにつれて正確性が直線的にさがってしまう・...
入門／解説 組成の一般化能力の測定(2/3)
１．組成の一般化能力の測定(2/3)まとめ・順守しなければならない文法規則を念頭におき「要素(atoms)」と「複合物(compounds)」を区別する・理想的な組成性実験は要素の分布が類似して複合物の分布が異なっている事である・「組成の一...
入門／解説 組成の一般化能力の測定(1/3)
１．組成の一般化能力の測定(1/3)まとめ・人間は新しい単語の意味を学習し、それを他の文脈に適用することができる・機械学習ではこのスキルは「組成の一般化(compositional generalization)」と呼ぶ・しかし「組成の一般...
その他の調査 人間中心の使いやすい機械学習フレームワークの設計(2/2)
１．人間中心の使いやすい機械学習フレームワークの設計(2/2)まとめ・共通の欲求は新しいテンプレートを最初から作成するのではなく既存のテンプレートを変更する事・モデルを設計またはデバッグするときに使用できる実用的なヒント提供される事も望んで...
入門／解説 人間中心の使いやすい機械学習フレームワークの設計(1/2)
１．人間中心の使いやすい機械学習フレームワークの設計(1/2)まとめ・モデルの振る舞いをAPIに抽象化することで機械学習を学びやすくする多くの努力が行われている・非MLソフトウェア開発者がMLを日常業務に使うために必要なものについては調査さ...
AI関連その他 Mesh-TensorFlowによる超高解像度画像解析(2/2)
１．Mesh-TensorFlowによる超高解像度画像解析(2/2)まとめ・畳み込み演算では各フレームの端部分を超えてフィルターが適用されることがよくある・ヘィロー交換と呼ばれるデータ通信ステップを実装し畳み込みの前に隣接する部分と通信を行...
モデル Mesh-TensorFlowによる超高解像度画像解析(1/2)
１．Mesh-TensorFlowによる超高解像度画像解析(1/2)まとめ・学習手法の進歩によりCNNモデルは数分で数百万の画像のデータセットを使って学習可能になった・しかしCTスキャンなどの三次元画像は二次元画像に比べて画素数が非常に多い...