学習手法 ELECTRA：NLPの事前トレーニングを効率的に改良(1/2)
１．ELECTRA：NLPの事前トレーニングを効率的に改良(1/2)まとめ ・既存のNLP用の事前トレーニング手法には言語モデルとマスク言語モデルの２種類がある ・マスク言語モデルは双方向なので言語モデルより優位だが入力文の全てを学習に利用...
学習手法 
量子コンピュータ TensorFlow Quantum：量子機械学習のためのオープンソースライブラリ(3/3)
１．TensorFlow Quantum：量子機械学習のためのオープンソースライブラリ(3/3)まとめ ・TensorFlow Quantumの重要な機能は、多くの量子回路を同時にトレーニングおよび実行できる事 ・このため新しい高性能オープ...
モデル TensorFlow Quantum：量子機械学習のためのオープンソースライブラリ(2/3)
１．TensorFlow Quantum：量子機械学習のためのオープンソースライブラリ(2/3)まとめ ・TFQにより研究者は量子データセット、量子モデル、制御パラメータをテンソルとして構築できる ・TFQの目標は量子処理を実行して通常は量...
モデル TensorFlow Quantum：量子機械学習のためのオープンソースライブラリ(1/3)
１．TensorFlow Quantum：量子機械学習のためのオープンソースライブラリ(1/3)まとめ ・機械学習と量子コンピュータは大きく進歩したが量子コンピュータで実行できる量子機械学習は存在しない ・量子機械学習モデルの試作やシミュレ...
入門／解説 組成の一般化能力の測定(3/3)
１．組成の一般化能力の測定(3/3)まとめ ・compound divergenceという新しい指標によりデータセットの難度を数値で表す事ができた ・代表的な3つの標準的なMLアーキテクチャは難度があがるにつれて正確性が直線的にさがってしま...
入門／解説 組成の一般化能力の測定(2/3)
１．組成の一般化能力の測定(2/3)まとめ ・順守しなければならない文法規則を念頭におき「要素(atoms)」と「複合物(compounds)」を区別する ・理想的な組成性実験は要素の分布が類似して複合物の分布が異なっている事である ・「組...
入門／解説 組成の一般化能力の測定(1/3)
１．組成の一般化能力の測定(1/3)まとめ ・人間は新しい単語の意味を学習し、それを他の文脈に適用することができる ・機械学習ではこのスキルは「組成の一般化(compositional generalization)」と呼ぶ ・しかし「組成...
その他の調査 人間中心の使いやすい機械学習フレームワークの設計(2/2)
１．人間中心の使いやすい機械学習フレームワークの設計(2/2)まとめ ・共通の欲求は新しいテンプレートを最初から作成するのではなく既存のテンプレートを変更する事 ・モデルを設計またはデバッグするときに使用できる実用的なヒント提供される事も望...
入門／解説 人間中心の使いやすい機械学習フレームワークの設計(1/2)
１．人間中心の使いやすい機械学習フレームワークの設計(1/2)まとめ ・モデルの振る舞いをAPIに抽象化することで機械学習を学びやすくする多くの努力が行われている ・非MLソフトウェア開発者がMLを日常業務に使うために必要なものについては調...
AI関連その他 Mesh-TensorFlowによる超高解像度画像解析(2/2)
１．Mesh-TensorFlowによる超高解像度画像解析(2/2)まとめ ・畳み込み演算では各フレームの端部分を超えてフィルターが適用されることがよくある ・ヘィロー交換と呼ばれるデータ通信ステップを実装し畳み込みの前に隣接する部分と通信...
モデル Mesh-TensorFlowによる超高解像度画像解析(1/2)
１．Mesh-TensorFlowによる超高解像度画像解析(1/2)まとめ ・学習手法の進歩によりCNNモデルは数分で数百万の画像のデータセットを使って学習可能になった ・しかしCTスキャンなどの三次元画像は二次元画像に比べて画素数が非常に...
データセット Open Images V6:新しいタイプの注釈localized narrativesが特徴(2/2)
１．Open Images V6:新しいタイプの注釈localized narrativesが特徴(2/2)まとめ ・Open Images V6では、視覚的関係の注釈の種類を1桁(約1.4k)増やした ・個々のアクションを実行する人間を含...