TPU

1/11ページ

ELECTRA:NLPの事前トレーニングを効率的に改良(2/2)

AI

1.ELECTRA:NLPの事前トレーニングを効率的に改良(2/2)まとめ ・ELECTRAを他のNLPモデルと比較すると同じ計算量であれば従来の方法よりも大幅にスコアが改善した ・単一GPUで4日間で学習可能でELECTRA-smallはGPTよりも優れたパフォーマンスで計算量は30分の1 ・ELECTRA-LargeはGLUEリーダーボードでRoBERTa、XLNet、およびALBERTを凌駕 […]

TensorFlow Quantum:量子機械学習のためのオープンソースライブラリ(1/3)

AI

1.TensorFlow Quantum:量子機械学習のためのオープンソースライブラリ(1/3)まとめ ・機械学習と量子コンピュータは大きく進歩したが量子コンピュータで実行できる量子機械学習は存在しない ・量子機械学習モデルの試作やシミュレーションを迅速に行うためのツールTensorFlow Quantum(TFQ)が公開 ・TFQはCirqとTensorFlowを統合し、量子古典モデルの設計と実 […]

Mesh-TensorFlowによる超高解像度画像解析(2/2)

AI

1.Mesh-TensorFlowによる超高解像度画像解析(2/2)まとめ ・畳み込み演算では各フレームの端部分を超えてフィルターが適用されることがよくある ・ヘィロー交換と呼ばれるデータ通信ステップを実装し畳み込みの前に隣接する部分と通信を行う事で対処 ・Mesh-TensorFlowはGPUとTPUの両方で動作し超高解像度画像へのCNNの適用が可能になる 2.Halo Exchangeとは? […]

Mesh-TensorFlowによる超高解像度画像解析(1/2)

AI

1.Mesh-TensorFlowによる超高解像度画像解析(1/2)まとめ ・学習手法の進歩によりCNNモデルは数分で数百万の画像のデータセットを使って学習可能になった ・しかしCTスキャンなどの三次元画像は二次元画像に比べて画素数が非常に多いので依然として取り扱い困難 ・Mesh-TensorFlowはこの超高解像度画像問題を効率的にデータを分割して処理する事に解決する 2.Mesh-Tenso […]

Google Research:2019年の振り返りと2020年以降に向けて(8/8)

AI

1.Google Research:2019年の振り返りと2020年以降に向けて(8/8)まとめ ・機械学習研究を促進するためにデータセットを公開しGoogle Dataset Searchで探しやすくした ・数百万のタスクを処理しつつ新しいタスクにも自動的に対応する機械学習が長期的目標 ・多様な研究者グループが安心して研究出来る事や新たに参入する研究者に対する支援なども重要 2.オープンデータと […]

1 11