アプリケーション TensorStore：ペタサイズの高次元データを柔軟に効率的に処理する(2/2)
１．TensorStore：ペタサイズの高次元データを柔軟に効率的に処理する(2/2)まとめ ・Apache BeamやDaskなどの並列コンピューティングライブラリと互換性を持つ ・大規模言語モデルではT5XやPathwaysなどのフレー...
data management
アプリケーション 基礎理論 TensorStore：ペタサイズの高次元データを柔軟に効率的に処理する(1/2)
１．TensorStore：ペタサイズの高次元データを柔軟に効率的に処理する(1/2)まとめ ・最近の機械学習はペタ規模の巨大多次元データセットを操作する事も多い ・データは順番に読まれるわけではなく複数マシンに分散される事もある ・Ten...
入門／解説 Agile Data Labeling：それが何であり、なぜそれが必要なのか？(1/3)
１．Agile Data Labeling：それが何であり、なぜそれが必要なのか？(1/3)まとめ ・変化への対応を是とするアジャイル型開発手法はソフトウェア開発に生産性革命をもたらした ・MLプロジェクトにとってデータ整備は重要だが生産性...
入門／解説 Weak Supervision:機械学習のための新しいプログラミングパラダイム(4/4)
１．Weak Supervision:機械学習のための新しいプログラミングパラダイム(4/4)まとめ ・Snorkelの研究は続けられており、ラベル付け関数の自動生成！など、様々な場面での活躍が見込まれる ・マルチタスクラーニング(MTL)...