学習手法 PRIME：過去のシミュレーションログ使ってアクセラレータを新規に設計(1/3)
１．PRIME：のシミュレーションログ使ってアクセラレータを新規に設計(1/3)まとめ ・ハードウェア設計には多くのシミュレーションが必要でMLがあっても手間がかかる作業 ・過去データを使ってモデルを学習させ、次世代のアクセラレータを設計で...
machine learning
学習手法 
モデル MBT：動画における新しいモダリティ融合モデル(3/3)
１．MBT：動画における新しいモダリティ融合モデル(3/3)まとめ ・少数のattentionボトルネックを使用しても計算量はそれほど大きく増えずほぼ一定に保たれる ・MBTの融合ボトルネックは画像のより小さな領域にAttentionを集中...
モデル MBT：動画における新しいモダリティ融合モデル(1/3)
１．MBT：動画における新しいモダリティ融合モデル(1/3)まとめ ・人は複数の感覚からの入力を通して世界と関わり情報を組み合わせる事が可能 ・同様に複数の入力を取扱可能なモデルをマルチモーダルな機械学習モデルという ・MBTと呼ぶ動画にお...
学習手法 Shift-Robust GNN：データの偏りに堅牢なグラフニューラルネットワーク(1/3)
１．Shift-Robust GNN：データの偏りに堅牢なグラフニューラルネットワーク(1/3)まとめ ・GNNは学習サンプルが一様にランダムに選択されるIIDなサンプルである事を仮定している ・現実世界のデータは通常IIDではないため、偏...
モデル SPL:ゆるくラベル付けされた動画に疑似的なラベルを付与して動画認識を改善(3/3)
１．SPL:ゆるくラベル付けされた動画に疑似的なラベルを付与して動画認識を改善(3/3)まとめ ・SPLは様々な事前学習手法のいずれよりも優れておりどのようなデータセットにも適用可能 ・SPLは学習を複雑にせず教師-生徒ベースの学習フレーム...
ヘルスケア ProtENN:ディープラーニングでタンパク質に注釈付けをする(1/3)
１．ProtENN:ディープラーニングでタンパク質に注釈付けをする(1/3)まとめ ・タンパク質のアミノ酸配列の構造と機能の関係を理解することは科学にとって非常に重要 ・機能が未知のタンパク質はまだ多く、信頼性の高い注釈が付与されていないも...
プライバシー 厳密な差分プライバシー保証を持つ連合学習(3/3)
１．厳密な差分プライバシー保証を持つ連合学習(3/3)まとめ ・米国国勢調査より強い基準のFLモデルを本番環境に配備するという成果を達成した ・他のMLモデルや製品でも実用的で利用可能であるとはまだ言えず研究は続く ・ユーザーの潜在的なプラ...
プライバシー 厳密な差分プライバシー保証を持つ連合学習(2/3)
１．厳密な差分プライバシー保証を持つ連合学習(2/3)まとめ ・多くの外部要因によって利用可能なデバイスの数が大幅に変化し得るので困難であった ・学習に参加可能な端末が少ないとランダム性がないためプライバシーが緩まる事になる ・累積和と負相...
プライバシー 厳密な差分プライバシー保証を持つ連合学習(1/3)
１．厳密な差分プライバシー保証を持つ連合学習(1/3)まとめ ・連合学習は学習データをデバイスに残したままモデルの学習が可能でプライシー重視 ・ユーザーデータを使って学習するモデルにとって重要なもう一つの原則は匿名化処理 ・差分プライバシー...
モデル CIW:ノイズの多いラベルを使ってディープニューラルネットを訓練する新手法(1/3)
１．CIW:ノイズの多いラベルを使ってディープニューラルネットを訓練する新手法(1/3)まとめ ・ノイズの多いラベルはクリーンなデータで学習したモデルの精度を低下させることが多い ・ノイズの多いデータで直接機械学習モデルを学習させる手法を新...
自然環境 機械学習トレーニング時の二酸化炭素排出量を4年間で747倍削減(2/2)
１．機械学習トレーニング時の二酸化炭素排出量を4年間で747倍削減(2/2)まとめ ・過去3年間のGoogleの総エネルギー使用量のうちMLの学習と推論の使用量は10%～15% ・Evolved Transformerモデルの炭素排出量が自...
自然環境 機械学習トレーニング時の二酸化炭素排出量を4年間で747倍削減(1/2)
１．機械学習トレーニング時の二酸化炭素排出量を4年間で747倍削減(1/2)まとめ ・機械学習実行時の計算コストの上昇と温室効果ガスの総排出量について懸念する声がある ・機械学習関連作業時の二酸化炭素排出量を大幅に削減する4つの主要な実践方...