基礎理論 SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(2/3)
１．SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(2/3)まとめ ・ReLU関数は勾配が0になった時に学習結果を反映できないのでランダムな挙動に繋がる ・活性化が滑らかなネットワーク(GELU、Swishなど)は...
基礎理論
基礎理論 基礎理論 SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(1/3)
１．SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(1/3)まとめ ・同じデータを使って同じように学習させても同じモデルが再現できない事を再現性の欠如という ・再現性は様々な要因から影響を受けるが全ての要因を制御す...
量子コンピュータ 古典的アルゴリズムと量子アルゴリズムを組み合わせて量子モンテカルロ法を実現(3/3)
１．古典的アルゴリズムと量子アルゴリズムを組み合わせて量子モンテカルロ法を実現(3/3)まとめ ・古典的コンピュータと量子コンピュータの分業で両方のリソースを有効に活用できた ・過去最大規模の16量子ビットを使ってダイヤモンド結晶中の炭素の...
量子コンピュータ 古典的アルゴリズムと量子アルゴリズムを組み合わせて量子モンテカルロ法を実現(2/3)
１．古典的アルゴリズムと量子アルゴリズムを組み合わせて量子モンテカルロ法を実現(2/3)まとめ ・フェルミ粒子には負符号問題というマイナスのエネルギーを持っているように見えるケースがある ・この負符号問題を量子コンピュータと古典的コンピュー...
量子コンピュータ 古典的アルゴリズムと量子アルゴリズムを組み合わせて量子モンテカルロ法を実現(1/3)
１．古典的アルゴリズムと量子アルゴリズムを組み合わせて量子モンテカルロ法を実現(1/3)まとめ ・量子コンピュータ進歩しているが古典的アルゴリズムの方が効果的な事に変わりはない ・しかし古典的手法で量子力学をシミュレーションすると非常に貧弱...
アプリケーション 飛行機の運行ルートを最適化し二酸化炭素の排出を削減(2/2)
１．飛行機の運行ルートを最適化し二酸化炭素の排出を削減(2/2)まとめ ・機体割当問題はノードとアーク(円弧)の集合によって特徴づけられる有向グラフと見なせる ・ネットワーク内のフローバランスを維持しながらフローコストの合計を最小化する問題...
アプリケーション 飛行機の運行ルートを最適化し二酸化炭素の排出を削減(1/2)
１．飛行機の運行ルートを最適化し二酸化炭素の排出を削減(1/2)まとめ ・国際民間航空機関が設定したCO2削減目標を達成するため航空会社が知恵を絞っている ・二酸化炭素排出量を削減する方法に適切な機体を適切なルートに配置する事がある ・機体...
学習手法 Shift-Robust GNN：データの偏りに堅牢なグラフニューラルネットワーク(3/3)
１．Shift-Robust GNN：データの偏りに堅牢なグラフニューラルネットワーク(3/3)まとめ ・ラベル付与されたサンプルが偏っている場合にSR-GNN正則化で30～40%の分類性能向上が可能 ・グラフの畳み込みを高速化するために線...
学習手法 Shift-Robust GNN：データの偏りに堅牢なグラフニューラルネットワーク(2/3)
１．Shift-Robust GNN：データの偏りに堅牢なグラフニューラルネットワーク(2/3)まとめ ・データセットの分布の変化と分類精度の間に強い負の相関があり変化に伴い性能が劣化 ・シフト堅牢正則化器で学習サンプルとラベルなしデータサ...
学習手法 Shift-Robust GNN：データの偏りに堅牢なグラフニューラルネットワーク(1/3)
１．Shift-Robust GNN：データの偏りに堅牢なグラフニューラルネットワーク(1/3)まとめ ・GNNは学習サンプルが一様にランダムに選択されるIIDなサンプルである事を仮定している ・現実世界のデータは通常IIDではないため、偏...
基礎理論 CAP12：音声の抑揚を理解する小型で普遍的な音声特徴表現(3/3)
１．CAP12：音声の抑揚を理解する小型で普遍的な音声特徴表現(3/3)まとめ ・生徒モデルをマッチングさせる手法はグローバルとローカルの２種があるがローカルを使った ・パラ言語情報の中間特徴表現は徐々に増加し、次に減少し、再び増加する二峰...
基礎理論 CAP12：音声の抑揚を理解する小型で普遍的な音声特徴表現(2/3)
１．CAP12：音声の抑揚を理解する小型で普遍的な音声特徴表現(2/3)まとめ ・CAP12に基づくモデルは8つのパラ言語タスクの5つでタスク特化モデルよりも優れている ・CAP12をスマートフォンで使えるようにするため知識蒸留を使用して既...