学習手法 SRRとSPADE:自己教師／半教師あり学習で完全教師あり学習を凌駕する異常検知(2/2)
１．SRRとSPADE:自己教師／半教師あり学習で完全教師あり学習を凌駕する異常検知(2/2)まとめ ・多くの半教師あり学習法は、ラベル付きデータとラベル無しデータが同じ分布を持つと仮定しているが現実は異なる事が多い ・SPADEはラベル無...
anomaly detection
学習手法 学習手法 SRRとSPADE:自己教師／半教師あり学習で完全教師あり学習を凌駕する異常検知(1/2)
１．SRRとSPADE:自己教師／半教師あり学習で完全教師あり学習を凌駕する異常検知(1/2)まとめ ・従来の異常検知は完全にラベル付けされたデータに対して有効だが、ラベル付けは非常に手間がかかるため必ずしも現実的な設定ではない ・ラベルな...
入門／解説 市場データとニュースを並べて時系列分析(2/2)
１．市場データとニュースを並べて時系列分析(2/2)まとめ ・時系列データをトレンドと季節性で補正した後、大きく外れたポイントを異常値とした ・市場全体と銘柄の相関を示すベータとR2乗を元に市場と証券の相関関係を分析 ・ニュース記事もカテゴ...
基礎理論 教師あり学習を使って外れ値を発見する(3/3)
１．教師あり学習を使って外れ値を発見する(3/3)まとめ ・異常検出は必ずしも完全に異なるか否かではなく一部に欠陥があるか否かで定義される ・回転予測と分布増強対照学習はテクスチャ異常検出では高い性能を発揮できない ・テクスチャ異常検出用に...
基礎理論 教師あり学習を使って外れ値を発見する(2/3)
１．教師あり学習を使って外れ値を発見する(2/3)まとめ ・通常の対照学習は、異常値ではない通常のサンプルの特徴表現が球上に均一に分散される ・1クラス対照学習では支障が出るため分布増強(DA:Distribution Augmentati...
基礎理論 教師あり学習を使って外れ値を発見する(1/3)
１．教師あり学習を使って外れ値を発見する(1/3)まとめ ・アノマリー検出、外れ値検出、分布外検出は欠陥品検出や不正取引検出など応用範囲が広い ・1クラスサポートベクターマシンは異常検出に良く使われるが最近の進歩の恩恵を受けていない ・自己...
インフラ Kubernetesのノード数を7500に拡張(2/2)
１．Kubernetesのノード数を7500に拡張(2/2)まとめ ・私達は誤動作しているノードを検出してクラスターから削除する処理は自動化 ・GPUは既存ツールでは捕捉できないエラーがあるため内製の仕組みを利用 ・Prometheusによ...