入門／解説 ご家庭のパソコンで言語モデルを微調整してGPT-4を超える
１．ご家庭のパソコンで言語モデルを微調整してGPT-4を超えるまとめ ・chatGPTのように言語を流暢に扱う事のできるAIを様々な企業や団体が公開してくれているがカスタマイズするには高性能なパソコンが必要であった ・量子化(quantiz...
学習手法
入門／解説 
プライバシー 連合学習のための分散型差分プライバシー(2/2)
１．連合学習のための分散型差分プライバシー(2/2)まとめ ・分散差分プライバシーはSmart Text Selectionに正式なプライバシー保証を追加しますが、その正式な保証は比較的弱いものとなっている ・しかし、正式なプライバシー保証...
プライバシー 連合学習のための分散型差分プライバシー(1/2)
１．連合学習のための分散型差分プライバシー(1/2)まとめ ・連合学習は機械学習モデルのトレーニングを分散して行う手法でデータは各端末内で処理されるためプライバシーが保たれる事が特徴 ・セキュアアグリゲーションと分散版差分プライバシーの2つ...
学習手法 KTN:ラベルが少なくたって異種混合グラフニューラルネットだって転移学習したいです(2/2)
１．KTN:ラベルが少なくたって異種混合グラフニューラルネットだって転移学習したいです(2/2)まとめ ・ラベルが豊富な転移元に対してHGNNモデルと分類器を事前に訓練し、同じHGにあるラベルが少ない転移先に対してモデルを再利用する手法を考...
学習手法 KTN:ラベルが少なくたって異種混合グラフニューラルネットだって転移学習したいです(1/2)
１．KTN:ラベルが少なくたって異種混合グラフニューラルネットだって転移学習したいです(1/2)まとめ ・機械学習の産業界向けアプリケーションは一般にデータの形式や特徴分布が異なる様々な項目で構成される事が多い ・異種混合グラフは複数種のノ...
学習手法 Scaled Q-learning：強化学習も大規模言語モデルみたいに事前学習をしたいです(2/2)
１．Scaled Q-learning：強化学習も大規模言語モデルみたいに事前学習をしたいです(2/2)まとめ ・Scaled Q-Learningは強化学習であるにも関わらず規模を拡大する事が有利になるべき乗スケーリング特性を持っている ...
学習手法 Scaled Q-learning：強化学習も大規模言語モデルみたいに事前学習をしたいです(1/2)
１．Scaled Q-learning：強化学習も大規模言語モデルみたいに事前学習をしたいです(1/2)まとめ ・強化学習は学習結果の流用が難しく、ゼロから学習するのは非常にお金がかかるので敷居を下げる様々な工夫が考案されている ・Scal...
学習手法 SRRとSPADE:自己教師／半教師あり学習で完全教師あり学習を凌駕する異常検知(2/2)
１．SRRとSPADE:自己教師／半教師あり学習で完全教師あり学習を凌駕する異常検知(2/2)まとめ ・多くの半教師あり学習法は、ラベル付きデータとラベル無しデータが同じ分布を持つと仮定しているが現実は異なる事が多い ・SPADEはラベル無...
学習手法 SRRとSPADE:自己教師／半教師あり学習で完全教師あり学習を凌駕する異常検知(1/2)
１．SRRとSPADE:自己教師／半教師あり学習で完全教師あり学習を凌駕する異常検知(1/2)まとめ ・従来の異常検知は完全にラベル付けされたデータに対して有効だが、ラベル付けは非常に手間がかかるため必ずしも現実的な設定ではない ・ラベルな...
アプリケーション OSS Vizier:Google社内で使われている人工知能チューニングツールが公開(2/2)
１．OSS Vizier:Google社内で使われている人工知能チューニングツールが公開(2/2)まとめ ・OSS VizierはGoogleの多くのオープンソースプロジェクトや外部のフレームワークと大きく統合されていく事になる ・ニューラ...
アプリケーション OSS Vizier:Google社内で使われている人工知能チューニングツールが公開(1/2)
１．OSS Vizier:Google社内で使われている人工知能チューニングツールが公開(1/2)まとめ ・Google VizierはGoogle製品内の人工知能のハイパーパラメータを最適化するために使われてきた非公開システム ・そのGo...
ヘルスケア プライバシーに配慮しながら医療現場の略語を解読可能な機械学習を実現(2/2)
１．プライバシーに配慮しながら医療現場の略語を解読可能な機械学習を実現(2/2)まとめ ・略語展開タスクは構造化されていないため性能計測が困難であったが新規にアルゴリズムを開発した ・医療用略語に対する理解は一般人で30％未満、医師で90%...