学習手法 GO：グラフ最適化用強化学習(2/3)
１．GO：グラフ最適化用強化学習(2/3)まとめ ・GOはGraphSAGEを利用しておりトレーニング時に見た事がないグラフに対して一般化可能 ・GOは規模拡大可能なAttentionが含まれノード間の距離が離れていても依存関係を捕捉可 ・...
基礎理論
学習手法 学習手法 GO：グラフ最適化用強化学習(1/3)
１．GO：グラフ最適化用強化学習(1/3)まとめ ・大規模モデルは多様なアクセラレータが混在する環境でトレーニングされるようになってきた ・MLコンパイラは多くの複雑な最適化問題を解決する必要があるが手動設計には限界がある ・この制限を克服...
AI関連その他 トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(2/2)
１．トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(2/2)まとめ ・トレーニングデータ抽出攻撃の目標は言語モデルが何を記憶しているかを予測する事 ・ニュースヘッドライン、ログ、コード、個人情報などの幅広いコン...
AI関連その他 トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(1/2)
１．トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(1/2)まとめ ・言語モデルがトレーニング時に使用したデータの詳細を漏洩してしまう危険性が指摘された ・大規模言語モデルを非公開データを使って公開している際に...
AI関連その他 LIT：自然言語モデルを対話的に調査して理解を深める解釈性ツール(1/2)
１．LIT：自然言語モデルを対話的に調査して理解を深める解釈性ツール(1/2)まとめ ・自然言語処理モデルが様々な場面で使われるようになりその動作を理解する重要性が増加 ・以前のWhat-Ifツールは分類と回帰モデル用で自然言語処理に特化し...
基礎理論 解釈しやすいニューロンがディープラーニングの性能を低下させる可能性
１．解釈しやすいニューロンがディープラーニングの性能を低下させる可能性まとめ ・一部のニューロンは猫画像など特定クラスを優先する性質を持ちこれをクラス選択性という ・クラス選択性は学習中に自動出現するので解釈可能性に関するツールとして注目さ...
学習手法 DVRL：強化学習を使って学習用データの影響を推定(2/2)
１．DVRL：強化学習を使って学習用データの影響を推定(1/2)まとめ ・DVRLはデータ価値の推定やノイズ影響の除去で従来手法より優れた成果を出した ・学習データが検証／テストデータと異なる分布に由来するドメイン適応シナリオも対応可 ・デ...
学習手法 DVRL：強化学習を使って学習用データの影響を推定(1/2)
１．DVRL：強化学習を使って学習用データの影響を推定(1/2)まとめ ・全てのデータサンプルがディープラーニングを学習させる際に等しく役立つわけではない ・低品質データを削除することでパフォーマンスを向上させる事が出来る場合もある ・DV...
モデル Performers：Attentionの規模拡大を容易にする(3/3)
１．Performers：Attentionの規模拡大を容易にする(3/3)まとめ ・PerformerはAttentionをまったく使用していないモデルに非常に近い性能を発揮 ・転移後に微調整すると元の勾配ステップ数のごく一部で精度をすば...
モデル Performers：Attentionの規模拡大を容易にする(2/3)
１．Performers：Attentionの規模拡大を容易にする(2/3)まとめ ・通常のAttentionは保存されたAttention行列に入力された値を乗算して最終結果を取得 ・Attention行列を分解すれば通常のAttenti...
モデル Performers：Attentionの規模拡大を容易にする(1/3)
１．Performers：Attentionの規模拡大を容易にする(1/3)まとめ ・Transformerの中心となるAttentionモジュールはデータが長くなると計算が困難になる ・類似性スコアを計算するため指数関数的に計算量と必要メ...
基礎理論 LaBSE：言語に依存しないBERT仕様のEmbedding(1/2)
１．LaBSE：言語に依存しないBERT仕様のEmbedding(1/2)まとめ ・多言語アプローチは有用ではあるがパフォーマンスを維持しながら対応言語を増やすのは困難 ・LaBSEは109の言語を使って訓練したBERT仕様で多言語共通なe...