基礎理論 GO：グラフ最適化用強化学習(3/3)
１．GO：グラフ最適化用強化学習(3/3)まとめ ・GOはオフライントレーニングとわずかな微調整で初見のグラフにも一般化可能 ・全タスクを一度に最適化するマルチタスクGOはシングルタスクGOより7.8％速度が向上 ・フレームワークの最適化問...
基礎理論 基礎理論 GO：グラフ最適化用強化学習(2/3)
１．GO：グラフ最適化用強化学習(2/3)まとめ ・GOはGraphSAGEを利用しておりトレーニング時に見た事がないグラフに対して一般化可能 ・GOは規模拡大可能なAttentionが含まれノード間の距離が離れていても依存関係を捕捉可 ・...
基礎理論 GO：グラフ最適化用強化学習(1/3)
１．GO：グラフ最適化用強化学習(1/3)まとめ ・大規模モデルは多様なアクセラレータが混在する環境でトレーニングされるようになってきた ・MLコンパイラは多くの複雑な最適化問題を解決する必要があるが手動設計には限界がある ・この制限を克服...
入門／解説 グラフニューラルネットワークのわかりやすい紹介(3/3)
１．グラフニューラルネットワークのわかりやすい紹介(3/3)まとめ ・GNNにAttentionを加えるのは容易でTransformerと同じものを利用可能 ・GNNはグラフ上に存在しグラフ上で動作するディープラーニングにすぎない ・様々な...
入門／解説 グラフニューラルネットワークのわかりやすい紹介(2/3)
１．グラフニューラルネットワークのわかりやすい紹介(2/3)まとめ ・グラフニューラルネットワークは2005年に発表されたが関連する概念はそれ以前からあった ・過去数年間、GNNはSMS分析や計算化学分野、特に創薬分野に熱心に使われている ...
入門／解説 グラフニューラルネットワークのわかりやすい紹介(1/3)
１．グラフニューラルネットワークのわかりやすい紹介(1/3)まとめ ・グラフニューラルネットワークでは、入力データは「各ノードの元の状態」 ・ハイパーパラメータとして定義された特定の更新を実行した後、隠れ状態から出力を解析 ・GNNの更新は...
AI関連その他 トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(2/2)
１．トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(2/2)まとめ ・トレーニングデータ抽出攻撃の目標は言語モデルが何を記憶しているかを予測する事 ・ニュースヘッドライン、ログ、コード、個人情報などの幅広いコン...
AI関連その他 トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(1/2)
１．トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(1/2)まとめ ・言語モデルがトレーニング時に使用したデータの詳細を漏洩してしまう危険性が指摘された ・大規模言語モデルを非公開データを使って公開している際に...
AI関連その他 AI、機械学習、データサイエンス、ディープラーニングの2020年の進展と2021年の予測リサーチ編(3/3)
１．AI、機械学習、データサイエンス、ディープラーニングの2020年の進展と2021年の予測リサーチ編(3/3)まとめ ・説明可能なAI(xAI)は実用フェーズに移行し始めており多くの実用的な実装が利用可能 ・機械学習の解釈可能性(MLI)...
AI関連その他 AI、機械学習、データサイエンス、ディープラーニングの2020年の進展と2021年の予測リサーチ編(2/3)
１．AI、機械学習、データサイエンス、ディープラーニングの2020年の進展と2021年の予測リサーチ編(2/3)まとめ ・年末恒例のAIやデータサイエンス分野の2020年の進展と2021年のトレンド予測リサーチ編 ・従来はデータからモデルを...
AI関連その他 AI、機械学習、データサイエンス、ディープラーニングの2020年の進展と2021年の予測リサーチ編(1/3)
１．AI、機械学習、データサイエンス、ディープラーニングの2020年の進展と2021年の予測リサーチ編(1/3)まとめ ・年末恒例のAI分野の今年の進展と来年のトレンド予測のリサーチ編 ・2020年の進展はTransformerを使ったGP...
アプリケーション Portrait Light：機械学習を使ってポートレートモードの照明を強化(2/2)
１．Portrait Light：機械学習を使ってポートレートモードの照明を強化(2/2)まとめ ・照明方向とポートレートを指定する照明を元の写真に追加するモデルを学習させた ・トレーニングには多数のポートレートが必要でLight Stag...