AI関連その他 AI、機械学習、データサイエンス、ディープラーニングの2020年の進展と2021年の予測テクノロジー編(3/3)
１．AI、機械学習、データサイエンス、ディープラーニングの2020年の進展と2021年の予測テクノロジー編(3/3)まとめ ・AIがデータの管理をする自己組織化データ管理機構が登場するかもしれない ・学習効果により価値が上がっていく自律型産...
AI関連その他 AI関連その他 AI、機械学習、データサイエンス、ディープラーニングの2020年の進展と2021年の予測テクノロジー編(2/3)
１．AI、機械学習、データサイエンス、ディープラーニングの2020年の進展と2021年の予測テクノロジー編(2/3)まとめ ・データサイエンスチームは、必要な役割とスキルを分類するようになり細分化が進む ・AIを支援する企業は「サービスとし...
AI関連その他 AI、機械学習、データサイエンス、ディープラーニングの2020年の進展と2021年の予測テクノロジー編(1/3)
１．AI、機械学習、データサイエンス、ディープラーニングの2020年の進展と2021年の予測テクノロジー編(1/3)まとめ ・ハイパーオートメーション、iBPM、RPAによる業務自動化は加速して行く事が予想される ・DevOpsのようにAI...
学習手法 GO：グラフ最適化用強化学習(3/3)
１．GO：グラフ最適化用強化学習(3/3)まとめ ・GOはオフライントレーニングとわずかな微調整で初見のグラフにも一般化可能 ・全タスクを一度に最適化するマルチタスクGOはシングルタスクGOより7.8％速度が向上 ・フレームワークの最適化問...
学習手法 GO：グラフ最適化用強化学習(2/3)
１．GO：グラフ最適化用強化学習(2/3)まとめ ・GOはGraphSAGEを利用しておりトレーニング時に見た事がないグラフに対して一般化可能 ・GOは規模拡大可能なAttentionが含まれノード間の距離が離れていても依存関係を捕捉可 ・...
学習手法 GO：グラフ最適化用強化学習(1/3)
１．GO：グラフ最適化用強化学習(1/3)まとめ ・大規模モデルは多様なアクセラレータが混在する環境でトレーニングされるようになってきた ・MLコンパイラは多くの複雑な最適化問題を解決する必要があるが手動設計には限界がある ・この制限を克服...
入門／解説 グラフニューラルネットワークのわかりやすい紹介(3/3)
１．グラフニューラルネットワークのわかりやすい紹介(3/3)まとめ ・GNNにAttentionを加えるのは容易でTransformerと同じものを利用可能 ・GNNはグラフ上に存在しグラフ上で動作するディープラーニングにすぎない ・様々な...
入門／解説 グラフニューラルネットワークのわかりやすい紹介(2/3)
１．グラフニューラルネットワークのわかりやすい紹介(2/3)まとめ ・グラフニューラルネットワークは2005年に発表されたが関連する概念はそれ以前からあった ・過去数年間、GNNはSMS分析や計算化学分野、特に創薬分野に熱心に使われている ...
入門／解説 グラフニューラルネットワークのわかりやすい紹介(1/3)
１．グラフニューラルネットワークのわかりやすい紹介(1/3)まとめ ・グラフニューラルネットワークでは、入力データは「各ノードの元の状態」 ・ハイパーパラメータとして定義された特定の更新を実行した後、隠れ状態から出力を解析 ・GNNの更新は...
AI関連その他 トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(2/2)
１．トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(2/2)まとめ ・トレーニングデータ抽出攻撃の目標は言語モデルが何を記憶しているかを予測する事 ・ニュースヘッドライン、ログ、コード、個人情報などの幅広いコン...
AI関連その他 トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(1/2)
１．トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(1/2)まとめ ・言語モデルがトレーニング時に使用したデータの詳細を漏洩してしまう危険性が指摘された ・大規模言語モデルを非公開データを使って公開している際に...
AI関連その他 AI、機械学習、データサイエンス、ディープラーニングの2020年の進展と2021年の予測リサーチ編(3/3)
１．AI、機械学習、データサイエンス、ディープラーニングの2020年の進展と2021年の予測リサーチ編(3/3)まとめ ・説明可能なAI(xAI)は実用フェーズに移行し始めており多くの実用的な実装が利用可能 ・機械学習の解釈可能性(MLI)...