基礎理論 RMAB:誰に利用を促せば全体としてのサービス利用率が向上するか推定する試み(2/2)
１．RMAB:誰に利用を促せば全体としてのサービス利用率が向上するか推定する試み(2/2)まとめ ・クラスタ化する事で計算コストと個人情報収集の必要性を削減できた ・持ち回りで電話をかける手法に比べて利用が停止される累積率を32％削減 ・プ...
基礎理論
基礎理論 基礎理論 RMAB:誰に利用を促せば全体としてのサービス利用率が向上するか推定する試み(1/2)
１．RMAB:誰に利用を促せば全体としてのサービス利用率が向上するか推定する試み(1/2)まとめ ・スマートフォンで医療情報を届けるサービスは有用だが継続率が低下する ・利用者に電話をかける事は利用率向上に繋がるがサポート要員数は有限 ・R...
画像生成 DALL-E2やStable Diffusion等の拡散モデルの動作原理と説明がつかない事
１．DALL-E2やStable Diffusion等の拡散モデルの動作原理と説明がつかない事まとめ ・拡散モデルは画像に加えたノイズを除去して元画像を復元する事を学習をする ・学習済モデルは純粋なノイズから画像を復元できるようになりこれが...
学習手法 iterative co-tokenization:動画内でボウルに注がれた2番目の食材が何か答えられるようにする(2/2)
１．iterative co-tokenization:動画内でボウルに注がれた2番目の食材が何か答えられるようにする(2/2)まとめ ・反復的共同トークン化アルゴリズムは他の最新モデルよりも性能とサイズに優れる ・計算量も他の手法よりも低...
学習手法 iterative co-tokenization:動画内でボウルに注がれた2番目の食材が何か答えられるようにする(1/2)
１．iterative co-tokenization:動画内でボウルに注がれた2番目の食材が何か答えられるようにする(1/2)まとめ ・自動字幕、動画分析、動画を使った質問回答(VideoQA)など動画を使ったアプリは増えている ・Vid...
基礎理論 言語モデルに思考の連鎖を促し推論能力を向上(2/2)
１．言語モデルに思考の連鎖を促し推論能力を向上(2/2)まとめ ・算術的推論は標準的なプロンプトでは比較的平坦に規模拡大と共に性能が向上する ・思考の連鎖プロンプトではモデル規模を大きくすると標準プロンプトを大幅に上回った ・追加の改良を行...
基礎理論 言語モデルに思考の連鎖を促し推論能力を向上(1/2)
１．言語モデルに思考の連鎖を促し推論能力を向上(1/2)まとめ ・大規模言語モデルは数学の文章問題など段階的に思考していく事が必要なタスクで苦戦する ・思考連鎖プロンプトはモデルに問題を中間ステップに分割して段階的に考える事を促す新手法 ・...
AI関連その他 2022年のAIの進歩は汎用人工知能に手が届くところまで来ているのか？
１．2022年のAIの進歩は汎用人工知能に手が届くところまで来ているのか？まとめ ・汎用人工知能は存在しえない。人間レベルのAIでさえ汎用的ではなく分化している ・モデルの規模を拡大する事は有用だが人間レベルのAIを達成するための十分条件で...
基礎理論 ALX：大規模な行列計算をＴＰＵ上で実現(3/3)
１．ALX：大規模な行列計算をＴＰＵ上で実現(3/3)まとめ ・ALXのパラメータを慎重に調整し、メモリを半減させながら精度を維持する事ができた ・理想はコア数を増すと線形に学習時間が減少する事だがネットワーク通信時間の影響を受ける ・AL...
基礎理論 ALX：大規模な行列計算をＴＰＵ上で実現(2/3)
１．ALX：大規模な行列計算をＴＰＵ上で実現(2/3)まとめ ・ALXは各TPUコアの計算能力とメモリが無駄にならないように設計を工夫している ・デモ用にWebGraphと呼ばれる大規模な実世界のウェブリンク予測データセットを公開 ・Web...
基礎理論 ALX：大規模な行列計算をＴＰＵ上で実現(1/3)
１．ALX：大規模な行列計算をＴＰＵ上で実現(1/3)まとめ ・行列分解を使う手法は単純ではあるが性能が良いので推薦システムなどに昔から使われている ・ALSは行列分解のパラメータを学習するための基本的なアルゴリズムで規模拡大の効率が良い ...
基礎理論 SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(3/3)
１．SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(3/3)まとめ ・SmeLUは推薦システムにおいてその再現性を高める事や学習と推論の効率を向上させる ・滑らかな活性化を用いる事で精度など他の重要な指標を低下させ...