モデル MaxViTとMAXIM：ViTの効率を更に高めた視覚タスク用新モデル(1/2)
１．MaxViTとMAXIM：ViTの効率を更に高めた視覚タスク用新モデル(1/2)まとめ ・視覚領域では畳み込みやAttentionを取り入れた手法が主流だがMLPという手法もある ・ViTとMLPは計算量が画像サイズに対して二次関数的に...
人工知能/機械学習
モデル 
データセット 特許フレーズ類似性データセットの発表(2/2)
１．特許フレーズ類似性データセットの発表(2/2)まとめ ・特許フレーズ類似性データセットの有用性はKaggle競技会の結果で確認できた ・既存のNLPモデルと比較して大幅な改善を達成できる事が実証された ・Kaggleの設問は人間の専門家...
データセット 特許フレーズ類似性データセットの発表(1/2)
１．特許フレーズ類似性データセットの発表(1/2)まとめ ・特許文書では文脈に依存する用語が口語的な意味と全く異なる事がある ・これにより特許文書を従来の方法(キーワード検索など)で検索するのは困難 ・この課題に挑戦する次世代モデルのために...
基礎理論 RMAB:誰に利用を促せば全体としてのサービス利用率が向上するか推定する試み(2/2)
１．RMAB:誰に利用を促せば全体としてのサービス利用率が向上するか推定する試み(2/2)まとめ ・クラスタ化する事で計算コストと個人情報収集の必要性を削減できた ・持ち回りで電話をかける手法に比べて利用が停止される累積率を32％削減 ・プ...
基礎理論 RMAB:誰に利用を促せば全体としてのサービス利用率が向上するか推定する試み(1/2)
１．RMAB:誰に利用を促せば全体としてのサービス利用率が向上するか推定する試み(1/2)まとめ ・スマートフォンで医療情報を届けるサービスは有用だが継続率が低下する ・利用者に電話をかける事は利用率向上に繋がるがサポート要員数は有限 ・R...
画像生成 DALL-E2やStable Diffusion等の拡散モデルの動作原理と説明がつかない事
１．DALL-E2やStable Diffusion等の拡散モデルの動作原理と説明がつかない事まとめ ・拡散モデルは画像に加えたノイズを除去して元画像を復元する事を学習をする ・学習済モデルは純粋なノイズから画像を復元できるようになりこれが...
学習手法 OptFormer：パラメータ名など言語情報を参考にハイパーパラメータを最適化(2/2)
１．OptFormer：パラメータ名など言語情報を参考にハイパーパラメータを最適化(1/2)まとめ ・OptFormerは様々な最適化アルゴリズムを正確に模倣できるようになった ・OptFormerは最適化目標値の予測とその不確実性の推定が...
学習手法 OptFormer：パラメータ名など言語情報を参考にハイパーパラメータを最適化(1/2)
１．OptFormer：パラメータ名など言語情報を参考にハイパーパラメータを最適化(1/2)まとめ ・ハイパーパラメータの最適化はモデルの性能を左右する可能性があるため大事 ・従来のハイパーパラメータ探索法はパラメータ数や範囲が同一である事...
入門／解説 Pop!_OSの22.04 LTSとCUDA11.7を新規にインストール
１．Pop!_OSの22.04 LTSとCUDA11.7を新規にインストールまとめ ・メインのSSDを換装した際にPop!_OSとCUDAを入れなおした際の記録 ・日本語キーボードの設定とNvidiaのドライバの再インストールは少し手間取る...
モデル PaLM-SayCan:飲み物をこぼしてしまったからちょっと助けて！とロボットに頼めるようになる(2/2)
１．PaLM-SayCan:飲み物をこぼしてしまったからちょっと助けて！とロボットに頼めるようになる(2/2)まとめ ・ポリシーの学習には10台のロボットで11ヶ月間収集したデモデータ+αを使用 ・更にシミュレーションでオンラインデータを収...
モデル PaLM-SayCan:飲み物をこぼしてしまったからちょっと助けて！とロボットに頼めるようになる(1/2)
１．PaLM-SayCan:飲み物をこぼしてしまったからちょっと助けて！とロボットに頼めるようになる(1/2)まとめ ・ロボットは明確なタスク定義を用いて学習しているので曖昧な指示が苦手 ・言語モデルは曖昧な指示も理解できるが現実世界を知ら...
AI関連その他 Rax:JAXで使えるランキングシステム用ライブラリ(2/2)
１．Rax:JAXで使えるランキングシステム用ライブラリ(2/2)まとめ ・RaxはNDCGを近似してノイズを加える事で微分と局所最適化問題を解決した ・他のJax関連ツールとスムーズに連携できるようにRaxは設計されている ・JAXのT5...