データセット UL2 20B：オープンソースとして公開された200億パラメータを持つ統一言語モデル(2/2)
１．UL2 20B：オープンソースとして公開された200億パラメータを持つ統一言語モデル(2/2)まとめ ・UL2は異なる事前学習から得られる能力と帰納的バイアスをモデルに付与可能 ・従来モデルは微調整タスクとプロンプトベースの1ショットタ...
machine learning
データセット 
学習手法 QuaRL:強化学習を量子化して高速化と環境負荷を低減(1/2)
１．QuaRL:強化学習を量子化して高速化と環境負荷を低減(1/2)まとめ ・深層強化学習は逐次意思決定問題大きな進展を続けているが学習時間が長い ・計算負荷が高い事により温室効果ガスの総排出量も多くなってしまう ・量子化を適用する事で性能...
基礎理論 Dual Mirror Descent:どのタイミングでどのくらい売るのが最も儲かるかを予測する(2/2)
１．Dual Mirror Descent：どのタイミングでどのくらい売るのが最も儲かるかを予測する(2/2)まとめ ・資源の制約を扱う際のシンプルで強力なアイデアは「価格」の概念を導入する事 ・ミラーディセントは時間の経過とともに一様に資...
学習手法 LOLNeRF:1枚の画像から3次元構造を学ぶ(2/2)
１．LOLNeRF:1枚の画像から3次元構造を学ぶ(2/2)まとめ ・2次元画像から3次元形状を理解する手法は複数視点のデータに依存している ・1枚の画像から3次元構造を知ることができると便利だが解決困難とされている ・LOLNeRFは単一...
その他の分野 POM：色地図のように使える匂いの地図を作成(2/2)
１．POM：色地図のように使える匂いの地図を作成(2/2)まとめ ・嗅覚は食物の状態を知るために様々な種で使われている共通感覚の可能性がある ・匂いマップで離れている2つの匂い分子は代謝状態の変化にも時間がかかる ・匂いは虫除けにも応用が可...
データセット 特許フレーズ類似性データセットの発表(2/2)
１．特許フレーズ類似性データセットの発表(2/2)まとめ ・特許フレーズ類似性データセットの有用性はKaggle競技会の結果で確認できた ・既存のNLPモデルと比較して大幅な改善を達成できる事が実証された ・Kaggleの設問は人間の専門家...
データセット 特許フレーズ類似性データセットの発表(1/2)
１．特許フレーズ類似性データセットの発表(1/2)まとめ ・特許文書では文脈に依存する用語が口語的な意味と全く異なる事がある ・これにより特許文書を従来の方法(キーワード検索など)で検索するのは困難 ・この課題に挑戦する次世代モデルのために...
アプリケーション UVQ：YouTubeの知覚的なビデオ品質を機械的に測定(2/2)
１．UVQ：YouTubeの知覚的なビデオ品質を機械的に測定(2/2)まとめ ・従来は手動で特徴量を設計しMOSでビデオ評価を行う手法が一般的だった ・３つのサブネットワークを自己教師学習させて統合する事で自動化を実現 ・UGCの主観的評価...
学習手法 OptFormer：パラメータ名など言語情報を参考にハイパーパラメータを最適化(2/2)
１．OptFormer：パラメータ名など言語情報を参考にハイパーパラメータを最適化(1/2)まとめ ・OptFormerは様々な最適化アルゴリズムを正確に模倣できるようになった ・OptFormerは最適化目標値の予測とその不確実性の推定が...
学習手法 OptFormer：パラメータ名など言語情報を参考にハイパーパラメータを最適化(1/2)
１．OptFormer：パラメータ名など言語情報を参考にハイパーパラメータを最適化(1/2)まとめ ・ハイパーパラメータの最適化はモデルの性能を左右する可能性があるため大事 ・従来のハイパーパラメータ探索法はパラメータ数や範囲が同一である事...
AI関連その他 Rax:JAXで使えるランキングシステム用ライブラリ(1/2)
１．Rax:JAXで使えるランキングシステム用ライブラリ(1/2)まとめ ・ランク付けは、様々な領域にまたがる中核的な問題で機械学習技術であるLTRが良く使用される ・比較的新しい機械学習フレームワークであるJAXで動作するLTRライブラリ...
データセット Google Universal Image Embeddingチャレンジの紹介(1/2)
１．Google Universal Image Embeddingチャレンジの紹介(1/2)まとめ ・物体の属しているクラスではなく特定の実体まで認識する事を実体レベルの認識タスクと言う ・世界に一つしかない物体と多くの複製品を持つ可能性...