基礎理論 SoundStream：ビットレート可変なニューラルオーディオコーデック(2/2)
１．SoundStream：ビットレート可変なニューラルオーディオコーデック(2/2)まとめ ・理想的なコーデックはネットワーク状態に応じてビットレートを変更できる能力が必要 ・SoundStreamは「量子化器ドロップアウト」と呼ばれる新...
基礎理論
基礎理論 基礎理論 SoundStream：ビットレート可変なニューラルオーディオコーデック(1/2)
１．SoundStream：ビットレート可変なニューラルオーディオコーデック(1/2)まとめ ・SoundStreamはスマートフォンのCPUでリアルタイムに実行可能で音声と音楽を処理できる ・単一モデルで可変ビットレートで高品質を実現する...
基礎理論 BERTとTF-Rankingを使ってランキングシステムの透明性と解釈可能性を向上(2/2)
１．BERTとTF-Rankingを使ってランキングシステムの透明性と解釈可能性を向上(2/2)まとめ ・一般化加法モデルは解釈可能な機械学習モデルだがランキングにはあまり使用されていなかった ・ニューラルランキングGAMを開発し解釈可能な...
基礎理論 BERTとTF-Rankingを使ってランキングシステムの透明性と解釈可能性を向上(1/2)
１．BERTとTF-Rankingを使ってランキングシステムの透明性と解釈可能性を向上(1/2)まとめ ・ランク付け学習(LTR)は項目のリスト全体を入力として受け取り、有用性を最大化する順序を学習 ・LTRは検索および推薦システム、その他...
学習手法 深層強化学習研究の計算コストの削減(2/2)
１．深層強化学習研究の計算コストの削減(2/2)まとめ ・従来の制御環境ではRainbowの論文と異なり分散RLは単体では性能向上に貢献しなかった ・Rainbowに採用された各アルゴリズムの貢献度は適用環境ごとに異なる可能性がある ・計算...
学習手法 深層強化学習研究の計算コストの削減(1/2)
１．深層強化学習研究の計算コストの削減(1/2)まとめ ・Rainbowは深層強化学習飛躍のきっかけとなったDQNに更に様々な改良を加えたアルゴリズム ・強化学習で論文掲載レベルの検証を行うためにはGCP換算で500万円の高いコストが必要 ...
ロボット ロボット工学におけるA/Bテストの重要性の検証(2/2)
１．ロボット工学におけるA/Bテストの重要性の検証(2/2)まとめ ・制御された単純な環境で行う実験であっても意図せず現実世界の変動の影響を受ける ・ランダム割り当てでデータをランダムにグループ化するとA/Bテストを実現できる ・相対パフォ...
ロボット ロボット工学におけるA/Bテストの重要性の検証(1/2)
１．ロボット工学におけるA/Bテストの重要性の検証(1/2)まとめ ・自然科学、社会科学、医学などは変化する現実世界の中で結果を評価および比較している ・機械学習研究の大部分は固定した世界で仮定に依存する手法を使用して比較をしている ・制御...
データセット Data Cascades：皆モデルの開発をやりたいのです！データ整備ではなく！(2/2)
１．Data Cascades：皆モデルの開発をやりたいのです！データ整備ではなく！(2/2)まとめ ・ML の専門家が「十分な専門知識を備えていない領域」でデータを管理する事も問題となる ・対象領域の専門知識よりもMLの技術的な専門知識に...
データセット Data Cascades：皆モデルの開発をやりたいのです！データ整備ではなく！(1/2)
１．Data Cascades：皆モデルの開発をやりたいのです！データ整備ではなく！(1/2)まとめ ・機械学習ではモデル構築が優先されデータ関連作業の優先度が低くなる事はよくある ・データ整備を軽視すると時間経過とともに技術的負債が発生し...
学習手法 KELM：ナレッジグラフを言語モデルの事前トレーニング資料に統合
１．KELM：ナレッジグラフを言語モデルの事前トレーニング資料に統合まとめ ・大規模な自然言語処理モデルは、インターネットから取得した自然言語の資料を活用する ・自然言語のテキストだけでは、知識の範囲が限られるため他の情報源もある事が望まし...
基礎理論 ディープなネットワークもワイドなネットワークも同じ事を学習しているのか？(1/2)
１．ディープなネットワークもワイドなネットワークも同じ事を学習しているのか？(2/2)まとめ ・深淵広大なネットワークには非常に類似した特徴表現を持つ連続したレイヤーが出現する ・これはブロック構造と呼ばれデータセットサイズに対するモデルサ...