基礎理論 教師あり学習を使って外れ値を発見する(1/3)
１．教師あり学習を使って外れ値を発見する(1/3)まとめ ・アノマリー検出、外れ値検出、分布外検出は欠陥品検出や不正取引検出など応用範囲が広い ・1クラスサポートベクターマシンは異常検出に良く使われるが最近の進歩の恩恵を受けていない ・自己...
基礎理論
基礎理論 
基礎理論 SoundStream：ビットレート可変なニューラルオーディオコーデック(2/2)
１．SoundStream：ビットレート可変なニューラルオーディオコーデック(2/2)まとめ ・理想的なコーデックはネットワーク状態に応じてビットレートを変更できる能力が必要 ・SoundStreamは「量子化器ドロップアウト」と呼ばれる新...
基礎理論 SoundStream：ビットレート可変なニューラルオーディオコーデック(1/2)
１．SoundStream：ビットレート可変なニューラルオーディオコーデック(1/2)まとめ ・SoundStreamはスマートフォンのCPUでリアルタイムに実行可能で音声と音楽を処理できる ・単一モデルで可変ビットレートで高品質を実現する...
基礎理論 BERTとTF-Rankingを使ってランキングシステムの透明性と解釈可能性を向上(2/2)
１．BERTとTF-Rankingを使ってランキングシステムの透明性と解釈可能性を向上(2/2)まとめ ・一般化加法モデルは解釈可能な機械学習モデルだがランキングにはあまり使用されていなかった ・ニューラルランキングGAMを開発し解釈可能な...
基礎理論 BERTとTF-Rankingを使ってランキングシステムの透明性と解釈可能性を向上(1/2)
１．BERTとTF-Rankingを使ってランキングシステムの透明性と解釈可能性を向上(1/2)まとめ ・ランク付け学習(LTR)は項目のリスト全体を入力として受け取り、有用性を最大化する順序を学習 ・LTRは検索および推薦システム、その他...
学習手法 深層強化学習研究の計算コストの削減(2/2)
１．深層強化学習研究の計算コストの削減(2/2)まとめ ・従来の制御環境ではRainbowの論文と異なり分散RLは単体では性能向上に貢献しなかった ・Rainbowに採用された各アルゴリズムの貢献度は適用環境ごとに異なる可能性がある ・計算...
学習手法 深層強化学習研究の計算コストの削減(1/2)
１．深層強化学習研究の計算コストの削減(1/2)まとめ ・Rainbowは深層強化学習飛躍のきっかけとなったDQNに更に様々な改良を加えたアルゴリズム ・強化学習で論文掲載レベルの検証を行うためにはGCP換算で500万円の高いコストが必要 ...
ロボット ロボット工学におけるA/Bテストの重要性の検証(2/2)
１．ロボット工学におけるA/Bテストの重要性の検証(2/2)まとめ ・制御された単純な環境で行う実験であっても意図せず現実世界の変動の影響を受ける ・ランダム割り当てでデータをランダムにグループ化するとA/Bテストを実現できる ・相対パフォ...
ロボット ロボット工学におけるA/Bテストの重要性の検証(1/2)
１．ロボット工学におけるA/Bテストの重要性の検証(1/2)まとめ ・自然科学、社会科学、医学などは変化する現実世界の中で結果を評価および比較している ・機械学習研究の大部分は固定した世界で仮定に依存する手法を使用して比較をしている ・制御...
データセット Data Cascades：皆モデルの開発をやりたいのです！データ整備ではなく！(2/2)
１．Data Cascades：皆モデルの開発をやりたいのです！データ整備ではなく！(2/2)まとめ ・ML の専門家が「十分な専門知識を備えていない領域」でデータを管理する事も問題となる ・対象領域の専門知識よりもMLの技術的な専門知識に...
データセット Data Cascades：皆モデルの開発をやりたいのです！データ整備ではなく！(1/2)
１．Data Cascades：皆モデルの開発をやりたいのです！データ整備ではなく！(1/2)まとめ ・機械学習ではモデル構築が優先されデータ関連作業の優先度が低くなる事はよくある ・データ整備を軽視すると時間経過とともに技術的負債が発生し...
学習手法 KELM：ナレッジグラフを言語モデルの事前トレーニング資料に統合
１．KELM：ナレッジグラフを言語モデルの事前トレーニング資料に統合まとめ ・大規模な自然言語処理モデルは、インターネットから取得した自然言語の資料を活用する ・自然言語のテキストだけでは、知識の範囲が限られるため他の情報源もある事が望まし...