学習手法 MLGO：強化学習を使ってコンパイラの最適化処理を最適化(2/2)
１．MLGO：強化学習を使ってコンパイラの最適化処理を最適化(2/2)まとめ ・MLGOを使用してレジスタ割当問題も大規模データセンターのQPSで0.3%～1.5%改善できた ・QPSは導入後数ヶ月間持続しており時間経過に伴って性能が劣化し...
学習手法 学習手法 MLGO：強化学習を使ってコンパイラの最適化処理を最適化(1/2)
１．MLGO：強化学習を使ってコンパイラの最適化処理を最適化(1/2)まとめ ・コンパイラのコードの最適化はデータセンターやスマホアプリの運用コストを削減可能 ・コンパイラの進歩は続いているが最適化に関する複雑な経験則が改良の妨げになってい...
画像生成 DALL-E 2がセンシティブな画像を生成しないようにするための工夫(3/3)
１．DALL-E 2がセンシティブな画像を生成しないようにするための工夫(3/3)まとめ ・DALL-E 2の前バージョンでは、学習用の画像をそのまま再現してしまうことがあった ・使いまわされた画像は単純な画像やデータセット内で重複している...
学習手法 DALL-E 2がセンシティブな画像を生成しないようにするための工夫(2/3)
１．DALL-E 2がセンシティブな画像を生成しないようにするための工夫(2/3)まとめ ・生成モデルは学習データに似たデータを生成しようとするが元データが偏っている場合がある ・学習データを選別すると元データ内の偏りが増幅してしまったり新...
学習手法 DALL-E 2がセンシティブな画像を生成しないようにするための工夫(1/3)
１．DALL-E 2がセンシティブな画像を生成しないようにするための工夫(1/3)まとめ ・DALL-E 2は強力な画像生成モデルだがOpenAIのポリシーに違反しない工夫をしている ・工夫の一部にDALL-E 2の学習データを直接変更する...
学習手法 Teaching BERT to Wait:「え～」や「あ～」を識別して言語モデルのパフォーマンスを向上(2/2)
１．Teaching BERT to Wait:「え～」や「あ～」を識別して言語モデルのパフォーマンスを向上(2/2) ・スマホの音声の自動書き起こしアプリなどでも非流暢性の除去は読みやすさ向上に貢献 ・リアルタイムに発生するストリーミング...
学習手法 Teaching BERT to Wait:「え～」や「あ～」を識別して言語モデルのパフォーマンスを向上(1/2)
１．Teaching BERT to Wait:「え～」や「あ～」を識別して言語モデルのパフォーマンスを向上(1/2) ・インタビューなどの自然なスピーチは文章にすると流暢でない箇所があり読みにくい ・機械学習を使って話し言葉中の非流暢な箇...
モデル Minerva:大学受験レベルの数学を解答可能な言語モデル(2/2)
１．Minerva:大学受験レベルの数学を解答可能な言語モデル(2/2)まとめ ・Minervaは推論ミスや計算ミスなどまだ相応な間違いをする事がわかっている ・また最終的に正しい答えに到達しても途中の推論に誤りがある場合もある ・モデルが...
モデル Minerva:大学受験レベルの数学を解答可能な言語モデル(1/2)
１．Minerva:大学受験レベルの数学を解答可能な言語モデル(1/2)まとめ ・定量的推論は、言語モデルがまだ人間レベルの性能にはるかに及ばない分野の一つ ・数学問題を解くには数学的表記や数式や定数の記憶、段階的な推論などが必要なため ・...
その他の調査 機械学習と脳の違い Part 4: ニューロンは数値表現が苦手
１．機械学習と脳の違い Part 4: ニューロンは数値表現が苦手まとめ ・機械学習は細かく数値を表現する能力に長けているが生物学的なニューロンでは難しい ・MLで要求されるような高精度な数値計算を実現する生物学的脳は遅すぎて使い物にならな...
その他の調査 機械学習と脳の違い Part 3: レイヤー構造の違い
１．機械学習と脳の違い Part 3: レイヤー構造の違いまとめ ・機械学習のレイヤーは整然とした層状構造だが脳は無秩序な結合を多数含んでいるように見える ・脳の160億の各ニューロンを他の全ニューロンと完全に接続するのは物理的に不可能 ・...
その他の調査 機械学習と脳の違い Part 2: パーセプトロンとニューロンの情報処理方法の違い
１．機械学習と脳の違い Part 2: パーセプトロンとニューロンの情報処理方法の違いまとめ ・人工的なパーセプトロンと生物学的なニューロンは情報伝達方法が根本的に異なる ・ニューロンは情報の到着順によって異なる反応をするがパーセプトロンは...