学習手法 MLGO：強化学習を使ってコンパイラの最適化処理を最適化(2/2)
１．MLGO：強化学習を使ってコンパイラの最適化処理を最適化(2/2)まとめ ・MLGOを使用してレジスタ割当問題も大規模データセンターのQPSで0.3%～1.5%改善できた ・QPSは導入後数ヶ月間持続しており時間経過に伴って性能が劣化し...
人工知能/機械学習
学習手法 学習手法 MLGO：強化学習を使ってコンパイラの最適化処理を最適化(1/2)
１．MLGO：強化学習を使ってコンパイラの最適化処理を最適化(1/2)まとめ ・コンパイラのコードの最適化はデータセンターやスマホアプリの運用コストを削減可能 ・コンパイラの進歩は続いているが最適化に関する複雑な経験則が改良の妨げになってい...
学習手法 DALL-E 2がセンシティブな画像を生成しないようにするための工夫(3/3)
１．DALL-E 2がセンシティブな画像を生成しないようにするための工夫(3/3)まとめ ・DALL-E 2の前バージョンでは、学習用の画像をそのまま再現してしまうことがあった ・使いまわされた画像は単純な画像やデータセット内で重複している...
学習手法 DALL-E 2がセンシティブな画像を生成しないようにするための工夫(2/3)
１．DALL-E 2がセンシティブな画像を生成しないようにするための工夫(2/3)まとめ ・生成モデルは学習データに似たデータを生成しようとするが元データが偏っている場合がある ・学習データを選別すると元データ内の偏りが増幅してしまったり新...
学習手法 DALL-E 2がセンシティブな画像を生成しないようにするための工夫(1/3)
１．DALL-E 2がセンシティブな画像を生成しないようにするための工夫(1/3)まとめ ・DALL-E 2は強力な画像生成モデルだがOpenAIのポリシーに違反しない工夫をしている ・工夫の一部にDALL-E 2の学習データを直接変更する...
学習手法 Teaching BERT to Wait:「え～」や「あ～」を識別して言語モデルのパフォーマンスを向上(2/2)
１．Teaching BERT to Wait:「え～」や「あ～」を識別して言語モデルのパフォーマンスを向上(2/2) ・スマホの音声の自動書き起こしアプリなどでも非流暢性の除去は読みやすさ向上に貢献 ・リアルタイムに発生するストリーミング...
学習手法 Teaching BERT to Wait:「え～」や「あ～」を識別して言語モデルのパフォーマンスを向上(1/2)
１．Teaching BERT to Wait:「え～」や「あ～」を識別して言語モデルのパフォーマンスを向上(1/2) ・インタビューなどの自然なスピーチは文章にすると流暢でない箇所があり読みにくい ・機械学習を使って話し言葉中の非流暢な箇...
モデル Minerva:大学受験レベルの数学を解答可能な言語モデル(2/2)
１．Minerva:大学受験レベルの数学を解答可能な言語モデル(2/2)まとめ ・Minervaは推論ミスや計算ミスなどまだ相応な間違いをする事がわかっている ・また最終的に正しい答えに到達しても途中の推論に誤りがある場合もある ・モデルが...
モデル Minerva:大学受験レベルの数学を解答可能な言語モデル(1/2)
１．Minerva:大学受験レベルの数学を解答可能な言語モデル(1/2)まとめ ・定量的推論は、言語モデルがまだ人間レベルの性能にはるかに及ばない分野の一つ ・数学問題を解くには数学的表記や数式や定数の記憶、段階的な推論などが必要なため ・...
データセット Auto Arborist Dataset：都市部に存在する樹木の分布を調査(2/2)
１．Auto Arborist Dataset：都市部に存在する樹木の分布を調査(2/2)まとめ ・森林モニタリングでは都市によって樹木分布が異なる分布シフトに対処が必要 ・属の分布は地理的にも都市の規模でも異なりロングテールになる事が困難...
データセット Auto Arborist Dataset：都市部に存在する樹木の分布を調査(1/2)
１．Auto Arborist Dataset：都市部に存在する樹木の分布を調査(1/2)まとめ ・都市部の樹木は人々の健康と福祉に貢献し、都市の気候変動への適応に不可欠であり重要 ・多くの都市ではコストがかかるので樹木の位置や種類に関する...
学会 CVPR 2022におけるGoogleの存在感
１．CVPR 2022におけるGoogleの存在感まとめ ・6/19 - 6/23の間、ロサンゼルスのニューオーリンズと仮想空間でCVPR 2022が開催 ・Google社員も多数参加し80を超える受理された出版物や多数のワークショップを開...