学習手法 LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(2/2)
１．LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(2/2)まとめ ・LocoProp はレイヤー単位に正則化、出力目標、損失関数を使用してネットワークを分解 ・重み更新はシンプルなオプティマイザーを使用するが性能...
machine learning
学習手法 
アプリケーション 機械学習を使ったコード補完で開発者の生産性はどのくらい向上するのか？(1/2)
１．機械学習を使ったコード補完で開発者の生産性はどのくらい向上するのか？(1/2)まとめ ・プログラミングコードは年々複雑化しておりコード補完は不可欠なツールとなっている ・従来のコード補完提案はルールベースのセマンティックエンジンで実装さ...
モデル MGDT：41種のゲームを人間同等にプレイ可能なTransformer(2/2)
１．MGDT：41種のゲームを人間同等にプレイ可能なTransformer(2/2)まとめ ・MGDTは様々な経験を学習した方が専門家レベルのデモのみを学習するより優れている ・他の学習システムと比較してモデルサイズの増加に伴う性能向上がよ...
ヘルスケア 転移学習手順を改良して医療用モデルを少量データでも開発しやすくする(1/2)
１．転移学習手順を改良して医療用モデルを少量データでも開発しやすくする(1/2)まとめ ・胸部X線画像は一般に他の医療用画像診断よりも安価で身近な存在だが有効活用できていない ・機械学習モデルは有効活用に貢献するが大規模なラベル付きデータは...
学会 ICML 2022におけるGoogleの存在感
１．ICML 2022におけるGoogleの存在感まとめ ・7/17から7/22の間インターネット上のヴァーチャルイベントとしてICML 2022が開催 ・Google社員も多数参加し101の論文やワークショップを12、チュートリアルを3開...
データセット 画像の説明文を利用して視覚的質問回答データを作成(2/2)
１．画像の説明文を利用して視覚的質問回答データを作成(2/2)まとめ ・質問回答モデルと質問生成モデルの両方を使用して一貫性をチェックした ・既存データセットから生成したサンプルの66%~87%が妥当と評価された ・従来データに存在しなかっ...
データセット 画像の説明文を利用して視覚的質問回答データを作成(1/2)
１．画像の説明文を利用して視覚的質問回答データを作成(1/2)まとめ ・視覚的質問回答(VQA)は画像から視覚的に読み取れる質問に回答するシステム ・視覚と自然言語を同時に扱う必要がありマルチタスクで質問範囲が限定されていない ・VQAシス...
入門／解説 機械学習を使ったWebアプリを5分で公開する方法
１．機械学習を使ったWebアプリを5分で公開する方法まとめ ・多くのデータサイエンティストは、Jupyter Notebook以外の環境で仕事をすることができない ・モデルをWebアプリなどに展開／監視するために必要なスキルセットが軽視され...
入門／解説 線形回帰とロジスティック回帰の違い
１．線形回帰とロジスティック回帰の違いまとめ ・線形回帰とロジスティック回帰は使う場面が全く違うが名前が紛らわしく混乱を招く ・線形回帰はその名の通り線であり数値で表現できる何かを予測する際に使う ・ロジスティック回帰は数値で表現する事が出...
学習手法 MLGO：強化学習を使ってコンパイラの最適化処理を最適化(2/2)
１．MLGO：強化学習を使ってコンパイラの最適化処理を最適化(2/2)まとめ ・MLGOを使用してレジスタ割当問題も大規模データセンターのQPSで0.3%～1.5%改善できた ・QPSは導入後数ヶ月間持続しており時間経過に伴って性能が劣化し...
学習手法 MLGO：強化学習を使ってコンパイラの最適化処理を最適化(1/2)
１．MLGO：強化学習を使ってコンパイラの最適化処理を最適化(1/2)まとめ ・コンパイラのコードの最適化はデータセンターやスマホアプリの運用コストを削減可能 ・コンパイラの進歩は続いているが最適化に関する複雑な経験則が改良の妨げになってい...
学習手法 DALL-E 2がセンシティブな画像を生成しないようにするための工夫(2/3)
１．DALL-E 2がセンシティブな画像を生成しないようにするための工夫(2/3)まとめ ・生成モデルは学習データに似たデータを生成しようとするが元データが偏っている場合がある ・学習データを選別すると元データ内の偏りが増幅してしまったり新...