学習手法 Scaled Q-learning：強化学習も大規模言語モデルみたいに事前学習をしたいです(1/2)
１．Scaled Q-learning：強化学習も大規模言語モデルみたいに事前学習をしたいです(1/2)まとめ ・強化学習は学習結果の流用が難しく、ゼロから学習するのは非常にお金がかかるので敷居を下げる様々な工夫が考案されている ・Scal...
neural network
学習手法 
AI関連その他 2022年のGoogleのAI研究の成果と今後の展望～ディープラーニング用モデルの効率を向上させるアルゴリズム編～(3/3)
１．2022年のGoogleのAI研究の成果と今後の展望～ディープラーニング用モデルの効率を向上させるアルゴリズム編～(3/3)まとめ ・大規模モデルは高い性能だが製品展開する上で法外に高いコストがかかる可能性があるためサービス効率を向上さ...
基礎理論 分類精度が高すぎるモデルは知覚的類似度を予測する用途に不向き(1/2)
１．分類精度が高すぎるモデルは知覚的類似度を予測する用途に不向き(1/2)まとめ ・画素の違いから画像の類似性を推定する方法は人の知覚とあまり一致しない ・画像分類器内の中間特徴表現を使うと知覚的類似性に近い分類が出来る ・どのような画像分...
アプリケーション FILM：２つの異なる写真の間を補完して動画を生成(2/2)
１．FILM：２つの異なる写真の間を補完して動画を生成(2/2)まとめ ・３つの損失関数を組み合わせて鮮明さと画像忠実度を大幅に向上させている ・FILMは画像間に100画素程度の大きな差があっても鮮明な画像を生成可能 ・小さな動きや中程度...
学習手法 LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(2/2)
１．LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(2/2)まとめ ・LocoProp はレイヤー単位に正則化、出力目標、損失関数を使用してネットワークを分解 ・重み更新はシンプルなオプティマイザーを使用するが性能...
学習手法 LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(1/2)
１．LocoProp：レイヤー毎に最適化を行いバックプロパゲーションを効率化(1/2)まとめ ・ディープラーニングではモデルや学習データほどパラメータ更新手法は研究されていない ・高度な更新手法は単純な手法より効率的だが計算量と必要メモリが...
学習手法 DALL-E 2がセンシティブな画像を生成しないようにするための工夫(3/3)
１．DALL-E 2がセンシティブな画像を生成しないようにするための工夫(3/3)まとめ ・DALL-E 2の前バージョンでは、学習用の画像をそのまま再現してしまうことがあった ・使いまわされた画像は単純な画像やデータセット内で重複している...
その他の調査 機械学習と脳の違い Part 3: レイヤー構造の違い
１．機械学習と脳の違い Part 3: レイヤー構造の違いまとめ ・機械学習のレイヤーは整然とした層状構造だが脳は無秩序な結合を多数含んでいるように見える ・脳の160億の各ニューロンを他の全ニューロンと完全に接続するのは物理的に不可能 ・...
モデル Pix2Seq：言語モデルを使って物体検出を行う(1/2)
１．Pix2Seq：言語モデルを使って物体検出を行う(1/2)まとめ ・物体検出タスクを行う従来のアプローチは高度にカスタマイズされており汎用性がない ・物体検出タスクを画素を入力とする言語モデリングタスクとみなすPix2Seqを考案 ・P...
モデル LiT：画像エンコーダを凍結してマルチモーダルな対象学習の性能を向上(2/2)
１．LiT：画像エンコーダを凍結してマルチモーダルな対象学習の性能を向上(2/2)まとめ ・転移学習は精度は高いがタスク毎に手間がかかり対照学習はその逆で性能面に難があった ・LiTは画像エンコーダの学習をロックする事でこの性能ギャップを半...
基礎理論 SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(1/3)
１．SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(1/3)まとめ ・同じデータを使って同じように学習させても同じモデルが再現できない事を再現性の欠如という ・再現性は様々な要因から影響を受けるが全ての要因を制御す...
ヘルスケア ProtENN:ディープラーニングでタンパク質に注釈付けをする(3/3)
１．ProtENN:ディープラーニングでタンパク質に注釈付けをする(3/3)まとめ ・ProtENNが配列並びベースの手法と相補的な情報を学習することを実証してアンサンブルした ・取り組みの成果として680万件の新しいタンパク質配列の注釈セ...