学習手法 DALL-E 2がセンシティブな画像を生成しないようにするための工夫(2/3)
１．DALL-E 2がセンシティブな画像を生成しないようにするための工夫(2/3)まとめ ・生成モデルは学習データに似たデータを生成しようとするが元データが偏っている場合がある ・学習データを選別すると元データ内の偏りが増幅してしまったり新...
学習手法
学習手法 学習手法 DALL-E 2がセンシティブな画像を生成しないようにするための工夫(1/3)
１．DALL-E 2がセンシティブな画像を生成しないようにするための工夫(1/3)まとめ ・DALL-E 2は強力な画像生成モデルだがOpenAIのポリシーに違反しない工夫をしている ・工夫の一部にDALL-E 2の学習データを直接変更する...
学習手法 Teaching BERT to Wait:「え～」や「あ～」を識別して言語モデルのパフォーマンスを向上(2/2)
１．Teaching BERT to Wait:「え～」や「あ～」を識別して言語モデルのパフォーマンスを向上(2/2) ・スマホの音声の自動書き起こしアプリなどでも非流暢性の除去は読みやすさ向上に貢献 ・リアルタイムに発生するストリーミング...
学習手法 Teaching BERT to Wait:「え～」や「あ～」を識別して言語モデルのパフォーマンスを向上(1/2)
１．Teaching BERT to Wait:「え～」や「あ～」を識別して言語モデルのパフォーマンスを向上(1/2) ・インタビューなどの自然なスピーチは文章にすると流暢でない箇所があり読みにくい ・機械学習を使って話し言葉中の非流暢な箇...
モデル MV-GPT：動画に説明文を自動で付与するための新手法(2/2)
１．MV-GPT：動画に説明文を自動で付与するための新手法(2/2)まとめ ・MV-GPTはマルチモーダル事前キャプションで従来モデルを大きく上回る事を実証した ・MV-GPTはVideoQA、テキスト-ビデオ検索、行動分類など、ビデオ理解...
モデル MV-GPT：動画に説明文を自動で付与するための新手法(1/2)
１．MV-GPT：動画に説明文を自動で付与するための新手法(1/2)まとめ ・マルチモーダルビデオキャプションは動画に説明文(キャプション)を生成するタスク ・根拠に基づいてキャプションを生成する必要があり動画理解タスクより困難なタスク ・...
プライバシー LabelDP：秘匿対象をラベルに限定する事で差分プライバシーの精度を向上(2/2)
１．LabelDP：秘匿対象をラベルに限定する事で差分プライバシーの精度を向上(2/2)まとめ ・RR-with-priorは事前確率を使う事で予測の精度を大幅に増加させる ・経験的実験でもLabelDPがモデルの実用性を大幅に向上させる事...
プライバシー LabelDP：秘匿対象をラベルに限定する事で差分プライバシーの精度を向上(1/2)
１．LabelDP：秘匿対象をラベルに限定する事で差分プライバシーの精度を向上(1/2)まとめ ・米国国勢調査も採用している差分プライバシーは製品を実世界に展開する際に良く使われる ・差分プライバシーを使うとシステムがプライバシーをどの程度...
モデル CoCa：様々な視覚タスクのバックボーンとして利用できる基盤モデル(2/2)
１．CoCa：様々な視覚タスクのバックボーンとして利用できる基盤モデル(2/2)まとめ ・CoCaモデルは、最小限の改造で多くのタスクに対して直接微調整を行うことが可能 ・CoCaは画像分類やクロスモーダル検索などのゼロショットでも最先端モ...
モデル CoCa：様々な視覚タスクのバックボーンとして利用できる基盤モデル(1/2)
１．CoCa：様々な視覚タスクのバックボーンとして利用できる基盤モデル(1/2)まとめ ・機械学習モデルは幅広いタスクに対応可能な大規模基盤モデルを元に設計する事が多い ・自然言語処理では、BERT、T5、GPT-3などの事前学習済大規模モ...
学習手法 30億のパラメータを持つ巨大モデルを学習させた際の知見
１．30億のパラメータを持つ巨大モデルを学習させた際の知見まとめ ・非常に巨大なモデルを学習させる際は混合精度と全精度で違いが出る可能性がある ・通常の学習では問題は発生しないが学習の収束が見込めるトレーニングの後半に出る ・DALL·E ...
学習手法 学習用データが非常に少ない言語で機械翻訳を実現した手法(2/2)
１．学習用データが非常に少ない言語で機械翻訳を実現した手法(2/2)まとめ ・単一巨大モデルを高リソース言語の翻訳タスクと低リソース言語のMASSタスクで訓練した ・入力が同じ言語で不明瞭な文章か、まったく別の言語かはモデルからすれば大きな...