ロボット Table Tennis：俊敏な動きを研究するためにロボットと卓球をする(1/2)
１．Table Tennis：俊敏な動きを研究するためにロボットと卓球をする(1/2)まとめ ・卓球は人間や他のロボットと対戦できるので強化学習の試験環境として有用 ・モデルがなければデータが収集できないがデータがなければモデルの学習は不可...
ロボット 
その他の分野 Dance Diffusion：Stable Diffusionの音楽版が出来るかもしれない
１．Dance Diffusion：Stable Diffusionの音楽版が出来るかもしれないまとめ ・HarmonaiというプロジェクトからDance Diffusionという音楽生成モデルが公開 ・HarmonaiにはStable D...
データセット UL2 20B：オープンソースとして公開された200億パラメータを持つ統一言語モデル(2/2)
１．UL2 20B：オープンソースとして公開された200億パラメータを持つ統一言語モデル(2/2)まとめ ・UL2は異なる事前学習から得られる能力と帰納的バイアスをモデルに付与可能 ・従来モデルは微調整タスクとプロンプトベースの1ショットタ...
データセット UL2 20B：オープンソースとして公開された200億パラメータを持つ統一言語モデル(1/2)
１．UL2 20B：オープンソースとして公開された200億パラメータを持つ統一言語モデル(1/2)まとめ ・言語モデルは事前学習のやり方により得意なタスクと不得意タスクが分かれる ・事前学習用の効果的な統一フレームワークを作成があればより効...
画像生成 Waifu Diffusionで自分の好きなキャラクターに好みの服を着てもらう事が可能
１．Waifu Diffusionで自分の好きなキャラクターに好みの服を着てもらう事が可能まとめ ・Waifu Diffusionではシンプルな指定で画像の詳細を指定する事が可能 ・Waifu DiffusionにDreamBoothを加え...
データセット XM3600：人が翻訳した説明文が付いた地理的に多様な多言語キャプションデータセット(2/2)
１．XM3600：人が翻訳した説明文が付いた地理的に多様な多言語キャプションデータセット(2/2)まとめ ・36言語のほとんどで適切な地域から100枚の画像を収集する事に成功した ・注釈付け作業も画像の内容のみに基づいてキャプションを生成す...
データセット XM3600：人が翻訳した説明文が付いた地理的に多様な多言語キャプションデータセット(1/2)
１．XM3600：人が翻訳した説明文が付いた地理的に多様な多言語キャプションデータセット(1/2)まとめ ・画像キャプショニングは画像に対する説明文を自動的に生成する機械学習タスク ・視覚情報と言語情報を同時に扱うためマルチモーダル研究の中...
画像生成 Stable Diffusionを微調整するために必要な条件の調査
１．Stable Diffusionを微調整するために必要な条件の調査まとめ ・Stable Diffusionを独自データで微調整してイラストを改良している人達がいる ・Stable Diffusionを微調整するにはどの程度のデータと予...
モデル AudioLM：スピーチの続きもピアノの続きも生成可能なオーディオ言語モデル(2/2)
１．AudioLM：スピーチの続きもピアノの続きも生成可能なオーディオ言語モデル(2/2)まとめ ・AudioLMの学習データは生のオーディオのみで文書化されたデータは未使用 ・人間の評価者は人間の音声とAudioLMの生成音声の見分けがつ...
モデル AudioLM：スピーチの続きもピアノの続きも生成可能なオーディオ言語モデル(1/2)
１．AudioLM：スピーチの続きもピアノの続きも生成可能なオーディオ言語モデル(1/2)まとめ ・オーディオ言語モデルは文章ではなくオーディオを使って学習した言語モデル ・GPT-3のような言語モデルが出来る事がオーディオを使ってできるモ...
画像生成 stable diffusionで生成した画像から動画を生成する
１．stable diffusionで生成した画像から動画を生成するまとめ ・FILMは２つの画像を補完する中間画像を生成して動画を生成する事が可能 ・stable diffusionはFrame-by-frame等のプロンプトでコマ送り画...
アプリケーション FILM：２つの異なる写真の間を補完して動画を生成(2/2)
１．FILM：２つの異なる写真の間を補完して動画を生成(2/2)まとめ ・３つの損失関数を組み合わせて鮮明さと画像忠実度を大幅に向上させている ・FILMは画像間に100画素程度の大きな差があっても鮮明な画像を生成可能 ・小さな動きや中程度...