モデル Flan-U-PaLM:わずかな追加計算で大規模言語モデルの性能を向上(2/2)
１．Flan-U-PaLM:わずかな追加計算で大規模言語モデルの性能を向上(2/2)まとめ ・指示微調整とは指示形式で表現されたデータセットでLMを微調整する事 ・指示微調整は1800タスクで実施し場合でもわずかな計算量しか必要としない ・...
dahara1
モデル モデル Flan-U-PaLM:わずかな追加計算で大規模言語モデルの性能を向上(1/2)
１．Flan-U-PaLM:わずかな追加計算で大規模言語モデルの性能を向上(1/2)まとめ ・巨大言語モデルを学習させるためには膨大な計算資源を必要でハードルが高い ・膨大な計算資源を使わずに既存モデルを大幅に改善する2つの手法を提案 ・U...
画像生成 Colabで768版のStable Diffusion2.0をDreamBoothする
１．Colabで768版のStable Diffusion2.0でDreamBoothするまとめ ・解像度が768 x 768のStable Diffusion 2.0もhuggingfaceでDreamBooth対応 ・原理的には無料版C...
学会 NeurIPS 2022におけるGoogleの存在感
１．NeurIPS 2022におけるGoogleの存在感まとめ ・11/27(日)-12/3(土)に今年最大の機械学習会議であるNeurIPS 2021が開催 ・Googleは160を超える論文で強力な存在感を示し講演やワークショップも開催...
画像生成 Stable Diffusion 2.0でDreamBoothを試す
１．Stable Diffusion 2.0でDreamBoothを試すまとめ ・Stable Diffusion 2.0として公開されたモデルは全部で５種類ある ・画像生成用にも2種類あり、そのうちBaseモデルの解像度は従来と同じ ・B...
アプリケーション Googleチャットでの会話要約(2/2)
１．Googleチャットでの会話要約(2/2)まとめ ・知識蒸留でPegasusをTransformerとRNNのハイブリッド設計に蒸留した ・蒸留の結果Pegasusと同様の品質を保ちながら応答遅延とメモリ使用量を低減 ・低品質な要約をふ...
アプリケーション Googleチャットでの会話要約(1/2)
１．Googleチャットでの会話要約(1/2)まとめ ・リモートワークでは毎日届く大量のチャットやドキュメントに追いつくのが大変 ・ビジネス版のGoogleドキュメントには要約を自動生成する要約生成機能がある ・Google チャットでも未...
画像生成 Stable Diffusion 2.0とStable Diffusion 1.5とStable Diffusion 1.4の比較
１．Stable Diffusion 2.0とStable Diffusion 1.5とStable Diffusion 1.4の比較まとめ ・プロンプト中の文字をイラスト内に入れ込む能力が各段に向上している ・有名人や版権ものキャラクター...
画像生成 Stable Diffusion 2.0のローカルインストール方法と1.5との比較
１．Stable Diffusion 2.0のローカルインストール方法と1.5との比較まとめ ・画像生成人工知能として有名になったStable DiffusionのVersion 2.0が公開 ・有料Webサービスでもまだ使えない突貫リリー...
画像生成 ニコラス・ケイジでStable Diffusionの限界を探る
１．ニコラス・ケイジでStable Diffusionの限界を探るまとめ ・画像生成人工知能には描いて貰いやすい題材と描いて貰いにくい題材がある ・ニコラス・ケイジは描いて貰いやすい題材で海外で高い人気を誇る大物俳優 ・Stable Dif...
データセット Data Cards Playbook:データセットの透明性を高めるツールキット(2/2)
１．Data Cards Playbook:データセットの透明性を高めるツールキット(2/2)まとめ ・PlaybookはAsk、Inspect、Answer、Auditという4つのモジュールで構成 ・各モジュールには透明性の問題に対処する...
データセット Data Cards Playbook:データセットの透明性を高めるツールキット(1/2)
１．Data Cards Playbook:データセットの透明性を高めるツールキット(1/2)まとめ ・データセットの起源、開発、意図等に関する理解の共有は重要度が高まっている・しかしデータセットに関する知識はチームや個人間で分散してしまう...