アプリケーション Googleチャットでの会話要約(2/2)
１．Googleチャットでの会話要約(2/2)まとめ ・知識蒸留でPegasusをTransformerとRNNのハイブリッド設計に蒸留した ・蒸留の結果Pegasusと同様の品質を保ちながら応答遅延とメモリ使用量を低減 ・低品質な要約をふ...
アプリケーション アプリケーション Googleチャットでの会話要約(1/2)
１．Googleチャットでの会話要約(1/2)まとめ ・リモートワークでは毎日届く大量のチャットやドキュメントに追いつくのが大変 ・ビジネス版のGoogleドキュメントには要約を自動生成する要約生成機能がある ・Google チャットでも未...
画像生成 Stable Diffusion 2.0とStable Diffusion 1.5とStable Diffusion 1.4の比較
１．Stable Diffusion 2.0とStable Diffusion 1.5とStable Diffusion 1.4の比較まとめ ・プロンプト中の文字をイラスト内に入れ込む能力が各段に向上している ・有名人や版権ものキャラクター...
画像生成 Stable Diffusion 2.0のローカルインストール方法と1.5との比較
１．Stable Diffusion 2.0のローカルインストール方法と1.5との比較まとめ ・画像生成人工知能として有名になったStable DiffusionのVersion 2.0が公開 ・有料Webサービスでもまだ使えない突貫リリー...
画像生成 ニコラス・ケイジでStable Diffusionの限界を探る
１．ニコラス・ケイジでStable Diffusionの限界を探るまとめ ・画像生成人工知能には描いて貰いやすい題材と描いて貰いにくい題材がある ・ニコラス・ケイジは描いて貰いやすい題材で海外で高い人気を誇る大物俳優 ・Stable Dif...
データセット Data Cards Playbook:データセットの透明性を高めるツールキット(2/2)
１．Data Cards Playbook:データセットの透明性を高めるツールキット(2/2)まとめ ・PlaybookはAsk、Inspect、Answer、Auditという4つのモジュールで構成 ・各モジュールには透明性の問題に対処する...
データセット Data Cards Playbook:データセットの透明性を高めるツールキット(1/2)
１．Data Cards Playbook:データセットの透明性を高めるツールキット(1/2)まとめ ・データセットの起源、開発、意図等に関する理解の共有は重要度が高まっている・しかしデータセットに関する知識はチームや個人間で分散してしまう...
モデル Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(2/2)
１．Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(2/2)まとめ ・密なFFNにMoEとゲーティング機能を適用するのはFFNが重い処理であるため ・エキスパートが受け入れるトークン数に上限を設けるとスコアは1ポ...
モデル Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(1/2)
１．Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(1/2)まとめ ・MoEは巨大モデル内のFFレイヤーを複数の同じFFレイヤーに置き換える事 ・MoEとスパース設計を組み合わせる事で効率的なデータ処理が可能にな...
基礎理論 人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(2/2)
１．人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(2/2)まとめ ・創発的なプロンプトは小さなモデルで失敗し十分に大きなモデルで成功する ・思考連鎖のプロンプトは創発的であり小さいモデルでは標準プロンプトに劣る ...
基礎理論 人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(1/2)
１．人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(1/2)まとめ ・大きな人工知能の性能は小さな人工知能の性能傾向を元に予測可能な事が多い ・ある種のタスクは人工知能が特定のサイズを超えると突然性能が向上し始める...
ヘルスケア SegCLR：対照学習で教師なしで人間の脳をマッピングを作成(2/2)
１．SegCLR：対照学習で教師なしで人間の脳をマッピングを作成(2/2)まとめ ・SegCLRは脳細胞の小さな断片に対してもヒトとマウスの細胞型を正確推定可能 ・マウス大脳のシナプスの接続相手を分類する事で脳結合性の自動解析も可能 ・リッ...