学習手法 30億のパラメータを持つ巨大モデルを学習させた際の知見
１．30億のパラメータを持つ巨大モデルを学習させた際の知見まとめ・非常に巨大なモデルを学習させる際は混合精度と全精度で違いが出る可能性がある・通常の学習では問題は発生しないが学習の収束が見込めるトレーニングの後半に出る・DALL·E meg...
openAI
学習手法 
アプリケーション DALL·E 2:言葉による指示を理解してリアルな画像や芸術作品を作り出す人工知能
１．DALL·E 2:言葉による指示を理解してリアルな画像や芸術作品を作り出す人工知能まとめ・昨年発表されたDALL·E言語解釈能力と生成画像の品質を更に高めたDALL·E 2が発表された・DALL·Eの画像は少し稚拙な画像もあったがDAL...
アプリケーション GPT-3の順番待ちリストが解消し申し込めば即日利用できるようになる
１．GPT-3の順番待ちリストが解消し申し込めば即日利用できるようになるまとめ・OpenAI API(GPT-3)が順番待ちリストに申し込まずに即日利用可能になった・3か月間の有効期限付きの18ドル無料クレジット枠が付与されるので一通り試用...
モデル GPT-3の約2倍の性能で算数の文章問題を解く人工知能
１．GPT-3の約2倍の性能で算数の文章問題を解く人工知能まとめ・小学校の算数の問題を微調整したGPT-3モデルの約2倍の精度で解くシステムを開発・このシステムは、実際の子供たちが出した正答率の約90%の正答率で問題を解くことが可能・モデル...
基礎理論 評価が難しい作業を実行するAIを人間が評価しやすくする工夫
１．評価が難しい作業を実行するAIを人間が評価しやすくする工夫まとめ・AIが意図しなかった動作をしてしまう事は合致問題(alignment problem)として知られる・合致問題は「モデルの出力を人間が評価する事が困難または時間がかかる」...
アプリケーション OpenAI Codex：プログラミングを知らなくてもゲーム開発やプログラミング言語変換を可能にする人工知能
１．OpenAI Codex：プログラミングを知らなくてもゲーム開発やプログラミング言語変換を可能にする人工知能まとめ・自然言語を使った指示をプログラムに変換するOpenAI CodexのAPIが本日からベータ受付開始・Codexは12を超...
その他の調査 Triton：ニューラルネットワーク用のGPUプログラミングを楽にする新言語
１．Triton：ニューラルネットワーク用のGPUプログラミングを楽にする新言語まとめ・TritonはcutlassやTVMのようなGPUに直接命令を出すGPUプログラミングを楽にする新言語・Tritonを使用すると比較的少ない労力でハード...
アプリケーション GitHub Copilot：貴方とペアを組んでプログラミングする人工知能(2/2)
１．GitHub Copilot：貴方とペアを組んでプログラミングする人工知能(2/2)まとめ・Copilotの生成するコードはベストなものではないが2つの認知バイアスを誘発・様々な負の側面も持ち、は初心者が気づきにくい足枷となる可能性があ...
アプリケーション GitHub Copilot：貴方とペアを組んでプログラミングする人工知能(1/2)
１．GitHub Copilot：貴方とペアを組んでプログラミングする人工知能(1/2)まとめ・AIとペアプログラミングできると喧伝されているGitHubの新サービスCopilotの紹介・Copilotはプログラムの文脈に基づいて関数全体や...
その他の調査 機械学習のトレーニングに失敗したしくじり事例
１．機械学習のトレーニングに失敗したしくじり事例まとめ・データの収集とデータの品質向上は本質的に矛盾するので別作業として考える・指標がないと感覚だけで是非を判断しなければならない状況に陥り難度が上がる・自由に色々な事を試すためには経済的基盤...
データセット PALMS：厳選した少量のデータセットを使ってGPT-3の動作を制御(2/2)
１．PALMS：厳選した少量のデータセットを使ってGPT-3の動作を制御(2/2)まとめ・デリケートなトピックと望ましい行動の概要を決定し価値観をターゲットにしたデータを作成・価値観をターゲットにしたデータセットは80のサンプルを含みサイズ...
データセット PALMS：厳選した少量のデータセットを使ってGPT-3の動作を制御(1/2)
１．PALMS：厳選した少量のデータセットを使ってGPT-3の動作を制御(1/2)まとめ・GPT-3に質問をすると非常に偏った価値観をベースに回答をしてくる場合がある・少量の厳選したデータセットで価値観を微調整する事でこの偏った動作を是正で...