アプリケーション FILM：２つの異なる写真の間を補完して動画を生成(2/2)
１．FILM：２つの異なる写真の間を補完して動画を生成(2/2)まとめ ・３つの損失関数を組み合わせて鮮明さと画像忠実度を大幅に向上させている ・FILMは画像間に100画素程度の大きな差があっても鮮明な画像を生成可能 ・小さな動きや中程度...
アプリケーション アプリケーション FILM：２つの異なる写真の間を補完して動画を生成(1/2)
１．FILM：２つの異なる写真の間を補完して動画を生成(1/2)まとめ ・フレーム補間とは与えられた画像セットから中間画像を合成する事 ・写真間を補間することで臨場感のある魅力的な映像にしたり応用範囲が広い ・FILMは複製に近い写真から高...
学習手法 QuaRL:強化学習を量子化して高速化と環境負荷を低減(2/2)
１．QuaRL:強化学習を量子化して高速化と環境負荷を低減(2/2)まとめ ・ActorQでトレーニングの大幅な高速化と性能の維持が可能な事が確認された ・ポリシーの量子化で1.9倍から3.76倍まで炭素排出量の削減も確認された ・今後は他...
学習手法 QuaRL:強化学習を量子化して高速化と環境負荷を低減(1/2)
１．QuaRL:強化学習を量子化して高速化と環境負荷を低減(1/2)まとめ ・深層強化学習は逐次意思決定問題大きな進展を続けているが学習時間が長い ・計算負荷が高い事により温室効果ガスの総排出量も多くなってしまう ・量子化を適用する事で性能...
アプリケーション Real-ESRGANとSwinIR：Stable Diffusionで生成した画像の解像度を上げて綺麗にする
１．Real-ESRGANとSwinIR：Stable Diffusionで生成した画像の解像度を上げて綺麗にするまとめ ・stable diffusionで生成した画像はノイズや細かい部分が崩れているケースがある ・修正した画像に更に美麗...
アプリケーション TensorStore：ペタサイズの高次元データを柔軟に効率的に処理する(2/2)
１．TensorStore：ペタサイズの高次元データを柔軟に効率的に処理する(2/2)まとめ ・Apache BeamやDaskなどの並列コンピューティングライブラリと互換性を持つ ・大規模言語モデルではT5XやPathwaysなどのフレー...
基礎理論 TensorStore：ペタサイズの高次元データを柔軟に効率的に処理する(1/2)
１．TensorStore：ペタサイズの高次元データを柔軟に効率的に処理する(1/2)まとめ ・最近の機械学習はペタ規模の巨大多次元データセットを操作する事も多い ・データは順番に読まれるわけではなく複数マシンに分散される事もある ・Ten...
画像生成 DALL·E 2とStable Diffusionのout-paintingの比較
１．DALL·E 2とStable Diffusionのout-paintingの比較まとめ ・out-paintingは元画像の枠外をプロンプトに従って補完してくれる機能 ・DALL·E 2とStable Diffusion(dreams...
モデル LFNRとGPNR：反射するCDを含む場面の視線合成が可能な新手法(2/2)
１．LFNRとGPNR：反射するCDを含む場面の視線合成が可能な新手法(2/2)まとめ ・LFNRの制限の1つは狭い範囲から情報を取得しているため汎化できない事 ・GPNRでは同じ深度のポイント間で情報を交換するtransformerを追加...
モデル LFNRとGPNR：反射するCDを含む場面の視線合成が可能な新手法(1/2)
１．LFNRとGPNR：反射するCDを含む場面の視線合成が可能な新手法(1/2)まとめ ・ある風景の複数の写真から新しい視点を合成する視点合成タスクは長年の課題 ・LFNRではCDの光彩のような視点に依存する効果を再現する課題に取り組んだ ...
画像生成 DreamBooth:Stable Diffusionに自分の好きなキャラクターを描いてもらう事は可能
１．DreamBooth:Stable Diffusionに自分の好きなキャラクターを描いてもらう事は可能まとめ ・DreamBoothは少数の画像から新しい概念をタグとして学ばせる事が可能 ・textual inversionと同等だが全...
モデル FindIt：テキストの指示に基づいて画像内からサンドイッチの左半分を特定可能な統合モデル(2/2)
１．FindIt：テキストの指示に基づいて画像内からサンドイッチの左半分を特定可能な統合モデル(2/2)まとめ ・３つのタスク全てを同じ入力を取るように適応させ学習の効率化を行った ・全てのタスクに対して標準的な物体検出損失を使ったが驚くほ...