アプリケーション FILM：２つの異なる写真の間を補完して動画を生成(2/2)
１．FILM：２つの異なる写真の間を補完して動画を生成(2/2)まとめ・３つの損失関数を組み合わせて鮮明さと画像忠実度を大幅に向上させている・FILMは画像間に100画素程度の大きな差があっても鮮明な画像を生成可能・小さな動きや中程度の動き...
アプリケーション
アプリケーション アプリケーション FILM：２つの異なる写真の間を補完して動画を生成(1/2)
１．FILM：２つの異なる写真の間を補完して動画を生成(1/2)まとめ・フレーム補間とは与えられた画像セットから中間画像を合成する事・写真間を補間することで臨場感のある魅力的な映像にしたり応用範囲が広い・FILMは複製に近い写真から高画質の...
アプリケーション Real-ESRGANとSwinIR：Stable Diffusionで生成した画像の解像度を上げて綺麗にする
１．Real-ESRGANとSwinIR：Stable Diffusionで生成した画像の解像度を上げて綺麗にするまとめ・stable diffusionで生成した画像はノイズや細かい部分が崩れているケースがある・修正した画像に更に美麗にす...
アプリケーション TensorStore：ペタサイズの高次元データを柔軟に効率的に処理する(2/2)
１．TensorStore：ペタサイズの高次元データを柔軟に効率的に処理する(2/2)まとめ・Apache BeamやDaskなどの並列コンピューティングライブラリと互換性を持つ・大規模言語モデルではT5XやPathwaysなどのフレームワ...
入門／解説 デザイナーさんやイラストレーターさんのためのstable diffusion入門
１．デザイナーさんやイラストレーターさんのためのstable diffusion入門まとめ・デザインやイラストの分野でご活躍されている方向けのstable diffusionの解説・情報が溢れていて経緯がわかりにくくなっているように感じたの...
アプリケーション 使える時はGPUを使ってビデオ会議の背景置き換えを精緻化(2/2)
１．使える時はGPUを使ってビデオ会議の背景置き換えを精緻化(2/2)まとめ・WebベースのGPUを使った推論はOpenGLの性能の約25%しか達成できない・これはWebGLがML作業ではなく主に画像レンダリング用にに設計されたため・Mul...
アプリケーション 使える時はGPUを使ってビデオ会議の背景置き換えを精緻化(1/2)
１．使える時はGPUを使ってビデオ会議の背景置き換えを精緻化(1/2)まとめ・ビデオ会議の使用頻度は高り、背景置き換え機能はプライバシー保護に重要・従来は何処でも使用できるようにCPUを使った推論で背景置き換えをしていた・最新のGoogle...
アプリケーション UVQ：YouTubeの知覚的なビデオ品質を機械的に測定(2/2)
１．UVQ：YouTubeの知覚的なビデオ品質を機械的に測定(2/2)まとめ・従来は手動で特徴量を設計しMOSでビデオ評価を行う手法が一般的だった・３つのサブネットワークを自己教師学習させて統合する事で自動化を実現・UGCの主観的評価の検証...
アプリケーション UVQ：YouTubeの知覚的なビデオ品質を機械的に測定(1/2)
１．UVQ：YouTubeの知覚的なビデオ品質を機械的に測定(1/2)まとめ・従来のビデオ評価指標は参照となるビデオとの差分で計測されている事が多い・youtubeのようなユーザが作成するコンテンツは従来手法では評価が困難となる・UVQは主...
アプリケーション Look and Talk：視線を検知して呼び出しを認識するアシスタント(2/2)
１．Look and Talk：視線を検知して呼び出しを認識するアシスタント(2/2)まとめ・プライバシーと応答遅延対策のため音声データはサーバに送らずデバイス上で解析している・デモ登録した音声データを利用することで個々のユーザー毎に最適化...
アプリケーション Look and Talk：視線を検知して呼び出しを認識するアシスタント(1/2)
１．Look and Talk：視線を検知して呼び出しを認識するアシスタント(1/2)まとめ・現在のGoogle Assistantは「OK Google」と呼びかける事で起動する仕組みに依存している・ホームデバイスとの自然で直感的な対話方...
アプリケーション 機械学習を使ったコード補完で開発者の生産性はどのくらい向上するのか？(2/2)
１．機械学習を使ったコード補完で開発者の生産性はどのくらい向上するのか？(2/2)まとめ・MLによるコード補完は正しく見えてもコンパイルできないコードを提案する欠点がある・この欠点を克服するためにセマンティックエンジンを併用して精度を向上し...