ロボット VLMaps：ロボットナビゲーションのための視覚-言語マップ(2/2)
１．VLMaps：ロボットナビゲーションのための視覚-言語マップ(2/2)まとめ ・VLMapsは、自然言語による記述で目印の地図座標を返すことが可能なためCode as Policiesで使う事ができる ・追加のトレーニングや微調整なしに...
ロボット ロボット VLMaps：ロボットナビゲーションのための視覚-言語マップ(1/2)
１．VLMaps：ロボットナビゲーションのための視覚-言語マップ(1/2)まとめ ・人が物理的な世界でロボットより優れたナビゲーションが出来るのは周辺環境を認知する地図を構築する能力を持つため ・視覚と言語の共同モデルを学習する事が増えてき...
入門／解説 新たに6モデルを追加したControlNet1.1が公開
１．新たに6モデルを追加したControlNet1.1が公開まとめ ・一週間くらい前に従来の8モデルの改良版＋6モデルを追加したControlNet1.1がリリースされた ・線画を自在に色塗りする事ができるLineart系の機能も追加された...
モデル Vid2Seq：ビデオ内の各イベントを記述可能な事前学習済み視覚言語モデル(2/2)
１．Vid2Seq：ビデオ内の各イベントを記述可能な事前学習済み視覚言語モデル(2/2)まとめ ・Vid2Seqアーキテクチャにはビデオフレーム用のエンコーダー音声入力用のエンコーダーが含まれる ・Vid2Seqモデル幅広い領域をカバーする...
モデル Vid2Seq：ビデオ内の各イベントを記述可能な事前学習済み視覚言語モデル(1/2)
１．Vid2Seq：ビデオ内の各イベントを記述可能な事前学習済み視覚言語モデル(1/2)まとめ ・数分レベルの長さのビデオの中のすべてのイベントを説明するタスクを「高密度ビデオキャプション」という ・標準的なビデオキャプションと比べて高度に...
公平性 The Impact Lab:Googleの責任あるAI(2/2)
１．The Impact Lab:Googleの責任あるAI(2/2)まとめ ・EARRはAI技術に関連する公平性や脆弱性をどのように概念化するかについて重要な視点とフィードバックを提供してきた ・データ分析をする際は属性間の相関や関係が原...
公平性 The Impact Lab:Googleの責任あるAI(1/2)
１．The Impact Lab:Googleの責任あるAI(1/2)まとめ ・グローバル化したテクノロジーは大規模な社会的インパクトを生み出す可能性があり、責任あるAI開発を保証するために根拠ある研究アプローチは重要 ・Impact La...
ヘルスケア AIが何に注目したのかを調べてがんの診断に有効な特徴を発見(2/2)
１．AIが何に注目したのかを調べてがんの診断に有効な特徴を発見(2/2)まとめ ・病理医は論文に掲載されたTAFの画像例を用いてこの特徴を学び理解するためのTAFのスコアリング・ガイドラインを作成した ・独立したデータセットにおいてTAFに...
ヘルスケア AIが何に注目したのかを調べてがんの診断に有効な特徴を発見(1/2)
１．AIが何に注目したのかを調べてがんの診断に有効な特徴を発見(1/2)まとめ ・がんを診断する時、最も重要なステップの1つは病理医が顕微鏡で腫瘍を観察し、がんのステージを決定し、腫瘍の特徴を明らかにする事 ・機械学習が病理画像中の腫瘍を正...
モデル PaLM-E:ロボットは邪魔をされても引き出しからポテチを取り出すくらいはできるようになっている(2/2)
１．PaLM-E:ロボットは邪魔をされても引き出しからポテチを取り出すくらいはできるようになっている(2/2)まとめ ・PaLM-Eはロボット操作タスクと視覚・言語タスクを共通の特徴表現で括ることで、汎化モデルを学習する新しいパラダイムを提...
ロボット PaLM-E:ロボットは邪魔をされても引き出しからポテチを取り出すくらいはできるようになっている(1/2)
１．PaLM-E:ロボットは邪魔をされても引き出しからポテチを取り出すくらいはできるようになっている(1/2)まとめ ・ロボットモデルの規模拡大は一定の成功を収めているが、テキストや画像に匹敵する規模のデータセットがないので遅れをとっている...
入門／解説 rich-text-to-image：イラスト生成AI向けのプロンプトをリッチテキスト形式にして表現力を向上
１．rich-text-to-image：イラスト生成AI向けのプロンプトをリッチテキスト形式にして表現力を向上まとめ ・rich-text-to-imageはMicrosoftのWordのような文字の色を一部だけ変えたり、太文字にできるリ...