アプリケーション BlenderBot 2.0：長期記憶とインターネット検索能力を合わせ持つチャットボット(2/2)
１．BlenderBot 2.0：長期記憶とインターネット検索能力を合わせ持つチャットボット(2/2)まとめ・BlenderBot 2.0は検索拡張対応世代モデルで会話に含まれている知識を超えた応答が可能・学習用の２つのデータセット「Wiz...
アプリケーション アプリケーション BlenderBot 2.0：長期記憶とインターネット検索能力を合わせ持つチャットボット(1/2)
１．BlenderBot 2.0：長期記憶とインターネット検索能力を合わせ持つチャットボット(1/2)まとめ・Facebook AI Researchが最先端のチャットボットであるBlenderBot 2.0を公開・会話中に収集された情報を...
ヘルスケア SeqSNR：ICU患者の臓器機能不全をマルチタスク学習を使って予測(2/2)
１．SeqSNR：ICU患者の臓器機能不全をマルチタスク学習を使って予測(2/2)まとめ・ICU患者の治療後の状況を正確に予測する事は患者にとっても人員配置計画にとっても重要・従来の機械学習は特定の有害事象だけを予測するシングルタスク学習が...
ヘルスケア SeqSNR：ICU患者の臓器機能不全をマルチタスク学習を使って予測(1/2)
１．SeqSNR：ICU患者の臓器機能不全をマルチタスク学習を使って予測(1/2)まとめ・ICU患者の治療後の状況を正確に予測する事は患者にとっても人員配置計画にとっても重要・従来の機械学習は特定の有害事象だけを予測するシングルタスク学習が...
その他の調査 Triton：ニューラルネットワーク用のGPUプログラミングを楽にする新言語
１．Triton：ニューラルネットワーク用のGPUプログラミングを楽にする新言語まとめ・TritonはcutlassやTVMのようなGPUに直接命令を出すGPUプログラミングを楽にする新言語・Tritonを使用すると比較的少ない労力でハード...
学会 ICML 2021におけるGoogleの存在感
１．ICML 2021におけるGoogleの存在感まとめ・7/18から7/24の間インターネット上のヴァーチャルイベントとしてICML 2021が開催・Google社員も多数参加し101の論文やワークショップを12、チュートリアルを3開催・...
モデル 拡散モデルを使用してGANより忠実度の高い画像を生成(2/2)
１．拡散モデルを使用してGANより忠実度の高い画像を生成(2/2)まとめ・CDMはSR3を使って高解像度の自然画像を生成できるクラス条件付き拡散モデル・複数の拡散モデルを繋ぎ合わせて低解像度から徐々に解像度を上げて高品質画像を生成・CDMの...
モデル 拡散モデルを使用してGANより忠実度の高い画像を生成(1/2)
１．拡散モデルを使用してGANより忠実度の高い画像を生成(1/2)まとめ・画像合成は、GAN、VAE、自己回帰モデル等を使って行われているがどれも一長一短・2015年に発表された拡散モデルは安定性と生成サンプルの品質で最近注目を集めている・...
ロボット Brax：Colabで大規模分散システムを凌駕する強化学習用物理シミュレーションエンジン(3/3)
１．Brax：Colabで大規模分散システムを凌駕する強化学習用物理シミュレーションエンジン(3/3)まとめ・BraxはCPUだけで実行しても従来の一般的な環境に比べて1桁以上高速に動作する・Braxは高速で規模拡大可能な強化学習とロボット...
ロボット Brax：Colabで大規模分散システムを凌駕する強化学習用物理シミュレーションエンジン(2/3)
１．Brax：Colabで大規模分散システムを凌駕する強化学習用物理シミュレーションエンジン(2/3)まとめ・Braxは「シミュレーション時に分岐が発生しない」ことを保証する事で効率化を実現・計算が厳密に同じであるため複雑さを軽減でき、通信...
ロボット Brax：Colabで大規模分散システムを凌駕する強化学習用物理シミュレーションエンジン(1/3)
１．Brax：Colabで大規模分散システムを凌駕する強化学習用物理シミュレーションエンジン(1/3)まとめ・強化学習は単純なタスクでも習熟するために数百万から数十億のデータが必要になる・大規模分散システムを使えば迅速に強化学習をトレーニン...
アプリケーション SSD：半教師あり蒸留を使ってGoogle検索を改善(2/2)
１．SSD：半教師あり蒸留を使ってGoogle検索を改善(2/2)まとめ・Noisy Studentとknowledge distillationは似ているが後者はノイズを混入しない・半教師あり蒸留は、生徒に蒸留する前に同等以上の規模の教師...