その他の調査 機械学習と脳の違い Part 3: レイヤー構造の違い
１．機械学習と脳の違い Part 3: レイヤー構造の違いまとめ ・機械学習のレイヤーは整然とした層状構造だが脳は無秩序な結合を多数含んでいるように見える ・脳の160億の各ニューロンを他の全ニューロンと完全に接続するのは物理的に不可能 ・...
open source
その他の調査 
画像生成 Latent Diffusion Modelsを使ってテキストから画像を生成
１．Latent Diffusion Modelsを使ってテキストから画像を生成まとめ ・Latent DiffusionはDALL·E Flowが内部で呼んでいるモデルのベースとなったモデル ・DALL·E同様にテキストから画像の生成だけ...
基礎理論 ALX：大規模な行列計算をＴＰＵ上で実現(3/3)
１．ALX：大規模な行列計算をＴＰＵ上で実現(3/3)まとめ ・ALXのパラメータを慎重に調整し、メモリを半減させながら精度を維持する事ができた ・理想はコア数を増すと線形に学習時間が減少する事だがネットワーク通信時間の影響を受ける ・AL...
ヘルスケア 前立腺がんの診断とグリーソン分類に関する国際的なコンペ(2/2)
１．前立腺がんの診断とグリーソン分類に関する国際的なコンペ(2/2)まとめ ・コンテストは非常に迅速にモデルが改善され病理医に近いレベルを10日以内に達成 ・コードを公開して共有する事が参加チーム全体のスコアの急速な改善につながった ・PA...
その他の調査 Google Research：2022年以降にAIはどのように進化していくか？(3/6)
１．Google Research：2022年以降にAIはどのように進化していくか？(3/6)まとめ ・個人スマホがプライバシーを保ったまま世界中のスマホと共同して学習する事が可能な時代 ・世界のデータを使いつつ状況に応じて個人に最適化出来...
学習手法 GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(2/2)
１．GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(2/2)まとめ ・GSPMDが使用するメモリはピークメモリ使用量に影響を与えない ・GSPMDはユーザーがモデルの異なる部分でモードを便利に切り替え可能 ・GS...
基礎理論 RLiable: 強化学習における信頼性の高い性能評価指標(1/2)
１．RLiable: 強化学習における信頼性の高い性能評価指標(1/2)まとめ ・平均値や中央値などを評価指標にしたままでは強化学習の性能を見誤る可能性がある ・より多く試行して性能評価する事は限られた計算機資源の観点から現実的ではない ・...
インフラ VHP:人体装着型アプリのために振動を触覚で伝達するオープンソースの基盤(2/2)
１．VHP:人体装着型アプリのために振動を触覚で伝達するオープンソースの基盤(2/2)まとめ ・VHPは迅速な実験とプロトタイピングを可能にし、様々なアプリの技術開発に利用可能 ・小型デバイスでの多様な振動表現、触覚実験、アラート通知実験、...
インフラ VHP:人体装着型アプリのために振動を触覚で伝達するオープンソースの基盤(1/2)
１．VHP:人体装着型アプリのために振動を触覚で伝達するオープンソースの基盤(1/2)まとめ ・ウェアラブルデバイスや携帯電話の多くは振動などの触覚で情報を伝える ・効果的な触覚システムを設計するのは数や位置を試行錯誤する必要があり困難 ・...
プライバシー 実用的な差分プライベートクラスタリング(2/2)
１．実用的な差分プライベートクラスタリング(2/2)まとめ ・プライベート・クラスタリング・アルゴリズムの前処理は通常と異なるので留意が必要 ・今回のアルゴリズムは全てのデータポイントが収まるような半径の入力が必要 ・半径が正確である必要は...
プライバシー FedJAX：連合学習のシミュレーションをJAXで容易に実行(1/2)
１．FedJAX：連合学習のシミュレーションをJAXで容易に実行(1/2)まとめ ・連合学習を使用するとデータをスマホからクラウドに送信せずともモデルトレーニングが可能 ・連合学習を研究する際の使いやすさを重視したJAXベースのFedJAX...
アプリケーション BlenderBot 2.0：長期記憶とインターネット検索能力を合わせ持つチャットボット(1/2)
１．BlenderBot 2.0：長期記憶とインターネット検索能力を合わせ持つチャットボット(1/2)まとめ ・Facebook AI Researchが最先端のチャットボットであるBlenderBot 2.0を公開 ・会話中に収集された情...