AI関連その他 Google Research：2020年の振り返りと2021年以降に向けて(2/5)
１．Google Research：2020年の振り返りと2021年以降に向けて(2/5)まとめ ・機械学習の応用は脳の構造解析から有望な分子化合物の探索、チップセットの設計など多岐に ・責任あるAIは解釈可能性の向上やバイアスの削減、安全...
BERT
AI関連その他 AI関連その他 Google Research：2020年の振り返りと2021年以降に向けて(1/5)
１．Google Research：2020年の振り返りと2021年以降に向けて(1/5)まとめ ・年始の恒例のGoogle Researchの去年の振り返りと今年の展望の主要なハイライト ・COVID-19を中心とした医療関係におけるAI...
AI関連その他 トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(2/2)
１．トレーニングデータ抽出攻撃：大規模言語モデルが記憶してしまうプライバシー情報(2/2)まとめ ・トレーニングデータ抽出攻撃の目標は言語モデルが何を記憶しているかを予測する事 ・ニュースヘッドライン、ログ、コード、個人情報などの幅広いコン...
インフラ AppleのM1プロセッサが機械学習に与える影響(2/2)
１．AppleのM1プロセッサが機械学習に与える影響(2/2)まとめ ・GPUとニューラルエンジンを組み合わせると高性能を発揮できるポテンシャルがある ・M1に最適化したTensorFlow 2.4はIntel版に比べて３～４倍近い性能を発...
アプリケーション Smart Scroll：録音データから探している音声を捜しやすくする(1/2)
１．Smart Scroll：録音データから探している音声を捜しやすくする(1/2)まとめ ・昨年、音声録音をより便利にする新しい録音アプリであるRecorderをリリース ・Recorderは最大18時間を転記できるため特定のセクションを...
AI関連その他 LIT：自然言語モデルを対話的に調査して理解を深める解釈性ツール(2/2)
１．LIT：自然言語モデルを対話的に調査して理解を深める解釈性ツール(2/2)まとめ ・LITは事前トレーニング済みモデルを使用したいくつかのデモが公開されている ・感情分析は映画のレビューが肯定的か否定的かを予測する機能をデモできる ・マ...
アプリケーション Chimera Painter：GANを使用して幻想的な生き物を創造(3/3)
１．Chimera Painter：GANを使用して幻想的な生き物を創造(3/3)まとめ ・知覚損失(perceptual loss)を使ってChimera Painter用のGANの重み調整 ・これらの重みは最終的に生成された画像の見栄え...
アプリケーション Chimera Painter：GANを使用して幻想的な生き物を創造(2/3)
１．Chimera Painter：GANを使用して幻想的な生き物を創造(2/3)まとめ ・GANをトレーニングするために、三次元の生き物モデルを利用して画像データセットを作成 ・合成生物を生成するためには新しいファンタジー風のデータセット...
アプリケーション Chimera Painter：GANを使用して幻想的な生き物を創造(1/3)
１．Chimera Painter：GANを使用して幻想的な生き物を創造(1/3)まとめ ・ビデオゲーム用の画像作成時はアイデアをすばやく反復して大量の画像を作成する ・アーティストが人間のアシスタントのように振る舞う絵筆を持ったら生産性が...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(3/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(3/3)まとめ ・iGPTが強力な画像特徴表現を学習可能で教師有り、半教師モデルと匹敵する事が示された ・しかしGPUにV100を使って延べ2500日が必要で画像専用モデルの約3...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(2/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(2/3)まとめ ・モデルは画像生成を学んだ際に物体のカテゴリについても学習している可能性がある ・本研究で、より良い生成モデルがより強力な分類パフォーマンスを達成する事が示された...
モデル Zari：事前トレーニング済みNLPモデル内の性別決めつけを緩和(2/2)
１．Zari：事前トレーニング済みNLPモデル内の性別決めつけを緩和(2/2)まとめ ・モデルの品質を精度のみの観点でチェックするのは危険で性別相関もチェックが必要 ・ハイパーパラメーターの変更は一見無害に見えても慎重に評価をする必要がある...