データセット 画像の説明文を利用して視覚的質問回答データを作成(1/2)
１．画像の説明文を利用して視覚的質問回答データを作成(1/2)まとめ ・視覚的質問回答(VQA)は画像から視覚的に読み取れる質問に回答するシステム ・視覚と自然言語を同時に扱う必要がありマルチタスクで質問範囲が限定されていない ・VQAシス...
natural language processing
データセット 
AI関連その他 Googleの人工知能LaMDAは本当に意識を得たのか？(3/3)
１．Googleの人工知能LaMDAは本当に意識を得たのか？(3/3)まとめ ・LaMDAは自然言語を扱うモデルとしては最先端の設計ではなく一世代前のモデル ・パラメータ数も最先端のモデルに比べると1/4程度であり算数では負けている ・現時...
AI関連その他 Googleの人工知能LaMDAは本当に意識を得たのか？(1/3)
１．Googleの人工知能LaMDAは本当に意識を得たのか？(1/3)まとめ ・BBCやWashingtonPost誌などで意識を持つかもしれないAIに関する報道があった ・このAIの名前はLaMDA、2021年に紹介された際には意識云々の...
アプリケーション Googleアシスタントが文脈を意識できる理由(1/2)
１．Googleアシスタントが文脈を意識できる理由(1/2)まとめ ・人は会話時に文脈を意識して効率的な会話を行っているが機械が文脈を意識する事は困難 ・Googleアシスタントは以前の問い合わせや回答で定義された文脈を参照する事が可能 ・...
モデル PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(3/3)
１．PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(3/3)まとめ ・PythonコードのみのデータセットでPaLMを微調整するとさらなる性能向上を確認できた ・規模拡大可能な巨大言語モデルの誤用対策は現在進行中の課題で透...
モデル PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(2/3)
１．PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(2/3)まとめ ・PaLMの性能はモデル規模の関数として表現でき、性能が更に向上可能である事が示唆される ・PaLMは適切な文脈で概念の組み合わせを理解するので絵文字から...
アプリケーション Googleドキュメントで要約を自動生成(1/2)
１．Googleドキュメントで要約を自動生成(1/2)まとめ ・Googleドキュメントに要約文を作成して自動的に生成／提案する機能が実装された ・全ユーザーが要約を追加可能だが自動生成はGoogle Workspaceのビジネスユーザーの...
モデル LaMDA：人間より機知に富んだ会話が可能な対話モデル(2/2)
１．LaMDA：人間より機知に富んだ会話が可能な対話モデル(2/2)まとめ ・品質指標は微調整の有無にかかわらず、モデルパラメータの数とともに一般に改善する ・根拠性はモデルサイズが大きくなると向上するが外部の知識源を参照する事が可能 ・微...
モデル GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(2/2)
１．GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(2/2)まとめ ・GLaMはゼロショットとワンショットで密モデルと比べて競争力のある結果を達成した ・多くのタスクで高いスコアを達成し、推論時も学習時も計算量が少な...
学会 EMNLP 2021におけるGoogleの存在感
１．EMNLP 2021におけるGoogleの存在感まとめ ・2021年11月7日～11日にインターネットとドミニカ共和国でEMNLP 2021が開催 ・Google社員も多数参加し35以上の出版物の公開やワークショップを開催 ・本サイトで...
データセット GoEmotions：きめ細かい感情分類を行うためのデータセット(2/2)
１．GoEmotions：きめ細かい感情分類を行うためのデータセット(2/2)まとめ ・クラスタリングすると曖昧な感情はポジティブな感情に関係している事が判明 ・喜びと興奮、緊張と恐怖、悲しみと嘆き、苛立ちと怒りなども密接な相関関係 ・絵文...
モデル Translatotron 2：音声間直接翻訳アプローチの品質を更に改良(1/2)
１．Translatotron 2：音声間直接翻訳アプローチの品質を更に改良(1/2)まとめ ・音声間翻訳システムは通常、音声認識や機械翻訳、音声合成を順番に適用して実現 ・2019年には2言語間で翻訳元音声を翻訳先音声に直接翻訳できるTr...