基礎理論 SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(2/3)
１．SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(2/3)まとめ ・ReLU関数は勾配が0になった時に学習結果を反映できないのでランダムな挙動に繋がる ・活性化が滑らかなネットワーク(GELU、Swishなど)は...
基礎理論 基礎理論 SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(1/3)
１．SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(1/3)まとめ ・同じデータを使って同じように学習させても同じモデルが再現できない事を再現性の欠如という ・再現性は様々な要因から影響を受けるが全ての要因を制御す...
モデル PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(3/3)
１．PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(3/3)まとめ ・PythonコードのみのデータセットでPaLMを微調整するとさらなる性能向上を確認できた ・規模拡大可能な巨大言語モデルの誤用対策は現在進行中の課題で透...
モデル PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(2/3)
１．PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(2/3)まとめ ・PaLMの性能はモデル規模の関数として表現でき、性能が更に向上可能である事が示唆される ・PaLMは適切な文脈で概念の組み合わせを理解するので絵文字から...
モデル PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(1/3)
１．PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(1/3)まとめ ・昨年、Googlは領域やタスクを横断して汎化できる高効率な単一モデルPathways構想を発表 ・PaLMはPathwaysシステムで学習した5,400...
データセット CVSS：大規模多言語音声間翻訳データセット(2/2)
１．CVSS：大規模多言語音声間翻訳データセット(2/2)まとめ ・CVSSは翻訳音声の他に、翻訳音声の発音に合わせた正規化された翻訳文も提供 ・CVSSはCreative Commons Attribution 4.0 Internati...
データセット CVSS：大規模多言語音声間翻訳データセット(1/2)
１．CVSS：大規模多言語音声間翻訳データセット(1/2)まとめ ・ある言語の音声を別の言語の音声に自動翻訳する事を音声合成翻訳(S2ST)という ・S2STは直接翻訳するタイプと複数システムを連結して実現する２種が存在する ・直接型のS2...
ヘルスケア 目を正面から撮影した写真で病気の兆候を検出(3/3)
１．目を正面から撮影した写真で病気の兆候を検出(3/3)まとめ ・身体的特徴が異なる患者群に対しても比較対象モデルより予測性が高かった ・広く商用利用するためには必要な画質レベルの把握など多くの追加研究が必要 ・包括的なデータセットで更にテ...
ヘルスケア 目を正面から撮影した写真で病気の兆候を検出(2/3)
１．目を正面から撮影した写真で病気の兆候を検出(2/3)まとめ ・モデルの性能をAUCで測定したところ、HbA1c の上昇を 67 ～ 70% で測定できた ・リストの上位5％を見ると69%はHbA1c測定値が9以上でこれは有意に高かった ...
ヘルスケア 目を正面から撮影した写真で病気の兆候を検出(1/3)
１．目を正面から撮影した写真で病気の兆候を検出(1/3)まとめ ・3年前ディープラーニングを用いて眼底写真(目の奥の写真)心血管リスク因子を予測した ・その後、慢性腎臓病や糖尿病、貧血検出値など眼底写真からさらなる兆候の発見があった ・今回...
アプリケーション Googleドキュメントで要約を自動生成(2/2)
１．Googleドキュメントで要約を自動生成(2/2)まとめ ・知識蒸留でPegasusをTransformerとRNNのハイブリッドアーキテクチャに蒸留 ・その結果オリジナルと同等の品質を保ちながら、待ち時間と必要メモリを大幅に改善 ・課...
アプリケーション Googleドキュメントで要約を自動生成(1/2)
１．Googleドキュメントで要約を自動生成(1/2)まとめ ・Googleドキュメントに要約文を作成して自動的に生成／提案する機能が実装された ・全ユーザーが要約を追加可能だが自動生成はGoogle Workspaceのビジネスユーザーの...