学習手法 JSRL:事前ポリシーを効率的に使用して強化学習をジャンプスタート(1/2) 1.JSRL:事前ポリシーを効率的に使用して強化学習をジャンプスタート(1/2)まとめ ・強化学習は試行錯誤でタスクを実行するがゼロからポリシーを学習する事は難しい ・例えば複雑でゴールにどれだけ近づいているかを測定できないようなタスクの解... 2022.04.21 学習手法
基礎理論 SmeLU:ディープラーニングの再現性を悪化させている犯人はReLU関数(3/3) 1.SmeLU:ディープラーニングの再現性を悪化させている犯人はReLU関数(3/3)まとめ ・SmeLUは推薦システムにおいてその再現性を高める事や学習と推論の効率を向上させる ・滑らかな活性化を用いる事で精度など他の重要な指標を低下させ... 2022.04.20 基礎理論
基礎理論 SmeLU:ディープラーニングの再現性を悪化させている犯人はReLU関数(2/3) 1.SmeLU:ディープラーニングの再現性を悪化させている犯人はReLU関数(2/3)まとめ ・ReLU関数は勾配が0になった時に学習結果を反映できないのでランダムな挙動に繋がる ・活性化が滑らかなネットワーク(GELU、Swishなど)は... 2022.04.19 基礎理論
基礎理論 SmeLU:ディープラーニングの再現性を悪化させている犯人はReLU関数(1/3) 1.SmeLU:ディープラーニングの再現性を悪化させている犯人はReLU関数(1/3)まとめ ・同じデータを使って同じように学習させても同じモデルが再現できない事を再現性の欠如という ・再現性は様々な要因から影響を受けるが全ての要因を制御す... 2022.04.18 基礎理論
モデル PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(3/3) 1.PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(3/3)まとめ ・PythonコードのみのデータセットでPaLMを微調整するとさらなる性能向上を確認できた ・規模拡大可能な巨大言語モデルの誤用対策は現在進行中の課題で透... 2022.04.17 モデル
モデル PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(2/3) 1.PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(2/3)まとめ ・PaLMの性能はモデル規模の関数として表現でき、性能が更に向上可能である事が示唆される ・PaLMは適切な文脈で概念の組み合わせを理解するので絵文字から... 2022.04.16 モデル
モデル PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(1/3) 1.PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(1/3)まとめ ・昨年、Googlは領域やタスクを横断して汎化できる高効率な単一モデルPathways構想を発表 ・PaLMはPathwaysシステムで学習した5,400... 2022.04.15 モデル
データセット CVSS:大規模多言語音声間翻訳データセット(2/2) 1.CVSS:大規模多言語音声間翻訳データセット(2/2)まとめ ・CVSSは翻訳音声の他に、翻訳音声の発音に合わせた正規化された翻訳文も提供 ・CVSSはCreative Commons Attribution 4.0 Internati... 2022.04.14 データセット
データセット CVSS:大規模多言語音声間翻訳データセット(1/2) 1.CVSS:大規模多言語音声間翻訳データセット(1/2)まとめ ・ある言語の音声を別の言語の音声に自動翻訳する事を音声合成翻訳(S2ST)という ・S2STは直接翻訳するタイプと複数システムを連結して実現する2種が存在する ・直接型のS2... 2022.04.13 データセット
ヘルスケア 目を正面から撮影した写真で病気の兆候を検出(3/3) 1.目を正面から撮影した写真で病気の兆候を検出(3/3)まとめ ・身体的特徴が異なる患者群に対しても比較対象モデルより予測性が高かった ・広く商用利用するためには必要な画質レベルの把握など多くの追加研究が必要 ・包括的なデータセットで更にテ... 2022.04.12 ヘルスケアモデル
ヘルスケア 目を正面から撮影した写真で病気の兆候を検出(2/3) 1.目を正面から撮影した写真で病気の兆候を検出(2/3)まとめ ・モデルの性能をAUCで測定したところ、HbA1c の上昇を 67 ~ 70% で測定できた ・リストの上位5%を見ると69%はHbA1c測定値が9以上でこれは有意に高かった ... 2022.04.11 ヘルスケアモデル
ヘルスケア 目を正面から撮影した写真で病気の兆候を検出(1/3) 1.目を正面から撮影した写真で病気の兆候を検出(1/3)まとめ ・3年前ディープラーニングを用いて眼底写真(目の奥の写真)心血管リスク因子を予測した ・その後、慢性腎臓病や糖尿病、貧血検出値など眼底写真からさらなる兆候の発見があった ・今回... 2022.04.10 ヘルスケアモデル