学習手法 視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(3/3)
１．視覚タスクで学習した重みをロボット操作タスクに転移学習する試み(3/3)まとめ ・把握ロボットではヘッドとバックボーンの両方を転送した方がバックボーン部のみより成功率が高い ・物体の位置を認識する必要がない画像分類タスクなどの重みはパフ...
neural network
学習手法 
入門／解説 DermGAN:機械学習トレーニング用に多様な皮膚状態の医療用画像を合成(2/2)
１．DermGAN:機械学習トレーニング用に多様な皮膚状態の医療用画像を合成(2/2)まとめ ・患部を撮影した医療画像のピントがあっているかどうかは、正確な診断のために重要 ・デジタルスライドは数千の小さなパーツを繋ぎ合わせて作成されており...
入門／解説 学習ベースの画像圧縮手法に関する第3回ワークショップ
１．学習ベースの画像圧縮手法に関する第3回ワークショップまとめ ・CVPR 2020で第三回学習ベースの画像圧縮コンペが開催される事が発表し挑戦受付中 ・本ワークショップシリーズの初のビデオ圧縮タスクであるPフレーム圧縮に関するコンペも開催...
入門／解説 Meena：どんな会話にも対応できるチャットボット(3/3)
１．Meena：どんな会話にも対応できるチャットボット(3/3)まとめ ・PerplexityがMeena開発中に作ったSSA値などの人間による評価と強い相関関係を示す事がわかった ・Perplexityは言語モデルの不確実性を測定する従来...
入門／解説 Meena：どんな会話にも対応できるチャットボット(1/3)
１．Meena：どんな会話にも対応できるチャットボット(1/3)まとめ ・現在の人工知能を使ったチャットボットは特定の会話はこなせるが雑談に対応できる能力は低い ・MeenaはGPT-2を超える26億のパラメータを内部に持つ新しいニューラル...
入門／解説 その転移学習は本当に有用なのか？(3/3)
１．その転移学習は本当に有用なのか？(3/3)まとめ ・事前学習によって学習された重みは特徴表現とは無関係に学習を高速化する効果がある ・高速効果は平均と分散を意識した初期化で実現できるため任意のレイヤーに適用可能 ・重みを再利用できる下位...
入門／解説 その転移学習は本当に有用なのか？(2/3)
１．その転移学習は本当に有用なのか？(2/3)まとめ ・大きなモデルの下位レイヤーでは学習による重みの変化が小さく特徴表現はかなり再利用される ・大きなモデルでも小さなモデルでも上位レイヤーでは重みの変化が大きく特徴表現はあまり再利用されな...
入門／解説 その転移学習は本当に有用なのか？(1/3)
１．その転移学習は本当に有用なのか？(1/3)まとめ ・転移学習は医療用画像処理タスクのパフォーマンスに大きな影響を与えていない事がわかった ・医療用画像処理タスクでは小さいモデルが大きなモデルに匹敵するパフォーマンスを出せていた ・大きな...
入門／解説 Deep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(2/2)
１．Deep Double Descent:ディープラーニングは二度、パフォーマンスが向上する(2/2)まとめ ・4.5倍以上のサンプルを使ってトレーニングをしているのにパフォーマンスが低下してしまう事もある ・逆により多くの学習をさせる事...
モデル SPICE：自己教師学習で音の高さを推定
１．SPICE：自己教師学習で音の高さを推定まとめ ・メロディーを認識するためには音の高さの変化、つまりピッチの変化を追跡する能力が必要 ・しかし音の高さをそのまま認識する絶対音感より相対的に認識する相対音感の方が人間の脳でも一般的 ・SP...
学習手法 MobileNetV3:次世代のオンデバイス視覚モデル(3/3)
１．MobileNetV3:次世代のオンデバイス視覚モデル(3/3)まとめ ・精度とEdge TPU上で実行された際の速度を両立させるAutoMLをした結果MobileNetEdgeTPUモデル誕生 ・既存のモバイルモデルよりも同一精度でよ...
モデル 動画用ニューラルネットワークを自動で探索する試み(3/3)
１．動画用ニューラルネットワークを自動で探索する試み(3/3)まとめ ・従来モデルより大幅に早くビデオ認識が可能なTiny Video Networksも自動探索する事ができた ・アーキテクチャの自動進化中に実行時間を考慮し計算量を削減する...