基礎理論 EpochとBatch SizeとIterationsとNumber of batchesの違い
１．EpochとBatch SizeとIterationsとNumber of batchesの違いまとめ ・エポックとは全学習データの事。サイズが多くなるので分割して処理する事が多い ・エポックを分割したものをバッチと呼ぶ。バッチ内のデー...
learning method
基礎理論 
アプリケーション より少ないデータから表形式データを推論することを学習(2/2)
１．より少ないデータから表形式データを推論することを学習(2/2)まとめ ・パフォーマンスを向上させるために反事実条件と合成の2つの新しい事前トレーニングを導入 ・経験則を用いてデータの一部分のみを使って計算効率を最適化出来ないかを調査 ・...
データセット ToTTo：表から文を抽出する能力を測るためのデータセット(2/2)
１．ToTTo：表から文を抽出する能力を測るためのデータセット(2/2)まとめ ・最もパフォーマンスの高いモデルであっても約20%の確率で情報を幻覚化するように見える ・最先端のモデルでも幻覚、数値的推論、および稀なトピックに苦労している事...
AI関連その他 AI、機械学習、データサイエンス、ディープラーニングの2020年の進展と2021年の予測インダストリー編(3/3)
１．AI、機械学習、データサイエンス、ディープラーニングの2020年の進展と2021年の予測インダストリー編(3/3)まとめ ・コロナの大きな影響を受けた業界以外はAI関連プロジェクトへの投資を減らしていない ・AIを使用するため自動運転、...
入門／解説 グラフニューラルネットワークのわかりやすい紹介(3/3)
１．グラフニューラルネットワークのわかりやすい紹介(3/3)まとめ ・GNNにAttentionを加えるのは容易でTransformerと同じものを利用可能 ・GNNはグラフ上に存在しグラフ上で動作するディープラーニングにすぎない ・様々な...
モデル 人間による評価を使って要約を学ぶ(4/4)
１．人間による評価を使って要約を学ぶ(4/4)まとめ ・モデルは依然として不正確な要約を生成する可能性があり満点の要約は45%の割合で達成 ・人間がモデル出力の品質を簡単に評価できないようなタスクにも今回の手法を応用したい ・人間の好みに合...
モデル 人間による評価を使って要約を学ぶ(2/4)
１．人間による評価を使って要約を学ぶ(2/4)まとめ ・人間によるフィードバックを使った微調整は他の手法と比較して品質に大きな影響を与えた ・Redditの投稿と非常に異なったスタイルで書かれたニュースデータセットにも対応できた ・要約の長...
入門／解説 MentorMix：現実世界の誤ラベルがディープラーニングに及ぼす影響を調査(3/3)
１．MentorMix：現実世界の誤ラベルがディープラーニングに及ぼす影響を調査(3/3)まとめ ・誤ラベルを処理する簡単な方法はクリーンなデータセットで事前トレーニングすること ・合成ノイズで良好に機能する手法は現実のノイズの多いラベルで...
モデル RepNet：人工知能で動画内の反復行動を数える(2/2)
１．RepNet：人工知能で動画内の反復行動を数える(2/2) ・RepNetは反復行動動画を合成し、更に軸をずらしてカメラの動きを摸倣した合成データで学習した ・特定の反復行動にとらわれず多くの異なる領域で反復動作を数える事ができるモデル...
入門／解説 組成の一般化能力の測定(3/3)
１．組成の一般化能力の測定(3/3)まとめ ・compound divergenceという新しい指標によりデータセットの難度を数値で表す事ができた ・代表的な3つの標準的なMLアーキテクチャは難度があがるにつれて正確性が直線的にさがってしま...
データセット ストリートビュー画像を道案内用AIの研究者に提供(3/3)
１．ストリートビュー画像を道案内用AIの研究者に提供(3/3)まとめ ・Retouchdownは、TouchdownをStreetLearnに統合し、より使いやすく利用申請を簡略化したもの ・TouchdownをStreetLearnデータ...
モデル ClearGrasp:透明な物体を認識可能な機械学習アルゴリズム(3/3)
１．ClearGrasp:透明な物体を認識可能な機械学習アルゴリズム(3/3)まとめ ・合成データセットには地面に設置された透明な物体のみが含まれるという制限があった ・Matterport3DおよびScanNetデータセットのデータを利用...