入門／解説 ディープラーニングと自然言語、コンピュータビジョン用Python人気ライブラリ2020年版
１．ディープラーニングと自然言語、コンピュータビジョン用Python人気ライブラリ2020年版まとめ ・ディープラーニングと自然言語、コンピュータビジョン用Python人気ライブラリ30選 ・一般的なデータサイエンス用ツールは対象外とし、ニ...
nlp
入門／解説 
アプリケーション Smart Scroll：録音データから探している音声を捜しやすくする(1/2)
１．Smart Scroll：録音データから探している音声を捜しやすくする(1/2)まとめ ・昨年、音声録音をより便利にする新しい録音アプリであるRecorderをリリース ・Recorderは最大18時間を転記できるため特定のセクションを...
AI関連その他 LIT：自然言語モデルを対話的に調査して理解を深める解釈性ツール(2/2)
１．LIT：自然言語モデルを対話的に調査して理解を深める解釈性ツール(2/2)まとめ ・LITは事前トレーニング済みモデルを使用したいくつかのデモが公開されている ・感情分析は映画のレビューが肯定的か否定的かを予測する機能をデモできる ・マ...
AI関連その他 LIT：自然言語モデルを対話的に調査して理解を深める解釈性ツール(1/2)
１．LIT：自然言語モデルを対話的に調査して理解を深める解釈性ツール(1/2)まとめ ・自然言語処理モデルが様々な場面で使われるようになりその動作を理解する重要性が増加 ・以前のWhat-Ifツールは分類と回帰モデル用で自然言語処理に特化し...
モデル 人間による評価を使って要約を学ぶ(3/4)
１．人間による評価を使って要約を学ぶ(3/4)まとめ ・初期要約モデル、人間が要約品質を定量化、報酬モデル、RLによる微調整の4ステップで実現 ・要約品質の定量化はラベル付け作業者に高い報酬と緊密な連携を取る事で実現した ・報酬モデルを最適...
モデル 人間による評価を使って要約を学ぶ(1/4)
１．人間による評価を使って要約を学ぶ(1/4)まとめ ・人間による評価を強化学習に取り込んで優れた要約文を書き上げる言語モデルを開発 ・人間による評価モデルは巨大な教師ありモデルや人間が作成した要約よりも優れていた ・本研究は長期的にはAI...
モデル Zari：事前トレーニング済みNLPモデル内の性別決めつけを緩和(2/2)
１．Zari：事前トレーニング済みNLPモデル内の性別決めつけを緩和(2/2)まとめ ・モデルの品質を精度のみの観点でチェックするのは危険で性別相関もチェックが必要 ・ハイパーパラメーターの変更は一見無害に見えても慎重に評価をする必要がある...
モデル Zari：事前トレーニング済みNLPモデル内の性別決めつけを緩和(1/2)
１．Zari：事前トレーニング済みNLPモデル内の性別決めつけを緩和(1/2)まとめ ・NLPの事前トレーニングでは外科医とメスの関係などの概念間の相関関係も学習している ・概念間の相関関係は実タスクで性別の決めつけのようなバイアスをもたら...
モデル pQRNN：射影とクラスタリングで一部のNLPタスクを効率化(2/2)
１．pQRNN：射影とクラスタリングで一部のNLPタスクを効率化(2/2)まとめ ・pQRNNは前世代のモデルであるPRADOを更に改良したNLPモデルで３要素で構成 ・pQRNNは事前処理を一切行わず、テキスト入力だけから文脈表現を学習可...
モデル pQRNN：射影とクラスタリングで一部のNLPタスクを効率化(1/2)
１．pQRNN：射影とクラスタリングで一部のNLPタスクを効率化(1/2)まとめ ・昨年発表したPRADOはパラメータ数が少なくとも最先端のパフォーマンスを実現した ・PRADOはタスクに最も関連するトークンのみを学習するためパラメータを少...
モデル LaBSE：言語に依存しないBERT仕様のEmbedding(2/2)
１．LaBSE：言語に依存しないBERT仕様のEmbedding(2/2)まとめ ・Tatoebaに登録されている言語を使った検証では主要14言語では他の手法と大きな差はなかった ・全112言語を含めてテストを行った場合、従来手法に20%近...
基礎理論 LaBSE：言語に依存しないBERT仕様のEmbedding(1/2)
１．LaBSE：言語に依存しないBERT仕様のEmbedding(1/2)まとめ ・多言語アプローチは有用ではあるがパフォーマンスを維持しながら対応言語を増やすのは困難 ・LaBSEは109の言語を使って訓練したBERT仕様で多言語共通なe...