学習手法 Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(2/2)
１．Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(2/2)まとめ ・LinMaxMatchアルゴリズムはループ処理を行わないので効率的 ・事前トークン化とWordPiece化を直接実...
学習手法 学習手法 Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(1/2)
１．Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(1/2)まとめ ・自然言語処理アプリケーションではトークン化が基本的な前処理ステップとなる ・WordPieceが良く使われているト...
モデル GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(2/2)
１．GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(2/2)まとめ ・GLaMはゼロショットとワンショットで密モデルと比べて競争力のある結果を達成した ・多くのタスクで高いスコアを達成し、推論時も学習時も計算量が少な...
モデル GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(1/2)
１．GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(1/2)まとめ ・大規模モデルを学習させて使用可能にするためには非常に多くの計算が必要となり手間 ・モデルをより効率的に学習させるためにスパース(疎)なネットワーク...
その他の調査 2022年以降のAI・データ分析の10大トレンド(3/3)
１．2022年以降のAI・データ分析の10大トレンド(3/3)まとめ ・製品開発の現場ではPythonの優位性が高まるようになるかもしれない ・リアルタイムデータ分析は2022年以降のデータ分析トレンドの1つ ・DataOps、MLOps、...
その他の調査 2022年以降のAI・データ分析の10大トレンド(2/3)
１．2022年以降のAI・データ分析の10大トレンド(2/3)まとめ ・ノーコード、ローコード、クラウド化、およびサイバーセキュリティが注目を集める ・具体的な事例から洞察を得やすいスモールデータも注目を集めるかもしれない ・データプロヴァ...
その他の調査 2022年以降のAI・データ分析の10大トレンド(1/3)
１．2022年以降のAI・データ分析の10大トレンド(1/3)まとめ ・人工知能とともに働く拡張労働やモデルを直販する新しいビジネスが始まっている ・モデル開発の際に環境に配慮する事が求められる時代がやってきている ・巨大なパラメータを持つ...
その他の調査 Googleトレンドで振り返る2021年の日本のAI関連トレンド
１．Googleトレンドで振り返る2021年の日本のAI関連トレンドまとめ ・AIのべりすと ・ai アルデバラン ・バイデン ai ２．2021年に日本でトレンドになったAI関連キーワードとは？ アイキャッチ画像のクレジットはPhoto ...
学習手法 GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(2/2)
１．GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(2/2)まとめ ・GSPMDが使用するメモリはピークメモリ使用量に影響を与えない ・GSPMDはユーザーがモデルの異なる部分でモードを便利に切り替え可能 ・GS...
学習手法 GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(1/2)
１．GSPMD：ニューラルネットワークの規模拡大を可能にする汎用的な並列化手法(1/2)まとめ ・機械学習アプリケーションではネットワーク規模の拡大が重要であることが判明している ・既存の並列化アルゴリズムは実現が大変だったり実装にも汎用性...
学習手法 TokenLearner：柔軟にトークン化する事でVision Transformerの効率と精度を向上(2/2)
１．TokenLearner：柔軟にトークン化する事でVision Transformerの効率と精度を向上(2/2)まとめ ・Vision Transformerはトークンの数が多くなってしまう事がボトルネックとなっていた ・本研究では多...
学習手法 TokenLearner：柔軟にトークン化する事でVision Transformerの効率と精度を向上(1/2)
１．TokenLearner：柔軟にトークン化する事でVision Transformerの効率と精度を向上(1/2)まとめ ・Vision Transformerは画像をトークン単位で扱うので画像の大域的な特徴をつかむ事ができる ・課題は...