モデル PaLM-SayCan:飲み物をこぼしてしまったからちょっと助けて！とロボットに頼めるようになる(1/2)
１．PaLM-SayCan:飲み物をこぼしてしまったからちょっと助けて！とロボットに頼めるようになる(1/2)まとめ ・ロボットは明確なタスク定義を用いて学習しているので曖昧な指示が苦手 ・言語モデルは曖昧な指示も理解できるが現実世界を知ら...
interpretability
モデル 
ヘルスケア ProtENN:ディープラーニングでタンパク質に注釈付けをする(3/3)
１．ProtENN:ディープラーニングでタンパク質に注釈付けをする(3/3)まとめ ・ProtENNが配列並びベースの手法と相補的な情報を学習することを実証してアンサンブルした ・取り組みの成果として680万件の新しいタンパク質配列の注釈セ...
モデル Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(1/3)
１．Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(1/3)まとめ ・Vision Transformer(ViT)とその亜種は視覚理解タスクで最近大きく注目されてい...
ヘルスケア DeepCTRL:ニューラルネットワークにルールを教えて制御する試み(3/3)
１．DeepCTRL:ニューラルネットワークにルールを教えて制御する試み(3/3)まとめ ・元データが必ずしもルールに従うとは限らないのでルールの効果は元データに依存 ・DeepCTRLは再トレーニングせずにデータに合わせてルールの強さを変...
学習手法 TFT：解釈可能な時系列予測用ディープラーニング(2/2)
１．TFT：解釈可能な時系列予測用ディープラーニング(2/2)まとめ ・静的変数の最大の重みは店舗と商品、将来変数の最大の重みは広告期間と国民の祝日 ・TFTはハードコーディングなしに持続的な時間的パターンを学習する事が出来ていた ・TFT...
基礎理論 BERTとTF-Rankingを使ってランキングシステムの透明性と解釈可能性を向上(2/2)
１．BERTとTF-Rankingを使ってランキングシステムの透明性と解釈可能性を向上(2/2)まとめ ・一般化加法モデルは解釈可能な機械学習モデルだがランキングにはあまり使用されていなかった ・ニューラルランキングGAMを開発し解釈可能な...
基礎理論 BERTとTF-Rankingを使ってランキングシステムの透明性と解釈可能性を向上(1/2)
１．BERTとTF-Rankingを使ってランキングシステムの透明性と解釈可能性を向上(1/2)まとめ ・ランク付け学習(LTR)は項目のリスト全体を入力として受け取り、有用性を最大化する順序を学習 ・LTRは検索および推薦システム、その他...
モデル 文字情報と画像情報を同じ概念として認識できる人工知能の出現(1/2)
１．文字情報と画像情報を同じ概念として認識できる人工知能の出現(1/2)まとめ ・特定の女優さんの画像や名前に反応するニューロンが人間の脳内で見つかった事がある ・ネットワークで機能するので特定のニューロンが反応するのはおかしいと反論があっ...
AI関連その他 LIT：自然言語モデルを対話的に調査して理解を深める解釈性ツール(2/2)
１．LIT：自然言語モデルを対話的に調査して理解を深める解釈性ツール(2/2)まとめ ・LITは事前トレーニング済みモデルを使用したいくつかのデモが公開されている ・感情分析は映画のレビューが肯定的か否定的かを予測する機能をデモできる ・マ...
AI関連その他 LIT：自然言語モデルを対話的に調査して理解を深める解釈性ツール(1/2)
１．LIT：自然言語モデルを対話的に調査して理解を深める解釈性ツール(1/2)まとめ ・自然言語処理モデルが様々な場面で使われるようになりその動作を理解する重要性が増加 ・以前のWhat-Ifツールは分類と回帰モデル用で自然言語処理に特化し...
基礎理論 解釈しやすいニューロンがディープラーニングの性能を低下させる可能性
１．解釈しやすいニューロンがディープラーニングの性能を低下させる可能性まとめ ・一部のニューロンは猫画像など特定クラスを優先する性質を持ちこれをクラス選択性という ・クラス選択性は学習中に自動出現するので解釈可能性に関するツールとして注目さ...
モデル Ihmehimmeli：スパイキングニューラルネットワークにおける時間的符号化(3/3)
１．Ihmehimmeli：スパイキングニューラルネットワークにおける時間的符号化(3/3)まとめ ・スパイクネットワークが数字の特徴をどのように学習したかも視覚化できた ・他にも生物にヒントを得た様々なニューラルネットワークを研究中 ・人...