人工知能/機械学習 LLMにおける2重BOS問題とは？
１．2重BOS問題の注意 ・Gemma, LLamaなどは設定通りに動かすとプロンプトの先頭にBOSが２つ付与されて誤動作を誘発するケースがある ・話題になった事はあるが、トレーニングツール、ベンチマークツール、インターフェースツールのいず...
基礎理論
人工知能/機械学習 
データセット FRMT:複数地域で使われる共通言語の微妙な差異を扱う能力を測る機械翻訳用ベンチマーク(2/2)
１．FRMT:複数地域で使われる共通言語の微妙な差異を扱う能力を測る機械翻訳用ベンチマーク(2/2)まとめ ・各地域の専門家である注釈付け作業者が、MQMフレームワークを用いて、翻訳の誤りを分類した所、地域間の言語差異が補足できていた ・人...
データセット FRMT:複数地域で使われる共通言語の微妙な差異を扱う能力を測る機械翻訳用ベンチマーク(1/2)
１．FRMT:複数地域で使われる共通言語の微妙な差異を扱う能力を測る機械翻訳用ベンチマーク(1/2)まとめ ・ブラジルとポルトガルではポルトガル語が話されているように多くの言語には、地域によって様々なバリエーションがある ・しかし、現在の機...
学習手法 SRRとSPADE:自己教師／半教師あり学習で完全教師あり学習を凌駕する異常検知(2/2)
１．SRRとSPADE:自己教師／半教師あり学習で完全教師あり学習を凌駕する異常検知(2/2)まとめ ・多くの半教師あり学習法は、ラベル付きデータとラベル無しデータが同じ分布を持つと仮定しているが現実は異なる事が多い ・SPADEはラベル無...
学習手法 SRRとSPADE:自己教師／半教師あり学習で完全教師あり学習を凌駕する異常検知(1/2)
１．SRRとSPADE:自己教師／半教師あり学習で完全教師あり学習を凌駕する異常検知(1/2)まとめ ・従来の異常検知は完全にラベル付けされたデータに対して有効だが、ラベル付けは非常に手間がかかるため必ずしも現実的な設定ではない ・ラベルな...
基礎理論 弱いヒントを使って多腕バンディット問題を改善(2/2)
１．弱いヒントを使って多腕バンディット問題を改善(2/2)まとめ ・従来のUCBアルゴリズムをアームの組に対して実行し、最高のスコアを出したペアのどちらが良いかを弱いヒントから得る ・弱いヒントの概念を利用すると、時間軸に対する後悔の依存性...
基礎理論 弱いヒントを使って多腕バンディット問題を改善(1/2)
１．弱いヒントを使って多腕バンディット問題を改善(1/2)まとめ ・カジノに設置されているレバーが一本付いているスロットマシンを「one‐armed bandit(隻腕の悪党)」と呼称する ・レバーが複数ついているスロットマシンでどのレバー...
基礎理論 機械学習が学習時に抜け道を見つけてズルをしてしまう事を防止(2/2)
１．機械学習が学習時に抜け道を見つけてズルをしてしまう事を防止(2/2)まとめ ・最も単純な顕著性評価法Gradient L2がBERTベースのモデルに対して良い結果 ・あるモデルでうまくいく方法が、他のモデルでうまくいかないこともある ・...
基礎理論 機械学習が学習時に抜け道を見つけてズルをしてしまう事を防止(1/2)
１．機械学習が学習時に抜け道を見つけてズルをしてしまう事を防止(1/2)まとめ ・最新の機械学習モデルは誤った推論を行って正しい予測をする事がある ・例えば画像内に含まれる透かしや背景を元に画像分類を行う事などがある ・これを防止する手法は...
基礎理論 人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(2/2)
１．人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(2/2)まとめ ・創発的なプロンプトは小さなモデルで失敗し十分に大きなモデルで成功する ・思考連鎖のプロンプトは創発的であり小さいモデルでは標準プロンプトに劣る ...
基礎理論 人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(1/2)
１．人工知能はサイズを大きくすると今までできなかった事が突然できるようになる(1/2)まとめ ・大きな人工知能の性能は小さな人工知能の性能傾向を元に予測可能な事が多い ・ある種のタスクは人工知能が特定のサイズを超えると突然性能が向上し始める...
モデル ReAct:わからなかったらググって、ググった情報を元にもう一度ググって必要な情報を探せる人工知能(2/2)
１．ReAct:わからなかったらググって、ググった情報を元にもう一度ググって必要な情報を探せる人工知能(2/2)まとめ ・ReActの軌跡を用いてより小さな言語モデルの微調整を行うことも検討中 ・ReActが推論を誤った際、人間が道筋を編集...