日英・英日機械翻訳モデルALMA-7B-Ja-V2の公開

１．日英・英日機械翻訳モデルALMA-7B-Ja-V2の公開まとめ

・先日公開した日英・英日機械翻訳モデルALMA-7B-Jaの性能を更に向上したV2を公開
・70億パラメーターモデルだがMETA社の540億パラメーターモデルに近い性能を達成
・量子化を行いサイズを縮小したGPTQ版の性能もかなり向上し、より扱いやすくなった

２．日英・英日機械翻訳モデルALMA-7B-Ja-V2とは？

ALMA-7B-Jaは最近話題のchatGPTが使っているAIテクノロジー(LLM:大規模言語モデル)を使って学習させた日英・英日機械翻訳用のAIモデルです。chatGPTのように多様な機能を学習させるのではなく、翻訳機能に特化させる事で専門性を高める事を狙っています。

先日、前バージョンである日英・英日機械翻訳AIモデルALMA-7B-Jaを公開したのですがまだまだ改善できる点が沢山ある事がわかっており、どうしても更に性能を改善してみたくなりました。そのため、短期間で実現可能な改善とデータセットの整備を行って性能を底上げした版がALMA-7B-Ja-V2です。本モデルはllama2ライセンスでの公開となるため、自由に商用利用可能です。

ALMA-7B-Ja-V2は性能が一段階底上げされていますが、ファイルサイズは前回モデルと同程度(3.9GB～13.5GB)に留めているため、一般消費者向けのGPU付きパソコンで実用的な速度で動かせる事が特徴です。

ALMA-7B-Ja-V2のベンチマーク結果

ALMA-7B-Ja-V2ではベンチマークをしっかり行い、モデルの現在の性能を明確化する事を試みました。

主観評価ですと、日英・英日に限るとMeta社の超多言語翻訳モデルであるNLLB-200や多言語で且つ音声とテキスト間の翻訳を同時に扱えるSeamlessM4Tと同等程度の性能を達成していると感じています。NLLB-200の540億モデルはデータセンター用の最先端GPUであるA100が6台以上なければ実用的な速度で動かす事は出来ない程の巨大なモデルであるため、一般消費者向けのミドルスペックパソコンで実用的且つ同程度の性能が出せた事は大きな成果と思います。

しかし、現在の最高峰AIモデルやLLMベースではない一線級の機械翻訳モデル群とはまだ１歩～２歩くらいの差がある事も感じており、今回、そこを数値で明確化しています。

今回は3種類のベンチマーク結果を元に比較していますが、まずは各ベンチマークの説明から。

（１）BLEU(Bilingual Evaluation Understudy)
翻訳テキストが元のテキストにどれだけ似ているかを評価する指標です。翻訳モデルの性能を評価する際に一番使われている指標と思います。しかし、単語の出現頻度だけを見ているため、語順の正確さや文の流暢さを十分に評価できないという弱点があります。

（２）chrF++/chrF2++(character n-gram F-score)
文字の組み合わせの一致度と語順に基づいて、翻訳の正確さを評価する指標です。主にアジア系言語の翻訳評価に有効と言われています。弱点としては、長い文章の評価にはやや不向きであることが挙げられます。F2は訳漏れに対してより多くペナルティを課す版です。

（３）comet(Cross-lingual Optimized Metric for Evaluation of Translation)
機械学習モデルを使って翻訳の品質を自動的に評価するツールです。人間の主観的評価に近いと言われていますが、機械学習ベースであるため、元々のモデルが学習に使ったデータに評価が大きく依存するという弱点があります。

ALMA-7B-Ja-V2のFLORES200ベンチマークスコア

META社の200言語以上に対応した多言語機械翻訳モデル NLLB 200のFLORES200ベンチマークスコア

※NLLB-200 54Bは翻訳文を公開してくれているのでchrF2++/cometで再計測して掲載。その他のモデルは公開情報を転載。cspBLEU(spm-200)はベンチマーク環境を再現できなかったため未掲載

参考)前回モデル(ALMA-7B-Ja)FLORES200ベンチマークスコア

参考)Gemini pro APIのFLORES200ベンチマークスコア

ALMA-7B-Ja-V2を様々なジャンルの文章で現在のトップレベル翻訳ツールと比較した結果は以下です。

政府の公式文書

二次創作文

テクニカルインタビュー

法的文書

古典文学

llama.cpp(gguf)版のFLORES200ベンチマークスコア

mmngaさんが作成してくれたllama.cpp(gguf)版の全12モデルのFLORES200ベンチマーク結果です。llama.cpp版のモデルを使うと時間はかかりますがGPUがないMac等でも動かす事ができます。１タスクに絞る事で性能と量子化ビット数の関係が明確になりますね。

前回モデル

今回モデル（前回比で平均7％スコアが向上しています）

ライセンス

Llama 2ライセンス(商用利用可)とします。

オリジナルのALMAモデルはMITライセンスなのですが、微調整元のLlama2に合わせておいた方が良いであろうという判断からです。

使い方／サンプルコード

GoogleのWebサービスであるColabを使うと無料で動かす事ができます。

通常版Colabサンプル(高品質だがGPTQ版に比べると遅い)
ALMA_7B_Ja_V2_Free_Colab_sample.ipynb

GPTQ版Colabサンプル(少し品質が落ちるが高速かつ扱いやすい小さいサイズ)
ALMA_7B_Ja_V2_GPTQ_Ja_En_Free_Colab_sample.ipynb

GPTQ版を使ったテキストファイル一括翻訳のサンプル
ALMA_7B_Ja_GPTQ_Ja_En_batch_translation_sample.ipynb

前述のllama.cpp(gguf)版の比較用サンプル(CPUで実行可能)
ALMA_7B_Ja_gguf_Free_Colab_sample.ipynb

GPTQ版のサンプルコード

pip install auto-gptq==0.4.2

import torch
from transformers import AutoTokenizer
from auto_gptq import AutoGPTQForCausalLM

quantized_model_dir = "webbigdata/ALMA-7B-Ja-V2-GPTQ-Ja-En"
model_basename = "model"

tokenizer = AutoTokenizer.from_pretrained(quantized_model_dir)

model = AutoGPTQForCausalLM.from_quantized(
        quantized_model_dir,
        model_basename=model_basename,
        use_safetensors=True,
        device="cuda:0")

prompt1="Translate this from Japanese to English:\nJapanese: ファイト・クラブのルールその1。ファイト・クラブについて口にするな\nEnglish:"
input_ids = tokenizer(prompt1, return_tensors="pt", padding=True, max_length=200, truncation=True).input_ids.cuda()

# Translation
with torch.no_grad():
    generated_ids = model.generate(input_ids=input_ids, num_beams=5, max_new_tokens=200, do_sample=True, temperature=0.6, top_p=0.9)
outputs = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
print(outputs)

prompt2="Translate this from English to Japanese:\nEnglish: - I can bring you in warm or I can bring you in cold. – Mandalorian.\nJapanese:"
input_ids = tokenizer(prompt2, return_tensors="pt", padding=True, max_length=200, truncation=True).input_ids.cuda()
with torch.no_grad():
    generated_ids = model.generate(input_ids=input_ids, num_beams=5, max_new_tokens=200, do_sample=True, temperature=0.6, top_p=0.9)
outputs = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
print(outputs)

V2では実現出来なかった事

・ALMA-Ja-V2に追加学習(LoRA)を行って更に日英・英日翻訳性能だけを底上げする試み(ALMA-7B-Ja-V2-Lora)は思ったような性能向上に繋がらず不完全燃焼でした。
・量子化版であるALMA-7B-Ja-V2-GPTQ-Ja-Enに更に追加学習(LoRA)を行って特定のジャンルの翻訳の流暢さを向上させる試みは出力が異常になり完全に失敗しました。

LoRAは有望な解決策になり得ると考えているため今後、これの失敗原因を追究して改善に努める予定です。

今後の開発予定

ALMA-7B-Ja-V2にも伸びしろはまだまだ沢山あるので、第一線級の翻訳モデルとの差は手の届かないレベルではないと確信しています。

しかし、直近のGPU確保の難しさから、更にモデルを改良するためには何らかの形(クラウドファンディング、補助金申請、法人ユーザーへの保守・カスタマイズサービスの販売、ベストモデルの販売など)で収益基盤を作らないと資金的に息切れしてしまう可能性が高いので、V2の反響を見極めてからもう一歩作業を進めるかを検討する予定です。

３．日英・英日機械翻訳モデルALMA-7B-Ja-V2の公開関連リンク

１）arxiv.org
A Paradigm Shift in Machine Translation: Boosting Translation Performance of Large Language Models

２）huggingface.co
webbigdata/ALMA-7B-Ja-V2
webbigdata/ALMA-7B-Ja-V2-GPTQ-Ja-En
mmnga/webbigdata-ALMA-7B-Ja-V2-gguf

３）github.com
ALMA_7B_Ja_V2_Free_Colab_sample.ipynb (通常版のColabサンプル)
ALMA_7B_Ja_V2_GPTQ_Ja_En_Free_Colab_sample.ipynb (量子化版のColabサンプル)
ALMA_7B_Ja_V2_GPTQ_Ja_En_batch_translation_sample.ipynb (量子化版を使った一括翻訳サンプル)