taniatsu/SmolLM2-135M-esperanto

SmolLM2-135M Esperanto

HuggingFaceTB/SmolLM2-135M をエスペラント専用にファインチューニングしたモデルです。

訓練データ

データセット	種類	件数
jensjepsen/esperanto-hplt-filtered	CPT	~50k
jensjepsen/esperanto-sentences	CPT	~20k
jensjepsen/esperanto-gutenberg	CPT	~134
jensjepsen/esperanto-sft-creative	SFT	~21k
jensjepsen/esperanto-sft-dolly	SFT	~15k
jensjepsen/esperanto-alpaca-cleaned	SFT	~48k

使い方

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "taniatsu/SmolLM2-135M-esperanto"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16)

prompt = "<|im_start|>user\nSkribu mallongan rakonton pri la maro.<|im_end|>\n<|im_start|>assistant\n"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=200, do_sample=True, temperature=0.7)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

訓練手順

1. CPT（継続事前学習）: エスペラント生テキストで言語感覚を習得
2. SFT（Instruction Tuning）: ChatML 形式でタスク対応
3. LoRA マージ: ベースモデルにアダプターをマージして単一ファイル化

ハードウェア要件

• 135M パラメータ（bfloat16: ~270MB）
• Raspberry Pi Zero 2W でも動作可能