# Axolotl

[Axolotl](https://docs.axolotl.ai/) là một framework để fine-tuning và post-training cho các large language model. Nó hỗ trợ adapter-based tuning, ND-parallel distributed training, GRPO và QAT. Thông qua [TRL](./trl), Axolotl cũng xử lý các workflow preference learning, reinforcement learning và reward modeling.

Định nghĩa phiên huấn luyện của bạn trong một tệp cấu hình YAML.

```yaml
base_model: NousResearch/Nous-Hermes-llama-1b-v1
model_type: AutoModelForCausalLM
tokenizer_type: AutoTokenizer

datasets:
  - path: tatsu-lab/alpaca
    type: alpaca

output_dir: ./outputs
sequence_len: 512
micro_batch_size: 1
gradient_accumulation_steps: 1
num_epochs: 1
learning_rate: 2.0e-5
```

Khởi động huấn luyện bằng lệnh [train](https://docs.axolotl.ai/docs/cli.html#train).

```bash
axolotl train my_config.yml
```

## Tích hợp Transformers

[ModelLoader](https://docs.axolotl.ai/docs/api/loaders.model.html#axolotl.loaders.model.ModelLoader) của Axolotl bao bọc quy trình tải của Transformers.

- Cấu hình mô hình được xây dựng từ [AutoConfig.from_pretrained()](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoConfig.from_pretrained). Thiết lập tiền nạp cấu hình [device map](https://huggingface.co/docs/accelerate/concept_guides/big_model_inference#designing-a-device-map), [quantization config](../main_classes/quantization) và [attention backend](../attention_interface).

- `ModelLoader` tự động chọn lớp [AutoModel](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoModel) phù hợp ([AutoModelForCausalLM](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoModelForCausalLM), [AutoModelForImageTextToText](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoModelForImageTextToText), [AutoModelForSequenceClassification](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoModelForSequenceClassification)) hoặc một lớp cụ thể cho mô hình từ ánh xạ đa phương tiện. Trọng số được nạp bằng `from_pretrained` của bộ nạp đã chọn. Khi `reinit_weights` được đặt, Axolotl sử dụng `from_config` để khởi tạo ngẫu nhiên.

- Axolotl sử dụng Transformers, [PEFT](https://huggingface.co/docs/peft/index) và [bitsandbytes](https://huggingface.co/docs/bitsandbytes/index) để áp dụng các adapter sau khi khởi tạo mô hình khi các kỹ thuật dựa trên PEFT như LoRA và QLoRA được bật. Một trình quản lý vá (patch manager) sẽ áp dụng các tối ưu hóa bổ sung trước và sau khi tải mô hình.

- [AxolotlTrainer](https://docs.axolotl.ai/docs/api/core.trainers.base.html#axolotl.core.trainers.base.AxolotlTrainer) kế thừa [Trainer](/docs/transformers/v5.23.0/vi/main_classes/trainer#transformers.Trainer), thêm các Axolotl mixins trong khi sử dụng vòng lặp huấn luyện và các API của [Trainer](/docs/transformers/v5.23.0/vi/main_classes/trainer#transformers.Trainer).

## Tài nguyên

- Tài liệu [Axolotl](https://docs.axolotl.ai/)

