# GPTQ

[GPT-QModel](https://github.com/ModelCloud/GPTQModel) 프로젝트(Python 패키지 `gptqmodel`)는 GPTQ 알고리즘을 구현합니다. GPTQ는 학습 후 양자화 기법으로, 가중치 행렬의 각 행을 독립적으로 양자화하여 오차를 최소화하는 가중치 버전을 찾습니다. 이 가중치는 int4로 양자화되지만, 추론 중에 fp16으로 즉시 복원됩니다. int4 가중치가 GPU의 글로벌 메모리가 아닌 퓨즈드 커널에서 디양자화되므로 메모리 사용량을 4배까지 절약할 수 있습니다. 또한 낮은 비트폭은 통신에 걸리는 시간이 적으므로 추론 속도도 빨라집니다.

AutoGPTQ는 더 이상 Transformers에서 지원되지 않습니다. 대신 GPT-QModel을 설치하세요.

Accelerate, Transformers, Optimum를 먼저 설치하세요.

```bash
pip install --upgrade accelerate optimum transformers
```

그 다음 아래 명령을 실행하여 GPT-QModel을 설치합니다.

```bash
pip install gptqmodel --no-build-isolation
```

[GPTQConfig](/docs/transformers/v5.23.0/ko/main_classes/quantization#transformers.GPTQConfig) 클래스를 생성하고, 양자화할 비트 수, 양자화를 위한 가중치 보정에 사용할 데이터셋, 그리고 데이터셋을 준비할 토크나이저를 설정합니다.

```py
from transformers import AutoModelForCausalLM, AutoTokenizer, GPTQConfig

tokenizer = AutoTokenizer.from_pretrained("facebook/opt-125m")
gptq_config = GPTQConfig(bits=4, dataset="c4", tokenizer=tokenizer)
```

문자열 목록으로 직접 데이터셋을 전달할 수 있지만, GPTQ 논문에서 사용한 동일한 데이터셋을 사용하는 것이 강력히 권장됩니다.

```py
dataset = ["gptqmodel is an easy-to-use model quantization library with user-friendly apis, based on the GPTQ algorithm."]
gptq_config = GPTQConfig(bits=4, dataset=dataset, tokenizer=tokenizer)
```

Load a model to quantize and pass [GPTQConfig](/docs/transformers/v5.23.0/ko/main_classes/quantization#transformers.GPTQConfig) to [from_pretrained()](/docs/transformers/v5.23.0/ko/model_doc/auto#transformers.AutoModel.from_pretrained). Set `device_map="auto"` to automatically offload the model to a CPU to help fit the model in memory, and allow the model modules to be moved between the CPU and GPU for quantization.

```py
quantized_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m", device_map="auto", quantization_config=gptq_config)
```

데이터셋이 너무 커서 메모리가 부족해지는 경우(디스크 오프로딩은 지원되지 않음)에는 `max_memory` 매개변수를 전달하여 장치(GPU 및 CPU)에서 사용할 메모리 양을 할당해 보세요.

```py
quantized_model = AutoModelForCausalLM.from_pretrained(
    "facebook/opt-125m",
    device_map="auto",
    max_memory={0: "30GiB", 1: "46GiB", "cpu": "30GiB"},
    quantization_config=gptq_config
)
```

> [!WARNING]
> 하드웨어에 따라 모델을 처음부터 양자화하는 데 시간이 걸릴 수 있습니다. 무료 등급의 Google Colab GPU에서 [facebook/opt-350m](https://huggingface.co/facebook/opt-350m) 모델을 양자화하는 데 약 5분이 걸리지만, NVIDIA A100에서 175B 파라미터 모델을 양자화하는 데는 약 4시간이 걸립니다. 모델을 양자화하기 전에 Hub에서 해당 모델의 GPTQ 양자화 버전이 이미 존재하는지 확인하는 것이 좋습니다.

모델이 양자화되면 [push_to_hub()](/docs/transformers/v5.23.0/ko/main_classes/model#transformers.utils.PushToHubMixin.push_to_hub)를 사용하여 모델과 토크나이저를 Hub에 업로드하여 쉽게 공유하고 접근할 수 있습니다. 이 과정에서 [GPTQConfig](/docs/transformers/v5.23.0/ko/main_classes/quantization#transformers.GPTQConfig)도 함께 저장됩니다.

```py
quantized_model.push_to_hub("opt-125m-gptq")
tokenizer.push_to_hub("opt-125m-gptq")
```

[save_pretrained()](/docs/transformers/v5.23.0/ko/main_classes/model#transformers.PreTrainedModel.save_pretrained)은 양자화된 모델을 로컬에 저장합니다. 모델이 `device_map` 파라미터로 양자화되었다면, 저장하기 전에 전체 모델을 GPU 또는 CPU로 이동했는지 확인하세요. 아래 예제는 모델을 CPU에 저장합니다.

```py
quantized_model.save_pretrained("opt-125m-gptq")
tokenizer.save_pretrained("opt-125m-gptq")

# if quantized with device_map set
quantized_model.to("cpu")
quantized_model.save_pretrained("opt-125m-gptq")
```

[from_pretrained()](/docs/transformers/v5.23.0/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained)로 양자화된 모델을 다시 로드하고, `device_map="auto"`를 설정하여 모델을 사용 가능한 모든 GPU에 자동으로 분배하여, 필요한 메모리보다 더 많이 사용하지 않으면서 모델을 더 빠르게 로드합니다.

```py
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("{your_username}/opt-125m-gptq", device_map="auto")
```

## Marlin

[Marlin](https://github.com/IST-DASLab/marlin)은 NVIDIA A100 GPU(Ampere) 아키텍처에 대해 최적화된 4-bit 전용 CUDA GPTQ 커널입니다. 로딩, 역양자화, 역양자화 후 가중치 실행이 고도로 병렬화되어 있어 기존 CUDA GPTQ 커널 대비 추론 성능이 크게 향상됩니다. Marlin은 양자화 추론에만 사용할 수 있으며 모델 양자화를 지원하지 않습니다.

Marlin 추론은 [GPTQConfig](/docs/transformers/v5.23.0/ko/main_classes/quantization#transformers.GPTQConfig)의 `backend` 파라미터를 통해 활성화할 수 있습니다.

```py

from transformers import AutoModelForCausalLM, GPTQConfig

model = AutoModelForCausalLM.from_pretrained("{your_username}/opt-125m-gptq", device_map="auto", quantization_config=GPTQConfig(bits=4, backend="marlin"))
```

## GPT-QModel

GPT-QModel은 Transformers에서 GPTQ를 위한 능동적으로 유지 관리되는 백엔드입니다. 처음에는 AutoGPTQ에서 포크되었으나, 이후 더 빠른 양자화, 더 낮은 메모리 사용량, 더 정확한 기본값 등 상당한 개선 사항이 추가되어 분기되었습니다.

GPT-QModel은 대칭 양자화보다 양자화 오류를 낮출 수 있는 비대칭 양자화를 제공합니다. 기존 AutoGPTQ 체크포인트와 역호환되지 않으며, 모든 커널(Marlin)이 비대칭 양자화를 지원하지 않습니다.

GPT-QModel은 최신 LLM 모델, 멀티모달 모델(Qwen2-VL 및 Ovis1.6-VL), 플랫폼(Linux, macOS, Windows 11), 하드웨어(AMD ROCm, Apple Silicon, Intel/AMD CPU, Intel Datacenter Max/Arc GPU 등)에 대한 더 광범위한 지원을 제공합니다.

Marlin 커널은 A100 GPU에 맞게 업데이트되었으며, 다른 커널은 레거시 모델 및 균일하지 않은 in/out-features를 가진 모델을 위해 자동 패딩(auto-padding)을 포함하도록 업데이트되었습니다.

## 리소스

PEFT [notebook](https://colab.research.google.com/drive/1_TIrmuKOFhuRRiTWN94iLKUFu6ZX4ceb?usp=sharing)를 실행하여 GPTQ 양자화를 직접 체험해 보세요.

