# تكامل Kernels Hub واستخدامه

تتيح مكتبة [`kernels`](https://huggingface.co/blog/hello-hf-kernels#get-started-and-next-steps) تحميل نوى الحساب المُحسَّنة مباشرةً من Hub. يمكنك العثور على `kernels` في [منظمات مخصصة](https://huggingface.co/kernels-community) أو عن طريق البحث عن وسم [`kernel`](https://huggingface.co/models?other=kernel) داخل Hub.

النوى هي **قطع أكوام مُحسّنة** تُسهم في تطوير النماذج وتدريبها والاستدلال عليها. هنا، سنركّز على **تكاملها مع TRL**، لكن اطّلع على الموارد المذكورة أعلاه لمعرفة المزيد عنها.

## التثبيت

للاستخدام النواة مع TRL، ستحتاج إلى تثبيت المكتبة في بيئة Python الخاصة بك:

```bash
pip install kernels
```

## استخدام الأنوية من المستودع في TRL

يمكن أن تحل النوى (Kernels) محل تنفيذات الانتباه (attention) مباشرةً، مما يلغي الحاجة إلى تجميع (compile) واجهات خلفية الانتباه يدوياً مثل Flash Attention، ويعزز سرعة التدريب بمجرد جلب نواة الانتباه المعنية من Hub.

يمكنك تحديد نواة عند تحميل نموذج:

```python
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    "your-model-name",
    attn_implementation="kernels-community/flash-attn2"  # other options: kernels-community/vllm-flash-attn3, kernels-community/paged-attention
)
```

أو عند تشغيل سكربت تدريب TRL:

```bash
python sft.py ... --attn_implementation kernels-community/flash-attn2
```

أو باستخدام واجهة سطر الأوامر الخاصة بـ TRL:

```bash
trl sft ... --attn_implementation kernels-community/flash-attn2
```

> [!TIP]
> الآن يمكنك الاستفادة من واجهات خلفية انتباه أسرع عبر نواة مُحسَّنة مسبقًا لمُعدّلات العتاد لديك من Hub، مما يُسرّع كلًا من التطوير والتدريب.

## اختيار إصدار نواة محددة وتثبيتها

تُدار مستودعات النواة على Hub بإصدارات على شكل فروع (`v1`، `v2`، `v3`، ...)، ويختار Transformers إصدارًا افتراضيًا لكل مستودع. قد يتغير هذا الافتراضي من إصدار Transformers إلى التالي، لذا فإن القيمة نفسها لـ`attn_implementation` لا تحل دائمًا إلى نفس البناء.

للتحكم في الإصدار الذي يتم تحميله، أضف نسخة إلى معرّف المستودع، سواء كان فرع إصدار أو معرف SHA للالتزام:

```python
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    "your-model-name",
    attn_implementation="kernels-community/flash-attn2@v2",  # or a commit SHA to pin an exact build
)
```

يُعد تثبيت الإصدار مفيدًا لجعل عملية التدريب قابلة للتكرار، وللبقاء على إصدار معروف الصلاحية عندما يظهر انحدار في إصدار أحدث. يرجى ملاحظة أن كل إصدار يتضمن فقط حزمًا مبنية لنطاق من إصدارات Torch وCUDA، لذا قد لا يتوفر أي متغير للإصدار المثبت يناسب بيئة عملك.

> [!TIP]
> يعود `attn_implementation="flash_attention_2"` إلى نواة `kernels-community/flash-attn2` على Hub عندما لا يكون الحزمة `flash-attn` مثبتة، لذا قد تكون تستخدم نواة Hub دون أن تطلبها صراحةً.

> [!WARNING]
> تفشل حاليًا عمليات البناء `v3` الخاصة بـ CUDA 12.8 في مسار الرجوع (backward pass) للنماذج التي تستخدم الانتباه الاستعلامي المجمّع (grouped-query attention). إذا كان بيئتك يستخدم إصدار CUDA ذلك، فثبّت `@v2` حتى يتم إغلاق [huggingface/kernels-community#1085](https://github.com/huggingface/kernels-community/issues/1085).

## مقارنة تنفيذات الانتباه

قمنا بتقييم مختلف تطبيقات الانتباه المتاحة في **Transformers**، إلى جانب مختلف نوى الخلفية، باستخدام **TRL** و**SFT**. تم تنفيذ التجارب على وحدة معالجة رسومات **H100 GPU** واحدة مع **CUDA 12.9**، مع الاستفادة من **Qwen3-8B** بحجم دفعة **batch size of 8**، وتجميع تدرج **gradient accumulation of 1**، ودقة bfloat16. يرجى ملاحظة أن النتائج المعروضة هنا خاصة بهذا الإعداد وقد تختلف مع تكوينات تدريب مختلفة.

يوضح الشكل التالي كلًا من **زمن الاستجابة** (الزمن لكل خطوة تدريب) و**ذروة الذاكرة المخصصة** لتنفيذات الانتباه المختلفة وخوادم النواة. تتفوق تنفيذات القائمة على النواة على تنفيذ الانتباه المثبت مخصصًا، كما أن زيادة `max_length` للنموذج تعزز الأداء بشكل أكبر. استهلاك الذاكرة متشابه عبر جميع التنفيذات، مما لا يُظهر فروقًا جوهرية. نحصل على الأداء نفسه ولكن مع تقليل الاحتكاك، كما هو موضح في [القسم التالي](#flash-attention-vs-hub-kernels).

  
  

## Flash Attention مقابل نواة Hub

قد يستغرق بناء Flash Attention من المصدر وقتًا طويلاً، حيث يمكن أن يستغرق الأمر من بضع دقائق إلى ساعات، وذلك تبعًا لمكوناتك العتادية، وإعداد CUDA/PyTorch، وما إذا كانت عجلات مُجمّعة مسبقًا متاحة.

على النقيض من ذلك، يوفر **Hugging Face Kernels** سير عمل أسرع بكثير وأكثر موثوقية. لا يحتاج المطورون إلى القلق بشأن الإعدادات المعقدة، حيث يتم التعامل مع كل شيء تلقائيًا. في اختباراتنا المرجعية، كانت الأنوية جاهزة للاستخدام في حوالي **2.5 ثانية**، دون الحاجة إلى أي تجميع. وهذا يتيح لك بدء التدريب فورًا تقريبًا، مما يسرّع التطوير بشكل كبير. ما عليك سوى تحديد الإصدار المطلوب، وسيتولى `kernels` الباقي.

