دالة المكافأة التي تتحقق مما إذا كان الإكمال يطابق الإجابة الصحيحة.

• إذا كان كلا من الإجابة المرجعية والتنبؤ قابلين للتفسير → استخدم التحقق الرياضي.
• إذا لم يكن الذهب قابلاً للتحويل → أعد None لتخطي المثال.

>>> from trl.rewards import accuracy_reward

>>> solutions = [r"\frac{1}{3}", r"\frac{1}{3}"]
>>> completions = [
...     [{"role": "assistant", "content": r"My answer is \boxed{\frac{1}{3}}"}],
...     [{"role": "assistant", "content": r"My answer is \boxed{\frac{1}{2}}"}],
... ]
>>> accuracy_reward(completions, solutions)
[1.0, 0.0]

دالة المكافأة التي تزيل محتوى الاستدلال وتتحقق مما إذا كانت الإجابة النهائية تطابق الإجابة الصحيحة.

• إذا كان كلا من الإجابة المرجعية والتنبؤ قابلين للتفسير → استخدم التحقق الرياضي.
• إذا لم يكن الذهب قابلاً للتحويل → أعد None لتخطي المثال.

>>> from trl.rewards import reasoning_accuracy_reward

>>> reasoning_delimiters = ["</think>"]
>>> solutions = [r"\frac{1}{3}", r"\frac{1}{3}", r"\frac{1}{3}"]
>>> completions = [
...     [
...         {
...             "role": "assistant",
...             "content": r"<think> Reasoning content </think> The final answer is \boxed{\frac{1}{3}}",
...         }
...     ],
...     [
...         {
...             "role": "assistant",
...             "content": r"<think> Reasoning content </think> The final answer is \boxed{\frac{1}{2}}",
...         }
...     ],
...     [
...         {
...             "role": "assistant",
...             "content": r"<think> Reasoning content with partial answers \boxed{\frac{1}{3}} but no final answer",
...         }
...     ],
... ]
>>> reasoning_accuracy_reward(completions, solutions, reasoning_delimiters=reasoning_delimiters)
[1.0, 0.0, 0.0]

دالة مكافأة تُقيّم مكافأة الدقة بناءً على طول الإكمال وفق جدول جيب التمام، بهدف تفضيل الاستدلال الموجز. المرجع: الملحق C.1 من ورقة “Demystifying Long Chain-of-Thought Reasoning” (https://huggingface.co/papers/2502.03373).

يُحدَّد الصواب من خلال التحقق الرياضي (كما في accuracy_reward()), ، والطول هو عدد رموز الإكمال. يقوم المكافأة بالاستيفاء على طول جدول جيب التمام بين حد للإكمال القصير وحد للإكمال الطويل: $$R_{\text{cosine}}(y) = v_{\min} + \frac{1}{2}(v_{\max} - v_{\min})\left(1 + \cos\left(\frac{|y|}{L_{\max}}\pi\right)\right)$$

لإكمال صحيح، $(v{\min}, v{\max}) = (\texttt{min_value_correct}, \texttt{max_value_correct})$، لذا يُكافأ الإكمال الأقصر بشكل أكبر. أما في حالة الإكمال الخاطئ، فتُبدَّل الحدود لتصبح $(v{\min}, v{\max}) = (\texttt{max_value_wrong}, \texttt{min_value_wrong})$، فيُعاقَب الإكمال الأقصر بشكل أكبر (فالإكمال الخاطئ الأطول يُعاقَب بشكل أقل، مما يحافظ على الاستكشاف). وإذا لم يكن بالإمكان تحليل الحل المرجعي، يتم تجاوز المثال (المكافأة None)، كما هو الحال في accuracy_reward().

>>> from trl.rewards import get_cosine_scaled_reward

>>> cosine_scaled_reward = get_cosine_scaled_reward(max_len=100)
>>> completions = [[{"content": r"\boxed{\frac{1}{3}}"}], [{"content": r"\boxed{\frac{1}{2}}"}]]
>>> solution = [r"\frac{1}{3}", r"\frac{1}{3}"]
>>> completion_ids = [[1] * 50, [1] * 50]  # both completions are 50 tokens, half of max_len
>>> cosine_scaled_reward(completions, solution, completion_ids)
[0.75, -0.75]

دالة المكافأة التي تتحقق مما إذا كانت عملية الاستدلال محاطة بوسمي "<think>" و"</think>". تُرجع الدالة مكافأة بقيمة 1.0 إذا كان التنسيق صحيحاً، وإلا فترجع 0.0.

>>> from trl.rewards import think_format_reward

>>> completions = [
...     [{"content": "<think>\nThis is my reasoning.\n</think>\nThis is my answer."}],
...     [{"content": "<think>\nThis is my reasoning.\nThis is my answer."}],
... ]
>>> think_format_reward(completions)
[1.0, 0.0]

دالة مكافأة تعاقب تكرار n-grams في الإكمال، وتُستخدم لتثبيط النصوص المتدهورة والمكررة (وهي نمط فشل شائع واستراتيجية لتلاعب المكافآت عند استخدام مكافآت تُشكّل الطول أو التنسيق). المرجع: الملحق C.2 من ورقة “Demystifying Long Chain-of-Thought Reasoning” (https://huggingface.co/papers/2502.03373).

العقوبة تتناسب مع نسبة n-grams المتكررة في الإكمال: $$R_{\text{repetition}}(y) = \left(1 - \frac{\#\,\text{unique } n\text{-grams}}{\#\,\text{total } n\text{-grams}}\right) \times p$$

حيث $p$ هو max_penalty. يحصل الإكمال الذي لا يحتوي على n-gram متكرر على مكافأة قدرها 0.0, بينما يقترب الإكمال المتكرر بالكامل من max_penalty. تُحسب n-grams على معرّفات رموز الإكمال (يطبّق البحث العقوبة على الرموز المتكررة)، لذا فإن المكافأة معرّفة بواسطة المُرمِّز ومستقلة عن اللغة. تحصل الإكمالات التي تحتوي على أقل من ngram_size رموز على مكافأة قدرها 0.0.

>>> from trl.rewards import get_repetition_penalty_reward

>>> repetition_penalty = get_repetition_penalty_reward(ngram_size=2, max_penalty=-1.0)
>>> completion_ids = [[1, 2, 3, 4], [5, 5, 5, 5, 5]]
>>> repetition_penalty(completion_ids)
[0.0, -0.75]

دالة مكافأة تعاقب الإكمالات الطويلة جدًا. تُستخدم لعقاب الإكمالات الطويلة جدًا، ولكن لا تُكافئ الإكمالات الأقصر. المرجع: المعادلة (13) من ورقة DAPO (https://huggingface.co/papers/2503.14476) $$R_{\text{length}}(y) = \begin{cases} 0, & |y| \le L_{\max} - L_{\text{cache}} \\ \dfrac{(L_{\max} - L_{\text{cache}}) - |y|}{L_{\text{cache}}}, & L_{\max} - L_{\text{cache}} < |y| \le L_{\max} \\ -1, & L_{\max} < |y| \end{cases}$$

>>> from trl.rewards import get_soft_overlong_punishment

>>> soft_overlong_punishment = get_soft_overlong_punishment(max_completion_len=100, soft_punish_cache=20)
>>> completion_ids = [[1] * 90]  # simulating a completion with 90 tokens. 90 is between 80 and 100.
>>> soft_overlong_punishment(completion_ids)
>>> [-0.5]