Buckets:

---

kamjke

/

sud_resh_evaluated_llms_answers-bucket

📊 Результаты Оценки Больших Языковых Моделей на Бенчмарке Судебных Решений

В данном документе представлен анализ производительности 15 больших языковых моделей (LLM), протестированных на специализированном бенчмарке, который включает 105 000 записей из судебных решений России. Оценка проводилась по 10 различным категориям права (например, трудовое, уголовное, гражданское) и 7 типам инструкций (например, изложение исковых требований, анализ доказательств, итоговое решение).

Ответы моделей оценивались с помощью отдельной модели-оценщика по трем ключевым критериям:

• Точность (Accuracy): Насколько ответ соответствует фактам и контексту исходного документа.
• Полнота (Completeness): Отражены ли в ответе все существенные аспекты.
• Ясность (Clarity): Насколько ответ понятен, логичен и хорошо структурирован.

Дополнительно измерялись технические показатели, такие как время генерации и длина ответа.

🏆 Общий Рейтинг Моделей

Лидерами бенчмарка стали модели семейства DeepSeek. Они показали лучшие средние оценки, незначительно опережая конкурентов. Модель T-pro-it-1.0 также продемонстрировала высокие результаты, заняв третье место с минимальным отставанием.

Все оценки приведены по 10-балльной шкале.