Mistral Small, Gemma 2, Qwen 2.5, Mistral Nemo, LLama3 и Phi — тест LLM
Следующий раунд тестирования LLM
Недавно был выпущен Mistral Small. Давайте посмотрим, как он справляется в сравнении с другими языковыми моделями (тестирование производительности Mistral Small).
Для более подробной информации о пропускной способности, задержках, VRAM и бенчмарках на различных платформах и оборудовании, см. Производительность ЛМ: Бенчмарки, Узкие Места и Оптимизация.
Ранее мы уже проводили:
Как мы тестируем
Здесь мы тестируем способности ЛМ к суммаризации:
- у нас есть 40 образцовых текстов, и мы запускаем ЛМ с промптом Вопрос и Суммаризация (похоже на способ Perplexica)
- суммаризации ранжировались с помощью моделей эмбеддингов
- количество правильных ответов, делённое на общее количество вопросов, даёт нам показатель производительности модели
Результаты теста
Топ-5 мест по среднему проценту правильных ответов:
- 82%: phi3 - 14b-medium-128k-instruct-q4_0
- 81%: llama3.1 - 8b-instruct-q8_0
- 81%: mistral-small - 22b-instruct-2409-q4_0
- 79%: mistral-nemo - 12b-instruct-2407-q6_K
- 79%: llama3.2 - 3b-instruct-q8_0
Все эти модели показали хорошие результаты.
Я бы обратил внимание на группу моделей Mistal. Качество языка немного лучше среднего.
Ещё один момент - небольшая модель 3.2b lama3.2:3b-instruct-q8_0 показала очень хороший результат для своего размера, и она самая быстрая из всех.
Подробные результаты теста
| Название модели, параметры, квантование | Размер | Тест 1 | Тест 2 | Ср. |
|---|---|---|---|---|
| llama3.2:3b-instruct-q8_0 | 4ГБ | 80 | 79 | 79 |
| llama3.1:8b-instruct-q8_0 | 9ГБ | 76 | 86 | 81 |
| gemma2:27b-instruct-q3_K_S | 12ГБ | 76 | 72 | 74 |
| mistral-nemo:12b-instruct-2407-q6_K | 10ГБ | 76 | 82 | 79 |
| mistral-small:22b-instruct-2409-q4_0 | 12ГБ | 85 | 75 | 80 |
| phi3:14b-medium-128k-instruct-q4_0 | 9ГБ | 76 | 89 | 82 |
| qwen2.5:14b-instruct-q5_0 | 10ГБ | 66 | 75 | 70 |
| qwen2.5:32b-instruct-q3_K_S | 14ГБ | 80 | 75 | 77 |
| qwen2.5:32b-instruct-q4_0 | 18ГБ | 76 | 79 | 77 |
| llama3.1:70b-instruct-q3_K_M | 34ГБ | 76 | 75 | 75 |
| qwen2.5:72b-instruct-q4_1 | 45ГБ | 76 | 75 | 75 |
Для более подробных бенчмарков, выбора моделей и настройки производительности, см. наш Хаб по производительности ЛМ: Бенчмарки, Узкие Места и Оптимизация.
