
Тест скорости больших языковых моделей
Давайте протестируем скорость моделей крупных языков на GPU по сравнению с CPU.
Сравнение скорости предсказания нескольких версий LLM: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (открытый исходный код) на процессоре и видеокарте.