Hardware

Сравнение пригодности GPU NVidia для ИИ

Сравнение пригодности GPU NVidia для ИИ

Искусственный интеллект требует много мощности...

В условиях хаоса современного мира здесь я сравниваю технические характеристики различных карт, подходящих для задач AI (Deep Learning, Обнаружение объектов и LLMs). Однако они все невероятно дорогие.

Тест скорости больших языковых моделей

Тест скорости больших языковых моделей

Давайте протестируем скорость моделей крупных языков на GPU по сравнению с CPU.

Сравнение скорости предсказания нескольких версий LLM: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (открытый исходный код) на процессоре и видеокарте.