Hastighetstest för stora språkliga modeller
Låt oss testa hastigheten på LLMs på GPU jämfört med CPU
Jämför prediktionshastighet för flera versioner av LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) på CPU och GPU.