Overweegt u een tweede GPU te installeren voor LLMs?
Hoe beïnvloeden PCIe-lanes de prestaties van LLM’s? Afhangend van de taak. Voor training en multi-GPU-inferentie - is de prestatievermindering aanzienlijk.
AI vereist veel kracht...
In het midden van de moderne wereld’s onrust ben ik tech specs van verschillende kaarten vergelijken die geschikt zijn voor AI taken (Deep Learning, Object Detectie en LLMs). Ze zijn allemaal enorm duur, echter.
Het volledige pakket MM*-tools is met EOL...
Ik heb MMDetection (mmengine, mdet, mmcv) vrij veel gebruikt,
en nu lijkt het erop dat het niet meer in gebruik is.
Dat is jammer. Ik vond de modelzoo leuk.
