Stai pensando di installare una seconda GPU per i modelli LLM?
Come le lane PCIe influenzano le prestazioni degli LLM? Dipende dal compito. Per l’addestramento e l’inferenza multi-GPU, la riduzione delle prestazioni è significativa.
L'AI richiede molto potere...
Nel mezzo del caos del mondo moderno qui sto confrontando le specifiche tecniche di diverse schede adatte a AI compiti (Deep Learning, Object Detection e LLMs). Sono tutte incredibilmente costose però.
L'intero set di strumenti MM* è in fine della vita...
Ho utilizzato MMDetection (mmengine, mdet, mmcv) parecchio, E ora sembra che non sia più disponibile. Peccato. Mi piaceva il suo model zoo.
