Pensando em instalar uma segunda GPU para LLMs?
Como os canais PCIe afetam o desempenho dos LLM? Dependendo da tarefa. Para treinamento e inferência com múltiplos GPUs - a queda de desempenho é significativa.
A IA exige muita potência...
No meio do caos do mundo moderno aqui estou comparando especificações técnicas de diferentes cartas adequadas para tarefas de IA
(Deep Learning,
Detecção de Objetos
e LLMs).
Elas são todas incrivelmente caras, no entanto.
Todo o conjunto de ferramentas MM* está em EOL...
Usei bastante o MMDetection (mmengine, mdet, mmcv), E agora parece que está fora do jogo. É uma pena. Gostei do seu zoo de modelos.
