DeepLearning

如何PCIe通道影响大语言模型性能？

这取决于具体任务。对于训练和多GPU推理，性能下降非常明显。

在现代世界纷乱的环境中，我在这里比较不同显卡的技术规格，这些显卡适用于AI任务 (深度学习， 目标检测
和大语言模型）。 不过它们都非常昂贵。

我之前使用过 MMDetection (mmengine, mdet, mmcv)，用得不少，
但现在看起来它似乎已经退出了舞台。
真可惜，我喜欢它的模型库。