Hardware

NVIDIA 即将发布 NVIDIA DGX Spark - 基于 Blackwell 架构的小型 AI 超级计算机，配备 128GB 以上统一内存和 1 PFLOPS AI 性能。运行大型语言模型（LLMs）的理想设备。

让我们比较顶级消费级GPU的价格，这些GPU特别适合LLM，总体而言也适合AI。

具体来看： RTX 5080和RTX 5090价格。它们略有下降。

仅仅三个月前，我们还看不到RTX 5090在商店里出售，而现在它们已经上市了，但价格略高于MRSP。
让我们来比较一下澳大利亚最便宜的RTX 5080和RTX 5090的价格，看看情况如何。

顶级自动化系统用于某些令人惊叹的工作。

如何PCIe通道影响大语言模型性能？

这取决于具体任务。对于训练和多GPU推理，性能下降非常明显。

我深受这个问题的影响。但如果你的蓝屏（BSOD）和我的情况类似，你应该调查并测试你的电脑。
原因在于 Intel 第 13 代和第 14 代处理器的 CPU 退化问题。

我有一个理论要测试——如果利用所有Intel CPU核心是否能提高LLMs的速度？。
困扰我的是，新的gemma3 27位模型（gemma3:27b，17GB在ollama上）无法适应我GPU的16GB显存，部分运行在CPU上。

在现代世界纷乱的环境中，我在这里比较不同显卡的技术规格，这些显卡适用于AI任务 (深度学习， 目标检测
和大语言模型）。 不过它们都非常昂贵。

当 Ollama 服务器同时收到两个请求时，其行为取决于其配置和可用的系统资源。

在 Windows 上安装 ET-8500 的步骤在说明中已有详细记录。
ET-8500 Linux 驱动程序安装 简单但不简单。

比较几种大语言模型（LLMs）版本在CPU和GPU上的预测速度：llama3（Meta/Facebook）、phi3（Microsoft）、gemma（Google）、mistral（开源）。