自托管 Cognee:LLM 性能测试
使用本地LLM测试Cognee - 实际效果
Cognee 是一个 Python 框架,用于使用 LLM 从文档中构建知识图谱。 但它能与自托管模型一起使用吗?
使用本地LLM测试Cognee - 实际效果
Cognee 是一个 Python 框架,用于使用 LLM 从文档中构建知识图谱。 但它能与自托管模型一起使用吗?
关于自托管Cognee中使用LLM的思考
选择 最适合 Cognee 的 LLM 需要平衡图构建质量、幻觉率和硬件限制。
Cognee 在使用较大且低幻觉模型(32B+)时表现优异,例如通过 Ollama,但中等规模的模型也适用于较轻量的设置。
使用 Python 和 Ollama 构建 AI 搜索代理
Ollama 的 Python 库现在包含原生的 OLlama 网络搜索 功能。只需几行代码,你就可以使用网络上的实时信息增强本地 LLM,从而减少幻觉并提高准确性。
为你的RAG堆栈选择合适的向量数据库
选择合适的向量数据库可以决定你的RAG应用的性能、成本和可扩展性。这篇全面的比较涵盖了2024-2025年最受欢迎的选项。
使用 Go 和 Ollama 构建 AI 搜索代理
Ollama 的 Web 搜索 API 可以让您将本地 LLM 与实时网络信息相结合。本指南将向您展示如何在 Go 中实现 网络搜索功能,从简单的 API 调用到功能齐全的搜索代理。
掌握本地LLM部署,对比12+工具
本地部署大型语言模型 随着开发人员和组织寻求增强的隐私性、减少延迟和对AI基础设施的更大控制权,变得越来越流行。
在预算硬件上部署企业级AI,使用开放模型
人工智能的民主化已经到来。
借助像 Llama 3、Mixtral 和 Qwen 这样的开源大语言模型(LLM),团队现在可以使用消费级硬件构建强大的 AI 基础设施 - 在降低成本的同时,仍能完全控制数据隐私和部署。
LongRAG、Self-RAG、GraphRAG - 下一代技术
检索增强生成(RAG) 已经远远超越了简单的向量相似性搜索。 LongRAG、Self-RAG 和 GraphRAG 代表了这些能力的前沿。
通过智能令牌优化,将大语言模型成本降低80%
令牌优化是区分成本效益高的LLM应用与耗费预算的实验的关键技能。
用 Python 将 HTML 转换为干净、适合大语言模型处理的 Markdown
将HTML转换为Markdown是现代开发工作流程中的基本任务,特别是在为大型语言模型(LLMs)、文档系统或静态站点生成器(如Hugo)准备网页内容时。
将 Ollama 与 Go 集成:SDK 指南、示例及生产最佳实践。
本指南全面概述了可用于 Ollama 的 Go SDK,并比较了它们的功能集。
比较这两个模型的速度、参数和性能
以下是 Qwen3:30b 和 GPT-OSS:20b 的比较,重点聚焦于指令遵循和性能参数、规格和速度:
使用思考型大语言模型的具体示例
在本文中,我们将探讨两种连接您的 Python 应用程序到 Ollama 的方法:1. 通过 HTTP REST API;2. 通过 官方 Ollama Python 库。
略有不同的 API 需要特殊处理。
以下是结构化输出在主流大语言模型(LLM)提供商之间的对比,以及一些Python示例:
从Ollama获取结构化输出的几种方法
大型语言模型(LLMs) 功能强大,但在生产环境中,我们很少希望得到自由形式的段落。 相反,我们希望获得可预测的数据:属性、事实或可以输入到应用程序中的结构化对象。 这就是LLM结构化输出。
实现 RAG?这里有一些 Go 代码片段 - 2...
由于标准 Ollama 没有直接的重排序 API,
您需要通过生成查询-文档对的嵌入向量并对其进行评分来实现 使用 Qwen3 重排序器在 GO 中进行重排序。