Тестирование Cognee с локальными ЛСМ — реальные результаты
Cognee — это фреймворк на Python для создания знаний из документов с использованием LLMs. Но работает ли он с локальными моделями?
Размышления об использовании больших языковых моделей для саморазмещаемого Cognee
Выбор лучшей LLM для Cognee требует баланса между качеством построения графов, уровнем галлюцинаций и ограничениями оборудования. Cognee лучше всего работает с крупными моделями с низким уровнем галлюцинаций (32B+) через Ollama, но средние по размеру варианты подходят для более легких настроек.
AI-поисковые агенты с помощью Python и Ollama
Библиотека Python для Ollama теперь включает в себя нативные возможности поиска в интернете с Ollama. С несколькими строками кода вы можете дополнить свои локальные LLMs актуальной информацией из интернета, снижая вероятность галлюцинаций и повышая точность.
Выберите подходящую векторную базу данных для вашего стека RAG
Выбор правильного векторного хранилища может существенно повлиять на производительность, стоимость и масштабируемость вашего приложения RAG. Это всестороннее сравнение охватывает наиболее популярные варианты в 2024-2025 годах.
AI-поисковые агенты с использованием Go и Ollama
Ollama’s Web Search API позволяет дополнять локальные LLMs актуальной информацией из интернета. Это руководство показывает, как реализовать возможности веб-поиска на Go, от простых API-запросов до полнофункциональных поисковых агентов.
Освойте локальное развертывание языковых моделей с сравнением 12+ инструментов
Локальное развертывание LLMs стало increasingly popular, так как разработчики и организации стремятся к повышенной конфиденциальности, снижению задержек и большему контролю над своей инфраструктурой ИИ.
Развертывание корпоративного ИИ на бюджетном оборудовании с открытыми моделями
Демократизация ИИ уже здесь. С открытыми моделями ИИ с открытым исходным кодом, такими как Llama 3, Mixtral и Qwen, которые теперь соперничают с проприетарными моделями, команды могут создавать мощную инфраструктуру ИИ с использованием потребительского оборудования - снижая затраты, сохраняя при этом полный контроль над конфиденциальностью данных и развертыванием.
LongRAG, Self-RAG, GraphRAG — Технологии следующего поколения
Retrieval-Augmented Generation (RAG) эволюционировал далеко за пределы простого поиска по вектору сходства. LongRAG, Self-RAG и GraphRAG представляют собой передовой край этих возможностей.
Сократите затраты на LLM на 80% благодаря умной оптимизации токенов
Оптимизация токенов — это критический навык, отличающий экономически эффективные приложения на основе LLM от экспериментов, разоряющих бюджет.
Python для преобразования HTML в чистый, готовый для LLM Markdown
Преобразование HTML в Markdown — это фундаментальная задача в современных разработческих процессах, особенно при подготовке веб-контента для больших языковых моделей (LLM), систем документации или статических генераторов сайтов, таких как Hugo.
Интеграция Ollama с Go: руководство по SDK, примеры и лучшие практики для продакшена.
Это руководство предоставляет всесторонний обзор доступных Go SDK для Ollama и сравнивает их функциональные возможности.
Сравнение скорости, параметров и производительности этих двух моделей
Вот сравнение между Qwen3:30b и GPT-OSS:20b с акцентом на выполнение инструкций и параметры производительности, спецификации и скорость:
+ Конкретные примеры использования мыслящих ЛЛМ
В этой статье мы рассмотрим два способа подключения вашего Python-приложения к Ollama: 1. Через HTTP REST API; 2. Через официальную библиотеку Ollama для Python.
Немного отличающиеся API требуют особого подхода.
Вот сравнение поддержки структурированного вывода (получение надежного JSON) среди популярных поставщиков LLM, а также минимальные примеры на Python
Несколько способов получения структурированного вывода из Ollama
Большие языковые модели (LLM) мощные, но в производстве мы редко хотим свободноформатных абзацев. Вместо этого нам нужны предсказуемые данные: атрибуты, факты или структурированные объекты, которые можно передать в приложение. Это Структурированный вывод LLM.
Реализуете RAG? Вот несколько фрагментов кода на Go - 2...
Поскольку стандартный Ollama не имеет прямого API для переупорядочивания, вам нужно реализовать переупорядочивание с использованием Qwen3 Reranker на GO, генерируя векторы представлений для пар запрос-документ и оценивая их.
