Ollama

Локально размещённый Ollama позволяет запускать большие языковые модели на вашем собственном устройстве, но использование его через командную строку не очень удобно. Вот несколько открытых проектов, которые предоставляют интерфейсы в стиле ChatGPT, подключающиеся к локальному Ollama.

Поскольку стандартный Ollama не имеет прямого API для пересчета рангов (rerank), вам потребуется реализовать пересчет рангов с использованием Qwen3 Reranker на GO путем генерации эмбеддингов для пар «запрос-документ» и их оценки.

В этом тесте я сравниваю, как разные ЛЛМ, размещенные на Ollama, переводят страницы Hugo на английском языке на немецкий.

Этот небольшой пример кода на Go для пересортировки вызывает Ollama для генерации эмбеддингов для запроса и для каждого кандидата-документа, затем сортирует их по убыванию косинусного сходства.

Модели встраивания и переупорядочивания Qwen3 являются новейшими релизами в семействе Qwen, специально разработанными для продвинутых задач встраивания текста (embedding), поиска и переупорядочивания результатов (reranking).

Как количество PCIe-полос влияет на производительность LLM? Зависит от задачи. Для обучения и многопроцессорной инференции - значительное падение производительности.

В библиотеке моделей Ollama есть модели, способные конвертировать HTML-контент в Markdown, что полезно для задач преобразования контента. Это руководство является частью нашего Инструменты документации в 2026: Markdown, LaTeX, PDF и рабочие процессы печати хаба.

Здесь я перечислю некоторые инструменты для программирования с помощью ИИ и ИИ-ассистентов для написания кода, а также их преимущества.

У меня есть теория, которую нужно проверить - использование всех ядер Intel CPU повысит скорость работы LLMs? (Тест: Как Ollama использует производительность и эффективные ядра Intel CPU)

Меня беспокоит, что новая модель gemma3 27 бит (gemma3:27b, 17ГБ в ollama) не помещается в 16ГБ видеопамяти моей GPU и частично работает на CPU.

Это руководство объясняет, как Ollama обрабатывает параллельные запросы (конкурентность, очереди и лимиты ресурсов), а также как настроить его с помощью переменной среды OLLAMA_NUM_PARALLEL (и других связанных параметров).

DeepSeek’s первая генерация моделей рассуждений с производительностью, сопоставимой с OpenAI-o1, включает шесть плотных моделей, дистиллированных на основе Llama и Qwen.

Этот шпаргалка по Ollama CLI фокусируется на командах, которые вы используете каждый день (ollama ls, ollama serve, ollama run, ollama ps, управление моделями и типовые рабочие процессы), с примерами, которые можно скопировать и вставить.

Недавно был выпущен Mistral Small. Давайте посмотрим, как он справляется в сравнении с другими языковыми моделями (тестирование производительности Mistral Small).

Пересортировка — это второй этап в системах генерации с расширением поиска (RAG) системы, расположенный между этапом извлечения и генерации.

Тестирование, как Perplexica работает с различными LLM, запущенными на локальном Ollama: Llama3, Llama3.1, Hermes 3, Mistral Nemo, Mistral Large, Gemma 2, Qwen2, Phi 3 и Command-r различных квант и выбор Лучший LLM для Perplexica

Вкусная еда доставляет удовольствие и глазам. Однако в этой статье мы сравним две системы поиска на базе ИИ: Farfalle и Perplexica.