Ollama

Локально установленные сервис Ollama позволяет запускать большие языковые модели на вашем собственном компьютере, но использование его через командную строку не очень удобно. Вот несколько открытых проектов, которые предоставляют интерфейсы в стиле ChatGPT, подключающиеся к локальному Ollama.

Поскольку стандартный Ollama не имеет прямого API для переупорядочивания, вам нужно реализовать переупорядочивание с использованием Qwen3 Reranker на GO, генерируя векторы представлений для пар запрос-документ и оценивая их.

В этом тесте я сравниваю, как разные LLM, размещённые на Ollama, переводят Hugo-страницу с английского на немецкий.
Три страницы, которые я протестировал, были на разных темах, имели хорошее markdown-форматирование с определённой структурой: заголовки, списки, таблицы, ссылки и т.д.

Этот маленький
Пример кода на Go для reranking вызывает Ollama для генерации вложений
для запроса и для каждого кандидата документа,
затем сортирует по убыванию косинусной схожести.

Модели Qwen3 Embedding и Reranker являются последними выпусками в семействе Qwen, специально разработанными для продвинутых задач встраивания текста, извлечения и повторного ранжирования.

Как количество линий PCIe влияет на производительность LLM? В зависимости от задачи. Для обучения и многопроцессорного инференса снижение производительности значительное.

В библиотеке моделей Ollama есть модели, способные преобразовывать HTML-контент в Markdown, что полезно для задач конвертации контента.

Список здесь некоторых инструментов для кодирования с помощью ИИ и AI Coding Assistants и их приятных сторон.

У меня есть теория для проверки - если использовать все ядра процессора Intel для повышения скорости LLM Меня беспокоит, что новый модель gemma3 27 бит (gemma3:27b, 17 ГБ на ollama) не помещается в 16 ГБ видеопамяти моего GPU, и частично работает на CPU.

Когда сервер Ollama получает два запроса одновременно, его поведение зависит от настройки и доступных системных ресурсов.

DeepSeek’s первая генерация моделей рассуждений с производительностью, сопоставимой с OpenAI-o1, включая шесть плотных моделей, дистиллированных из DeepSeek-R1 на основе Llama и Qwen.

Вот список и примеры самых полезных команд Ollama (шпаргалка по командам Ollama), которые я собрал некоторое время назад. Надеюсь, это будет полезно и вам тоже.

Недавно был выпущен. Давайте посмотрим, как Mistral Small справляется по сравнению с другими LLMs тестирование производительности Mistral Small по сравнению с другими LLMs.

Reranking является вторым этапом в Retrieval Augmented Generation
(RAG) системах,
расположенным между этапами Retrieving и Generating.

Тестирование, как Perplexica работает с различными LLM, запущенными на локальном Ollama: Llama3, Llama3.1, Hermes 3, Mistral Nemo, Mistral Large, Gemma 2, Qwen2, Phi 3 и Command-r различных квант и выбор Лучший LLM для Perplexica

Вкусная еда - это удовольствие не только для глаз. Но в этом посте мы сравним две системы поиска на основе ИИ, Farfalle и Perplexica.