Ollama

В этом тесте я сравниваю, как разные LLM, размещённые на Ollama, переводят Hugo-страницу с английского на немецкий.
Три страницы, которые я протестировал, были на разных темах, имели хорошее markdown-форматирование с определённой структурой: заголовки, списки, таблицы, ссылки и т.д.

Этот маленький
Пример кода на Go для переоценки вызывает Ollama для генерации вложений
для запроса и для каждого кандидата документа,
затем сортируя по убыванию косинусной схожести.

Модели Qwen3 Embedding и Reranker являются последними выпусками в семействе Qwen, специально разработанными для продвинутых задач встраивания, извлечения и повторного ранжирования текста.

Как количество линий PCIe влияет на производительность LLM? В зависимости от задачи. Для обучения и многопроцессорного инференса снижение производительности значительное.

В библиотеке моделей Ollama есть модели, способные конвертировать HTML-контент в Markdown,
что полезно для задач преобразования контента.

Список здесь некоторых инструментов для кодирования с помощью ИИ и AI Coding Assistants и их приятных сторон.

У меня есть теория для проверки - если использовать все ядра процессора Intel для повышения скорости LLM Меня беспокоит, что новый модель gemma3 27 бит (gemma3:27b, 17 ГБ на ollama) не помещается в 16 ГБ видеопамяти моего GPU, и частично работает на CPU.

Когда сервер Ollama получает два запроса одновременно, его поведение зависит от настройки и доступных системных ресурсов.

DeepSeek первое поколение моделей рассуждения с сопоставимой производительностью с OpenAI-o1, включая шесть плотных моделей, дистиллированных из DeepSeek-R1 на основе Llama и Qwen.

Вот список и примеры наиболее полезных команд Ollama (Справочник по командам Ollama) Я составил его некоторое время назад. Надеюсь, он будет полезен для вас.

Недавно был выпущен. Давайте посмотрим, как Mistral Small справляется по сравнению с другими LLMs тестирование производительности Mistral Small по сравнению с другими LLMs.

Reranking является вторым этапом в Retrieval Augmented Generation
(RAG) системах,
расположенным между этапами Retrieving и Generating.

Тестирование, как Perplexica работает с различными LLM, запущенными на локальном Ollama: Llama3, Llama3.1, Hermes 3, Mistral Nemo, Mistral Large, Gemma 2, Qwen2, Phi 3 и Command-r различных квант и выбор Лучший LLM для Perplexica

Великолепная еда — это удовольствие для глаз тоже.
Но в этом посте мы сравним две AI-системы поиска, Farfalle и Perplexica.

Это очень вдохновляет!
Вместо того чтобы вызывать copilot или perplexity.ai и рассказывать всему миру, что вы ищете,
теперь вы можете развернуть подобную службу на своем собственном ПК или ноутбуке!