LLM

В этом тесте я сравниваю, как разные LLM, размещённые на Ollama, переводят Hugo-страницу с английского на немецкий.
Три страницы, которые я протестировал, были на разных темах, имели хорошее markdown-форматирование с определённой структурой: заголовки, списки, таблицы, ссылки и т.д.

Этот маленький
Пример кода на Go для переоценки вызывает Ollama для генерации вложений
для запроса и для каждого кандидата документа,
затем сортируя по убыванию косинусной схожести.

Модели Qwen3 Embedding и Reranker являются последними выпусками в семействе Qwen, специально разработанными для продвинутых задач встраивания, извлечения и повторного ранжирования текста.

Как количество линий PCIe влияет на производительность LLM? В зависимости от задачи. Для обучения и многопроцессорного инференса снижение производительности значительное.

В библиотеке моделей Ollama есть модели, способные конвертировать HTML-контент в Markdown,
что полезно для задач преобразования контента.

• Поиск лучше всего подходит для быстрого и прямого извлечения информации с использованием ключевых слов.
• Глубокий поиск превосходит простой поиск, понимая контекст и намерение, обеспечивая более релевантные и комплексные результаты для сложных запросов.

Список здесь некоторых инструментов для кодирования с помощью ИИ и AI Coding Assistants и их приятных сторон.

Использование LLM не очень дорого, может быть, не нужно покупать новый крутой GPU. Вот список, если поставщики LLM в облаке с LLM, которые они хостят.

У меня есть теория для проверки - если использовать все ядра процессора Intel для повышения скорости LLM Меня беспокоит, что новый модель gemma3 27 бит (gemma3:27b, 17 ГБ на ollama) не помещается в 16 ГБ видеопамяти моего GPU, и частично работает на CPU.

В условиях хаоса современного мира здесь я сравниваю технические характеристики различных карт, подходящих для задач AI (Deep Learning, Обнаружение объектов и LLMs). Однако они все невероятно дорогие.

Когда сервер Ollama получает два запроса одновременно, его поведение зависит от настройки и доступных системных ресурсов.

Vibe coding — это подход к программированию, управляемый искусственным интеллектом, при котором разработчики описывают желаемую функциональность на естественном языке, позволяя инструментам ИИ генерировать код автоматически.

DeepSeek первое поколение моделей рассуждения с сопоставимой производительностью с OpenAI-o1, включая шесть плотных моделей, дистиллированных из DeepSeek-R1 на основе Llama и Qwen.

Вот список и примеры наиболее полезных команд Ollama (Справочник по командам Ollama) Я составил его некоторое время назад. Надеюсь, он будет полезен для вас.

Недавно был выпущен. Давайте посмотрим, как Mistral Small справляется по сравнению с другими LLMs тестирование производительности Mistral Small по сравнению с другими LLMs.