AI

Здесь я сравниваю, сколько видеопамяти новая версия Ollama выделяет для модели по сравнению с предыдущей версией. Новая версия работает хуже.

Ollama быстро стал одним из самых популярных инструментов для запуска локальных больших языковых моделей. Его простой интерфейс командной строки и упрощенное управление моделями сделали его предпочтительным вариантом для разработчиков, желающих работать с моделями ИИ вне облака. Но как и многие перспективные платформы, уже появляются признаки Enshittification:

Локально установленные сервис Ollama позволяет запускать большие языковые модели на вашем собственном компьютере, но использование его через командную строку не очень удобно. Вот несколько открытых проектов, которые предоставляют интерфейсы в стиле ChatGPT, подключающиеся к локальному Ollama.

Недавно в письме Pragmatic Engineer были опубликованы статистические данные опроса о популярности языков программирования, IDE, инструментов ИИ и других данных на середину 2025 года.

Nvidia готовится к выпуску NVIDIA DGX Spark - небольшого суперкомпьютера для ИИ на архитектуре Blackwell с 128+ ГБ объединённой оперативной памяти и производительностью 1 ПФЛОПС в области ИИ. Отличное устройство для запуска больших языковых моделей.

Поскольку стандартный Ollama не имеет прямого API для переупорядочивания, вам нужно реализовать переупорядочивание с использованием Qwen3 Reranker на GO, генерируя векторы представлений для пар запрос-документ и оценивая их.

Однажды холодным июльским зимним днем в Австралии… я почувствовал срочную необходимость обучить модель ИИ для обнаружения не заглушенных арматурных стержней из бетона…

В этом тесте я сравниваю, как разные LLM, размещённые на Ollama, переводят Hugo-страницу с английского на немецкий.
Три страницы, которые я протестировал, были на разных темах, имели хорошее markdown-форматирование с определённой структурой: заголовки, списки, таблицы, ссылки и т.д.

Этот маленький
Пример кода на Go для reranking вызывает Ollama для генерации вложений
для запроса и для каждого кандидата документа,
затем сортирует по убыванию косинусной схожести.

Как количество линий PCIe влияет на производительность LLM? В зависимости от задачи. Для обучения и многопроцессорного инференса снижение производительности значительное.

В библиотеке моделей Ollama есть модели, способные преобразовывать HTML-контент в Markdown, что полезно для задач конвертации контента.

• Поиск лучше всего подходит для быстрого и прямого извлечения информации с использованием ключевых слов.
• Глубокий поиск превосходит простой поиск, понимая контекст и намерение, обеспечивая более релевантные и комплексные результаты для сложных запросов.

Список здесь некоторых инструментов для кодирования с помощью ИИ и AI Coding Assistants и их приятных сторон.

Использование языковых моделей не очень дорого, возможно, нет необходимости покупать новый мощный GPU. Вот список провайдеров языковых моделей в облаке с моделями, которые они размещают.

У меня есть теория для проверки - если использовать все ядра процессора Intel для повышения скорости LLM Меня беспокоит, что новый модель gemma3 27 бит (gemma3:27b, 17 ГБ на ollama) не помещается в 16 ГБ видеопамяти моего GPU, и частично работает на CPU.

В условиях хаоса современного мира здесь я сравниваю технические характеристики различных карт, подходящих для задач AI (Deep Learning, Обнаружение объектов и LLMs). Однако они все невероятно дорогие.