Self-Hosting

В этом тесте я сравниваю, как разные LLM, размещённые на Ollama, переводят Hugo-страницу с английского на немецкий.
Три страницы, которые я протестировал, были на разных темах, имели хорошее markdown-форматирование с определённой структурой: заголовки, списки, таблицы, ссылки и т.д.

Этот маленький
Пример кода на Go для переоценки вызывает Ollama для генерации вложений
для запроса и для каждого кандидата документа,
затем сортируя по убыванию косинусной схожести.

Просто три месяца назад мы не видели RTX 5090 в магазинах, а теперь они здесь, но цены немного выше, чем MRSP.
Давайте сравним самые низкие цены на RTX 5080 и RTX 5090 в Австралии и посмотрим, как обстоят дела.

YaCy — это децентрализованный, peer-to-peer (P2P) поисковик разработан для работы без централизованных серверов, позволяя пользователям создавать локальные или глобальные индексы и выполнять поиски, запрашивая информацию у распределённых узлов.

Самая продвинутая автоматизированная система для потрясающей работы.

Модели Qwen3 Embedding и Reranker являются последними выпусками в семействе Qwen, специально разработанными для продвинутых задач встраивания, извлечения и повторного ранжирования текста.

Долгое время меня мучила эта навязчивая идея поместить превью-изображения страниц в статический каталог.
Это касается тем Mainroad, Rodster и подобных.

Как количество линий PCIe влияет на производительность LLM? В зависимости от задачи. Для обучения и многопроцессорного инференса снижение производительности значительное.

Следующим шагом будет реализация некоторых CI/CD и настройка
Настройка Gitea Actions для сайта Hugo, чтобы загрузить сайт в AWS S3
автоматически, когда ветка master обновляется.

В библиотеке моделей Ollama есть модели, способные конвертировать HTML-контент в Markdown,
что полезно для задач преобразования контента.

Список здесь некоторых инструментов для кодирования с помощью ИИ и AI Coding Assistants и их приятных сторон.

У меня есть теория для проверки - если использовать все ядра процессора Intel для повышения скорости LLM Меня беспокоит, что новый модель gemma3 27 бит (gemma3:27b, 17 ГБ на ollama) не помещается в 16 ГБ видеопамяти моего GPU, и частично работает на CPU.

MinIO предоставляет два стандартных интерфейса: (1) MinIO Console - это веб-интерфейс, и (2) Команда MinIO - это командная строка util mc.

MinIO — это открытая, высокопроизводительная, распределенная система хранения объектов, полностью совместимая с API Amazon S3.

В условиях хаоса современного мира здесь я сравниваю технические характеристики различных карт, подходящих для задач AI (Deep Learning, Обнаружение объектов и LLMs). Однако они все невероятно дорогие.