Self-Hosting

Вот краткая информация о Write.as / WriteFreely - как это вписывается в fediverse, где можно получить управляемый хостинг, как выглядит тенденция использования, и как развернуть самостоятельно (плюс примерные расчеты стоимости).

В этой статье мы рассмотрим два способа подключения вашего Python-приложения к Ollama: 1. Через HTTP REST API; 2. Через официальную библиотеку Ollama для Python.

Proxmox Virtual Environment (Proxmox VE) — это открытая платформа гипервизора типа 1 и оркестрации дата-центров, построенная на основе Debian.

Давайте сравним цены на топовые потребительские видеокарты, которые особенно подходят для работы с большими языковыми моделями (LLM) и искусственным интеллектом в целом. В частности, я рассматриваю цены на RTX-5080 и RTX-5090. Они немного снизились.

Модели GPT-OSS от Ollama (https://www.glukhov.org/ru/llm-performance/ollama/ollama-gpt-oss-structured-output-issues/ “Ollama GPT-OSS”) постоянно сталкиваются с проблемами при работе со структурированным выводом, особенно при использовании с фреймворками вроде LangChain, OpenAI SDK, vllm и другими.

Большие языковые модели (LLM) могут быть мощными инструментами, но в производственных системах мы редко хотим получать свободные текстовые параграфы. Вместо этого нам нужен предсказуемый формат данных: атрибуты, факты или структурированные объекты, которые можно передать в приложение. Об этом как раз и идет речь в статье Структурированный вывод LLM.

Для поклонников KDE Plasma в обсуждениях часто фигурируют две дистрибуции Linux: [Kubuntu и KDE Neon](https://www.glukhov.org/ru/developer-tools/comparisons/kubuntu-vs-kde-neon/ “Kubuntu vs KDE Neon”). На первый взгляд они могут показаться похожими — обе поставляются с KDE Plasma в качестве рабочего стола по умолчанию, обе основаны на Ubuntu и обе дружелюбны к новичкам.

Здесь я сравниваю, сколько VRAM новая версия Ollama выделяет для модели по сравнению с предыдущей версией. Новая версия работает хуже.

Это руководство проведет вас через процесс изменения статического IP-адреса на сервере Ubuntu.

Ollama быстро стал одним из самых популярных инструментов для локального запуска LLM. Его простой CLI и упрощённое управление моделями сделали его выбором номер один для разработчиков, которые хотят работать с ИИ-моделями вне облака.

Mumble — это бесплатное и открытое программное обеспечение для голосовой передачи данных (VoIP), предназначенное в основном для передачи голоса в реальном времени. Оно использует клиент-серверную архитектуру, где пользователи подключаются к общему серверу для общения друг с другом.

Локально размещённый Ollama позволяет запускать большие языковые модели на вашем собственном устройстве, но использование его через командную строку не очень удобно. Вот несколько открытых проектов, которые предоставляют интерфейсы в стиле ChatGPT, подключающиеся к локальному Ollama.

Приложения для мониторинга нагрузки GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Вот пошаговое руководство по установке кластера K3s из 3 узлов на серверах с “голым” железом (1 мастер + 2 рабочих узла).

Сравнение дистрибутивов Kubernetes для саморазвертывания на bare-metal или домашних серверах, с акцентом на простоту установки, производительность, системные требования и функциональность.

Я сравниваю варианты самонастраиваемых Kubernetes, подходящие для хоумлаба на основе Ubuntu с 3 узлами (16 ГБ ОЗУ, 4 ядра каждый), с акцентом на простоте установки и обслуживания, поддержке постоянных томов и LoadBalancers.