RAG

Вот сравнение поддержки структурированного вывода (получение надежного JSON) среди популярных поставщиков LLM, а также минимальные примеры на Python

Большие языковые модели (LLM) мощные, но в производстве мы редко хотим свободноформатных абзацев. Вместо этого нам нужны предсказуемые данные: атрибуты, факты или структурированные объекты, которые можно передать в приложение. Это Структурированный вывод LLM.

Поскольку стандартный Ollama не имеет прямого API для переупорядочивания, вам нужно реализовать переупорядочивание с использованием Qwen3 Reranker на GO, генерируя векторы представлений для пар запрос-документ и оценивая их.

Этот маленький
Пример кода на Go для reranking вызывает Ollama для генерации вложений
для запроса и для каждого кандидата документа,
затем сортирует по убыванию косинусной схожести.

Модели Qwen3 Embedding и Reranker являются последними выпусками в семействе Qwen, специально разработанными для продвинутых задач встраивания текста, извлечения и повторного ранжирования.

• Для прямого аналога Beautiful Soup на Go используйте soup.
• Для поддержки CSS-селекторов рассмотрите goquery.
• Для запросов XPath используйте htmlquery.
• Для другого варианта, вдохновлённого Beautiful Soup, обратите внимание на Node.

Если вы ищете эквивалент Beautiful Soup на Go, несколько библиотек предлагают аналогичную функциональность для разбора и парсинга HTML:

В библиотеке моделей Ollama есть модели, способные преобразовывать HTML-контент в Markdown, что полезно для задач конвертации контента.

Использование языковых моделей не очень дорого, возможно, нет необходимости покупать новый мощный GPU. Вот список провайдеров языковых моделей в облаке с моделями, которые они размещают.

Когда сервер Ollama получает два запроса одновременно, его поведение зависит от настройки и доступных системных ресурсов.

Reranking является вторым этапом в Retrieval Augmented Generation
(RAG) системах,
расположенным между этапами Retrieving и Generating.

Есть ещё несколько общепринятых подходов к написанию хороших промптов, чтобы LLM не запуталась, пытаясь понять, чего вы хотите от неё.

Тестирование поведения моделей с разным количеством параметров и квантования.