관측 가능성과 알림을 위한 Go의 slog를 활용한 구조화된 로깅

관측 가능성과 알림을 위한 Go의 slog를 활용한 구조화된 로깅

트레이스에 연결되는 쿼리 가능한 JSON 로그

로그는 시스템이 화재 상태일 때도 여전히 사용할 수 있는 디버깅 인터페이스입니다. 문제는 평문 텍스트 로그는 시간이 지날수록 관리하기 어려워진다는 점입니다. 필터링, 집계, 알림이 필요해지자마자 문장을 파싱하게 됩니다.

GPU 및 영구 모델 스토리지 사용 Docker Compose 기반 Ollama

GPU 및 영구 모델 스토리지 사용 Docker Compose 기반 Ollama

GPU 와 영속성을 갖춘 Compose 우선 Ollama 서버

Ollama 는 베어 메탈 (bare metal) 환경에서 훌륭하게 작동합니다. 이를 서비스처럼 다룰 때 더욱 흥미로운데, 안정적인 엔드포인트, 고정된 버전, 영구 저장소, 그리고 GPU 가 있거나 없는 명확한 상태를 보장받기 때문입니다.

RAG 및 검색을 위한 텍스트 임베딩 - Python, Ollama, OpenAI 호환 API

RAG 및 검색을 위한 텍스트 임베딩 - Python, Ollama, OpenAI 호환 API

RAG 임베딩 - Python, Ollama, OpenAI API.

검색 증강 생성 (RAG)을 공부 중이시라면, 이 섹션에서는 텍스트 임베딩이 무엇인지, 검색 및 검색 (retrieval) 과 어떻게 연관되는지, 그리고 Ollama 또는 OpenAI 호환 HTTP API(많은 llama.cpp 기반 서버에서 제공하는 방식) 를 사용하여 Python에서 두 가지 일반적인 로컬 설정을 호출하는 방법을 쉽게 설명합니다.

Hugo 및 정적 사이트를 위한 Netlify: 가격, 무료 티어 및 대안

Hugo 및 정적 사이트를 위한 Netlify: 가격, 무료 티어 및 대안

Git 기반 배포, CDN, 크레딧 및 트레이드오프

Netlify 는 Hugo 사이트모던 웹 애플리케이션을 프로덕션급 워크플로우로 배포하는 가장 개발자 친화적인 방법 중 하나입니다: 모든 풀 리퀘스트에 대한 미리보기 URL, 원자적 배포, 글로벌 CDN, 그리고 선택적 서버리스 및 엣지 기능을 제공합니다.

OpenAI 호환 로컬 LLM을 위한 llama.swap 모델 스위처 빠른 시작 가이드

OpenAI 호환 로컬 LLM을 위한 llama.swap 모델 스위처 빠른 시작 가이드

클라이언트를 변경하지 않고 로컬 LLM을 핫스왑합니다.

곧 vLLM, llama.cpp 등 여러 스택을 각각 다른 포트에서 관리하게 될 것입니다. 모든 다운스트림 시스템은 여전히 하나의 /v1 기본 URL 을 요구하며, 그렇지 않으면 포트, 프로필, 일회성 스크립트를 계속 조정해야 합니다. llama-swap은 이러한 스택들 앞에 위치한 /v1 프록시입니다.

구독하기

시스템, 인프라, AI 엔지니어링에 관한 새 글을 받아보세요.