LLM

모델 컨텍스트 프로토콜(MCP)은 AI 어시스턴트가 외부 데이터 소스 및 도구와 상호 작용하는 방식을 혁신하고 있습니다. 이 가이드에서는 웹 검색 및 스크래핑 기능에 초점을 맞춘 MCP 서버를 Python으로 구축 방법을 살펴보겠습니다.

HTML을 Markdown으로 변환은 웹 콘텐츠를 대규모 언어 모델(LLM), 문서 시스템, 또는 Hugo와 같은 정적 사이트 생성기로 준비하는 현대 개발 워크플로우에서 근본적인 작업입니다. 이 가이드는 우리의 2026년 문서 도구: Markdown, LaTeX, PDF 및 인쇄 워크플로우 허브의 일부입니다.

Docker Model Runner (DMR)은 2025년 4월에 도입된 Docker의 공식 솔루션으로, 로컬에서 AI 모델을 실행하는 데 사용됩니다. 이 가이드는 모든 필수 명령, 구성 및 최선의 실천 방법을 위한 빠른 참조를 제공합니다.

로컬에서 대규모 언어 모델(LLM) 실행 는 프라이버시, 비용 관리 및 오프라인 기능을 위해 점점 더 인기를 끌고 있습니다. 2025년 4월에 Docker가 Docker Model Runner (DMR), AI 모델 배포를 위한 공식 솔루션을 도입하면서 상황은 크게 변화했습니다.

미래의 AI 는 단순히 더 똑똑한 모델 에 관한 것이 아닙니다. 또한 이러한 모델이 실제로 서비스되는 방식에 맞는 실리콘 (반도체) 에 관한 것입니다. LLM 추론 을 위한 전용 하드웨어는 Bitcoin 채굴에서 GPU 에서 목적-built ASIC 으로 이동하는 경로를 따르고 있지만, 모델과 정밀도 레시피가 계속 진화하기 때문에 더 엄격한 제약 조건을 가지고 있습니다.

NVIDIA DGX Spark 는 실존하며, 2025 년 10 월 15 일에 출시되어 통합 NVIDIA AI 스택을 갖춘 로컬 LLM 작업이 필요한 CUDA 개발자를 대상으로 합니다. 미국 권장 소매가 (MSRP) 는 3,999 달러이며, 영국/독일/일본의 소매가는 부가가치세 (VAT) 와 유통 채널 비용으로 인해 더 높습니다. 호주/한국의 공개 스티커 가격은 아직 널리 발표되지 않았습니다.

다음은 지시 순응도 및 성능 매개변수, 사양, 속도 측면에 초점을 맞춘 Qwen3:30b와 GPT-OSS:20b 간의 비교입니다.

이 포스트에서는 Python 애플리케이션을 Ollama에 연결하는 방법에 대해 두 가지 방법을 소개합니다: 1. HTTP REST API를 통해; 2. 공식 Ollama Python 라이브러리를 통해.

Ollama의 GPT-OSS 모델은 특히 LangChain, OpenAI SDK, vllm과 같은 프레임워크와 함께 사용될 때 구조화된 출력을 처리하는 데 반복적으로 문제가 발생합니다.

다음은 인기 있는 LLM 제공업체 간의 구조화된 출력 (신뢰할 수 있는 JSON 응답) 지원 비교와 최소한의 Python 예제입니다.

대형 언어 모델(LLM) 은 강력한 기능을 가지고 있지만, 실제 프로덕션 환경에서는 자유로운 형식의 단락(free-form paragraphs)을 원하는 경우가 드뭅니다. 대신 우리는 예측 가능한 데이터를 원합니다. 즉, 애플리케이션에 입력할 수 있는 속성, 사실 또는 구조화된 객체를 말입니다. 이것이 바로 LLM 구조화된 출력(Structured Output)입니다.

여기에서 저는 새로운 버전의 Ollama가 모델에 얼마나 많은 VRAM을 할당하는지와 이전 버전의 Ollama를 비교하고 있습니다. 새로운 버전은 오히려 더 나빠졌습니다.

Ollama은 LLM을 로컬에서 실행하는 데 사용되는 가장 인기 있는 도구 중 하나로 빠르게 자리 잡았습니다. 간단한 CLI와 스트리밍된 모델 관리 기능으로 인해 클라우드 외부에서 AI 모델을 다루고자 하는 개발자들에게 필수적인 선택지가 되었습니다.

로컬에서 호스팅된 Ollama는 자신의 기계에서 대규모 언어 모델을 실행할 수 있게 해주지만, 명령줄을 통해 사용하는 것은 사용자 친화적이지 않습니다.
다음은 로컬 Ollama에 연결되는 **ChatGPT 스타일 인터페이스**를 제공하는 여러 오픈소스 프로젝트입니다.

Nvidia 가 곧 NVIDIA DGX Spark를 출시합니다. 128GB 이상의 통합 RAM 과 1 PFLOPS AI 성능을 갖춘 블랙웰 (Blackwell) 아키텍처 기반의 소형 AI 슈퍼컴퓨터입니다. LLM 을 실행하기에 훌륭한 기기입니다.

여기에는 **Model Context Protocol (MCP)**에 대한 설명과 Go로 작성된 MCP 서버를 구현하는 방법에 대한 간단한 노트, 메시지 구조 및 프로토콜 명세가 포함되어 있습니다.