DevOps

Ollama 는 로컬 데몬으로 취급될 때 가장 잘 작동합니다. CLI 와 애플리케이션이 루프백 HTTP API 와 통신하고, 나머지 네트워크는 그 존재를 전혀 알지 못하는 상태입니다.

Ollama 는 베어 메탈 (bare metal) 환경에서 훌륭하게 작동합니다. 이를 서비스처럼 다룰 때 더욱 흥미로운데, 안정적인 엔드포인트, 고정된 버전, 영구 저장소, 그리고 GPU 가 있거나 없는 명확한 상태를 보장받기 때문입니다.

리버스 프록시 뒤에 Ollama 를 실행하는 것은 HTTPS, 선택적 접근 제어, 예측 가능한 스트리밍 동작을 얻는 가장 간단한 방법입니다.

Apache Flink 는 유계 및 무계 데이터 스트림에 대한 상태 기반 연산을 위한 프레임워크입니다.

Neo4j 는 관계가 곧 데이터일 때 찾아야 할 솔루션입니다. 도메인이 원과 화살표로 가득 찬 화이트보드처럼 보인다면, 이를 테이블로 강제하는 것은 고통스럽습니다.

정적 사이트와 블로그는 배포할 때마다 변경됩니다. IndexNow를 지원하는 검색 엔진 은 다음 맹목적 크롤링을 기다리지 않고도 이러한 변경 사항을 학습할 수 있습니다.

SGLang 은 단일 GPU 에서 분산 클러스터에 이르기까지 저지연 및 고휘도 추론을 제공하도록 설계된 대규모 언어 모델 및 멀티모달 모델용 고성능 서비스 프레임워크입니다.

Apache Kafka 4.2.0 는 현재 지원되는 릴리스 라인이며, Kafka 4.x 는 완전히 ZooKeeper 가 필요 없고 기본적으로 KRaft 를 기반으로 구축되어 있으므로 현대적인 빠른 시작 (Quickstart) 을 위한 최적의 기준선입니다.

곧 vLLM, llama.cpp 등 여러 스택을 각각 다른 포트에서 돌리게 될 것입니다. 하지만 하위 시스템은 여전히 **/v1**이라는 단일 기본 URL 을 원합니다. 그렇지 않으면 포트, 프로필, 일회용 스크립트를 계속 조정해야 합니다. llama-swap은 이러한 스택들 앞에 세워지는 /v1 프록시입니다.

소프트웨어 개발에는 버전 관리를 위한 Git, 컨테이너화를 위한 Docker, 자동화를 위한 bash, 데이터베이스를 위한 PostgreSQL, 그리고 편집을 위한 VS Code 를 포함하여 생산성을 좌우하는 수많은 도구들이 있습니다. 이 페이지는 전체 개발 스택에서 효율적으로 일하기 위해 필요한 필수 치트시트, 워크플로우 및 비교 자료를 모았습니다.

LocalAI 는 자신의 하드웨어 (노트북, 워크스테이션, 온프레미스 서버) 에서 AI 워크로드를 실행하기 위해 설계된 자체 호스팅, 로컬 우선 추론 서버로, OpenAI API 와의 호환성을 제공하여 기존 도구를 그대로 사용할 수 있도록 합니다.

저는 로컬 추론을 위해 llama.cpp를 계속 사용합니다. 이는 Ollama 및 기타 도구가 추상화하는 것을 직접 제어할 수 있게 해주며, 작동이 매우 간단합니다. llama-cli를 사용하여 GGUF 모델을 간단하게 실행하거나 llama-server를 통해 OpenAI-compatible HTTP API를 노출시킬 수 있습니다.

인공지능은 소프트웨어가 작성, 검토, 배포 및 유지되는 방식을 재편하고 있습니다. AI 코딩 어시스턴트부터 GitOps 자동화와 DevOps 워크플로우에 이르기까지, 개발자들은 이제 소프트웨어 수명 주기의 모든 단계에서 AI 기반 도구에 의존하고 있습니다.

OpenCode 는 터미널 (TUI + CLI) 에서 실행할 수 있으며, 선택적으로 데스크톱과 IDE 인터페이스를 지원하는 오픈 소스 AI 코딩 에이전트입니다. 이것이 바로 OpenCode 빠른 시작: 설치, 검증, 모델/공급자 연결, 그리고 실제 워크플로우 (CLI + API) 실행입니다.

Airtable는 주로 협업하는 “데이터베이스처럼” 된 스프레드시트 UI를 기반으로 한 저코드 애플리케이션 플랫폼으로 생각하는 것이 가장 좋습니다. 비개발자들이 친근한 인터페이스를 필요로 하지만, 개발자들도 자동화와 통합을 위한 API 표면이 필요할 때 매우 빠르게 운영 도구를 생성하는 데 적합합니다(내부 트래커, 가벼운 CRM, 콘텐츠 파이프라인, AI 평가 대기열 등).

LLM 추론은 “단순한 API처럼” 보일 수 있지만, 지연 시간이 급격히 증가하고 대기열이 다시 쌓이기 시작하며, GPU가 95% 메모리 사용률에 도달하면서도 명확한 설명이 없을 때 문제가 발생합니다.