Self-Hosting

여기에서 저는 새로운 버전의 Ollama가 모델에 얼마나 많은 VRAM을 할당하는지와 이전 버전의 Ollama를 비교하고 있습니다. 새로운 버전은 오히려 더 나빠졌습니다.

이 가이드는 Ubuntu 서버에서 정적 IP 주소 변경 방법을 단계별로 안내합니다.

Ollama은 LLM을 로컬에서 실행하는 데 사용되는 가장 인기 있는 도구 중 하나로 빠르게 자리 잡았습니다. 간단한 CLI와 스트리밍된 모델 관리 기능으로 인해 클라우드 외부에서 AI 모델을 다루고자 하는 개발자들에게 필수적인 선택지가 되었습니다.

Mumble은 주로 실시간 음성 통신을 위해 설계된 무료이고 오픈소스의 음성 통화(VoIP) 애플리케이션입니다. 사용자들이 공유된 서버에 연결하여 서로와 대화할 수 있도록 클라이언트-서버 아키텍처를 사용합니다.

로컬에서 호스팅된 Ollama는 자신의 기계에서 대규모 언어 모델을 실행할 수 있게 해주지만, 명령줄을 통해 사용하는 것은 사용자 친화적이지 않습니다.
다음은 로컬 Ollama에 연결되는 **ChatGPT 스타일 인터페이스**를 제공하는 여러 오픈소스 프로젝트입니다.

GPU 로드 모니터링 애플리케이션: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

3노드 K3s 클러스터의 설치 단계별 가이드를 아래에 제공합니다.
이 가이드는 물리 서버(1 마스터 + 2 워커)에서 실행되는
**3노드 K3s 클러스터 설치**에 대한 것입니다.

자체 호스팅 Kubernetes(self-hosting Kubernetes) 분포를 비교하여, 베어메탈 또는 홈 서버에 호스팅할 때 설치 용이성, 성능, 시스템 요구사항, 기능 세트에 초점을 맞추고 있습니다.

저는 Ubuntu 기반 홈랩에 적합한 3개 노드(각각 16GB RAM, 4코어)를 갖춘 자체 호스팅 Kubernetes 변형을 비교하고 있으며, 설치 및 유지보수가 용이하고, Persistent Volumes(PV) 및 LoadBalancer(LB) 서비스를 지원하는 것을 중심으로 살펴보고 있습니다.

GitHub Actions 는 GitHub 내의 자동화 및 CI/CD 플랫폼으로, 푸시, 풀 리퀘스트, 일정 기반 이벤트 등 특정 이벤트에 따라 코드를 빌드, 테스트, 배포하는 데 사용됩니다.

다음은 Docker Compose 파일과 명령어를 빠르게 습득할 수 있도록 주석이 달린 예제가 포함된 **Docker Compose 치트시트**입니다.

다음은 Obsidian이 **개인 지식 관리(PKM)**를 위한 강력한 도구로서 갖는 역할에 대한 상세한 분석입니다. 여기서는 Obsidian의 아키텍처, 기능, 강점, 그리고 현대적인 지식 워크플로우를 어떻게 지원하는지 설명합니다.

Nvidia 가 곧 NVIDIA DGX Spark를 출시합니다. 128GB 이상의 통합 RAM 과 1 PFLOPS AI 성능을 갖춘 블랙웰 (Blackwell) 아키텍처 기반의 소형 AI 슈퍼컴퓨터입니다. LLM 을 실행하기에 훌륭한 기기입니다.

간단히 살펴보자면,
Matomo, Plausible, Google 및 기타 웹 분석 제공업체 및 시스템
자체 호스팅이 가능한 시스템들을 비교해 보자.

여기 제가 좋아하는 Ubuntu 24.04의 신규 설치에 대한 단계입니다.
여기서 제가 좋아하는 점은 NVidia 드라이버를 설치할 필요가 없으며, 자동으로 설치됩니다.

도큐위키(Dokuwiki)는 자체 호스팅 가능한 위키피디아로, 온프레미스에서 쉽게 호스팅할 수 있으며 데이터베이스가 필요하지 않습니다. 저는 이를 도커화하여(pet) 쿠버네티스 클러스터에서 실행하고 있었습니다.