AI

Ollama가 동시 요청을 처리하는 방식

Ollama가 동시 요청을 처리하는 방식

Ollama의 동시성, 큐잉, 그리고 안정적인 병렬 요청을 위한 OLLAMA_NUM_PARALLEL 튜닝 방법을 이해합니다.

이 가이드는 Ollama가 병렬 요청을 처리하는 방식(동시성, 대기열, 리소스 한계)과 OLLAMA_NUM_PARALLEL 환경 변수(및 관련 설정)를 사용하여 이를 조정하는 방법을 설명합니다.

Ollama에서 Deepseek-R1 테스트

Ollama에서 Deepseek-R1 테스트

두 개의 deepseek-r1 모델을 두 개의 기본 모델과 비교합니다.

DeepSeek’s 첫 세대 추론 모델로, OpenAI-o1과 유사한 성능을 보입니다. 이 모델은 Llama와 Qwen을 기반으로 한 DeepSeek-R1에서 추출한 6개의 밀집 모델입니다.

팔팔레 대 퍼플렉시카

팔팔레 대 퍼플렉시카

두 개의 자체 호스팅 AI 검색 엔진 비교

아름다운 음식은 눈으로도 즐길 수 있는 즐거움입니다. 하지만 이번 포스팅에서는 두 가지 AI 기반 검색 시스템인 Farfalle 와 Perplexica 를 비교해 보겠습니다.

Ollama 를 활용한 Perplexica 자체 호스팅

Ollama 를 활용한 Perplexica 자체 호스팅

로컬에서 코파일럿 스타일 서비스를 실행하시나요? 간단합니다!

정말 흥미진진합니다!

코파일럿 (Copilot) 이나 perplexity.ai 에 접속하여 전 세계에 당신의 의도를 알릴 필요 없이, 이제 자신의 PC 나 노트북에서 유사한 서비스를 직접 호스팅할 수 있습니다!

Gemma2 vs Qwen2 vs Mistral Nemo vs...

Gemma2 vs Qwen2 vs Mistral Nemo vs...

논리적 오류 탐지 테스트

최근 몇몇 새로운 LLM이 출시되었습니다. 흥미로운 시기입니다. 논리적 오류를 감지하는 데 이 모델들이 어떻게 수행되는지 테스트해 보겠습니다.

LLM 프론트엔드

LLM 프론트엔드

선택지가 많지는 않지만 그래도....

LLM 실험을 처음 시작했을 당시, 관련 UI는 활발하게 개발 중이었으며 현재는 그 중 일부가 매우 우수합니다.