Bandingkan Docker Model Runner dan Ollama untuk LLM lokal
Menjalankan model bahasa besar (LLMs) secara lokal telah semakin populer untuk privasi, kontrol biaya, dan kemampuan offline. Lanskap berubah secara signifikan pada April 2025 ketika Docker memperkenalkan Docker Model Runner (DMR), solusi resmi mereka untuk pengujian model AI.
Contoh langkah demi langkah
Di sini kita memiliki contoh Python Lambda untuk SQS Message Processor + REST API dengan perlindungan API Key + Terraform skrip untuk mendeploynya untuk eksekusi serverless.
+ Contoh Spesifik Menggunakan LLM Berpikir
Dalam posting ini, kita akan menjelajahi dua cara untuk menghubungkan aplikasi Python Anda ke Ollama: 1. Melalui HTTP REST API; 2. Melalui perpustakaan Ollama Python resmi.
API yang sedikit berbeda memerlukan pendekatan khusus.
Berikut adalah perbandingan dukungan sampingan untuk output terstruktur (mendapatkan JSON yang andal) di berbagai penyedia LLM populer, beserta contoh Python minimal
