Ollama

Ollama yang dihosting secara lokal memungkinkan Anda menjalankan model bahasa besar di mesin Anda sendiri, tetapi menggunakan Ollama melalui baris perintah tidak ramah pengguna.
Berikut beberapa proyek open-source yang menyediakan antarmuka gaya ChatGPT yang menghubungkan ke Ollama lokal.

Karena Ollama standar tidak memiliki API rerank langsung, Anda perlu menerapkan reranking menggunakan Qwen3 Reranker dalam GO dengan menghasilkan embedding untuk pasangan query-dokumen dan memberi skor mereka.

Dalam uji coba ini saya membandingkan bagaimana berbagai LLM yang dihosting di Ollama menerjemahkan halaman Hugo dari bahasa Inggris ke Jerman. Tiga halaman yang saya uji berbeda topiknya, memiliki beberapa markdown yang menarik dengan struktur tertentu: header, daftar, tabel, tautan, dll.

Ini sedikit Contoh kode Go untuk reranking memanggil Ollama untuk menghasilkan embedding untuk query dan setiap dokumen kandidat, kemudian mengurutkan menurun berdasarkan kesamaan kosinus.

Model Qwen3 Embedding dan Reranker adalah rilis terbaru dalam keluarga Qwen, yang dirancang khusus untuk tugas pemrosesan teks lanjutan, pencarian, dan pengurutan ulang.

Bagaimana Jalur PCIe Mempengaruhi Kinerja LLM? Tergantung pada tugasnya. Untuk pelatihan dan inferensi multi-GPU — penurunan kinerja sangat signifikan.

Dalam perpustakaan model Ollama terdapat model yang mampu mengubah konten HTML menjadi Markdown, yang berguna untuk tugas konversi konten.

Akan disebutkan di sini beberapa alat pemrograman yang didukung AI dan Asisten Pemrograman AI beserta keunggulan mereka.

Saya punya teori untuk diuji - jika memanfaatkan semua inti pada CPU Intel akan meningkatkan kecepatan LLM? Ini mengganggu saya bahwa model baru gemma3 27 bit (gemma3:27b, 17GB pada ollama) tidak masuk ke dalam VRAM 16GB GPU saya, dan sebagian berjalan di CPU.

Ketika server Ollama menerima dua permintaan secara bersamaan, perilakunya bergantung pada konfigurasinya dan sumber daya sistem yang tersedia.

Model pertama DeepSeek dengan kemampuan penalaran yang setara dengan OpenAI-o1, termasuk enam model padat yang didistilasi dari DeepSeek-R1 berbasis Llama dan Qwen.

Berikut adalah daftar dan contoh dari perintah Ollama yang paling berguna (cheatsheet perintah Ollama) Saya telah mengumpulkan beberapa waktu yang lalu. Semoga juga akan berguna bagi Anda kepada Anda.

Tidak lama yang lalu telah dirilis. Mari kita mengejar dan uji bagaimana kinerja Mistral Small dibandingkan dengan LLM lainnya.

Reranking adalah langkah kedua dalam Retrieval Augmented Generation (RAG) systems, yang berada tepat di antara Retrieving dan Generating.

Makanan yang luar biasa juga memberikan kesenangan bagi mata Anda. Namun, dalam posting ini kita akan membandingkan dua sistem pencarian berbasis AI, Farfalle dan Perplexica.

Itu sangat menarik! Alih-alih memanggil copilot atau perplexity.ai dan memberi tahu seluruh dunia apa yang Anda cari, sekarang Anda dapat menjalankan layanan serupa di PC atau laptop Anda sendiri!