Ollama

テスト: Ollama がインテル CPU のパフォーマンスコアと効率コアをどのように利用しているか

テスト: Ollama がインテル CPU のパフォーマンスコアと効率コアをどのように利用しているか

インテルCPUにおけるOllamaの効率的なコアとパフォーマンスコアの比較

私はある仮説をテストしたいと思っています。すなわち、「インテルCPUのすべてのコアを活用することで、LLMの速度が向上するか?」というものです。このテストについては、ALL cores on Intel CPU would raise the speed of LLMs?をご覧ください。

新しいgemma3 27bitモデル(gemma3:27b、ollama上では17GB)が私のGPUの16GB VRAMに収まらず、部分的にCPU上での実行に頼っているという点が気になります。

Ollamaが並列リクエストを処理する方法

Ollamaが並列リクエストを処理する方法

オラマを並列リクエストの実行に設定する。

Ollama サーバーが同時に2つのリクエストを受け取った場合、その動作は設定と利用可能なシステムリソースに依存します。

Ollama上でDeepseek-R1をテストする

Ollama上でDeepseek-R1をテストする

2つのdeepseek-r1モデルを2つのベースモデルと比較する

DeepSeekの 1世代目の推論モデルで、OpenAI-o1と同等の性能を備えています。 これは、LlamaおよびQwenに基づいてDeepSeek-R1から蒸留された6つの密結合モデルです。

Ollama を使用した Perplexica のセルフホスティング

Ollama を使用した Perplexica のセルフホスティング

ローカルで Copilot 風サービスを実行?簡単です!

それはとても素晴らしいことです! Copilot や Perplexity.ai を呼び出して、世界中に何を求めているかを知られる代わりに、 今ではご自身の PC やラップトップで同様のサービスをホストできるようになりました!

Gemma2 vs Qwen2 vs Mistral Nemo vs...

Gemma2 vs Qwen2 vs Mistral Nemo vs...

論理的誤謬の検出のテスト

最近、いくつかの新しいLLMがリリースされました。
非常にエキサイティングな時代です。
論理的誤謬の検出能力を確認するためにテストしてみましょう。

LLM用の効果的なプロンプトの作成

LLM用の効果的なプロンプトの作成

いくつかの試行錯誤が必要ですが、

まだ、LLMがあなたの意図を理解しようとする際に混乱しないようにするための、良いプロンプトを書くためのいくつかの一般的なアプローチがあります。