LLM Performance

大規模言語モデル（LLM）は強力ですが、プロダクション環境では自由形式の段落を欲しがることは稀です。むしろ、アプリケーションに投入できる予測可能なデータ（属性、事実、構造化オブジェクト）が欲しいのです。それがLLM構造化出力です。

ここでは、新しいバージョンのOllamaがモデルに対してどのくらいのVRAMを割り当てているかについて、Ollama VRAM割り当てと以前のOllamaバージョンを比較しています。新しいバージョンは、以前のバージョンよりも劣っています。

PCIeレーン数がLLMのパフォーマンスに与える影響? タスクによって異なります。トレーニングやマルチGPU推論では、パフォーマンスの低下が顕著です。

私はある仮説をテストしたいと思っています。すなわち、「インテルCPUのすべてのコアを活用することで、LLMの速度が向上するか？」というものです。このテストについては、ALL cores on Intel CPU would raise the speed of LLMs?をご覧ください。

新しいgemma3 27bitモデル（gemma3:27b、ollama上では17GB）が私のGPUの16GB VRAMに収まらず、部分的にCPU上での実行に頼っているという点が気になります。

現代の混乱の最中、私は AI タスクに適した異なるグラボの仕様を比較しています (ディープラーニング, オブジェクト検出および LLM)。ただし、これらはすべて非常に高価です。

このガイドでは、Ollama が並行リクエスト（同時処理、キューイング、リソース制限）をどのように処理するか、および OLLAMA_NUM_PARALLEL 環境変数（および関連する調整項目）を使用してそれをどのようにチューニングするかを説明します。

最近、いくつかの新しいLLMがリリースされました。
非常にエキサイティングな時代です。
論理的誤謬の検出能力を確認するためにテストしてみましょう。

パラメータ数や量子化の異なるモデルの挙動をテストしています。

いくつかのLLM（大規模言語モデル）のバージョン（llama3（メタ/Facebook）、phi3（マイクロソフト）、gemma（グーグル）、mistral（オープンソース））におけるCPUおよびGPUでの予測速度の比較。

構造化出力によるLLMの制約：Ollama、Qwen3、PythonまたはGo