LLM Performance

現代の混乱の最中、私は AI タスクに適した 異なるグラボの仕様を比較 しています (ディープラーニング, オブジェクト検出 および LLM)。 ただし、これらはすべて非常に高価です。

このガイドでは、Ollamaが並行リクエストをどのように処理するか（並行性、キュー잉、リソース制限）と、OLLAMA_NUM_PARALLEL 環境変数（および関連する調整項目）を使用してそれをチューニングする方法について説明します。

ほども前、リリースされました。最新の状況を確認し、Mistral Smallの他のLLMと比較したパフォーマンスをテストしてみましょう。

最近、いくつかの新しいLLMがリリースされました。
非常にエキサイティングな時代です。
論理的誤謬の検出能力を確認するためにテストしてみましょう。

パラメータ数や量子化の異なるモデルの挙動をテストしています。

いくつかのLLM（大規模言語モデル）のバージョン（llama3（メタ/Facebook）、phi3（マイクロソフト）、gemma（グーグル）、mistral（オープンソース））におけるCPUおよびGPUでの予測速度の比較。