テスト: Ollama がインテル CPU のパフォーマンスコアと効率コアをどのように利用しているか
インテルCPUにおけるOllamaの効率コアとパフォーマンスコアの比較
私は理論をテストしたいと思っています - すべてのコアをIntel CPUで使用するとLLMの速度が上がるか?
新しいgemma3 27bitモデル(gemma3:27b、ollama上では17GB)が私のGPUの16GB VRAMに収まらず、部分的にCPU上でも実行されていることが気になります。
インテルCPUにおけるOllamaの効率コアとパフォーマンスコアの比較
私は理論をテストしたいと思っています - すべてのコアをIntel CPUで使用するとLLMの速度が上がるか?
新しいgemma3 27bitモデル(gemma3:27b、ollama上では17GB)が私のGPUの16GB VRAMに収まらず、部分的にCPU上でも実行されていることが気になります。
AIには多くの電力が必要です...
現代の世界の混乱の中でここにいて、さまざまなカードのテクスペックを比較 で、AI のタスクに適したものを確認しています。
(Deep Learning,
オブジェクト検出、
LLMs など)。
しかし、これらはすべて非常に高価です。
オラマを並列リクエストの実行に設定する。
Ollama サーバーが同時に2つのリクエストを受けると、その動作は設定と利用可能なシステムリソースに依存します。
このトレンドのAI支援型コーディングとは何か?
Vibe coding は、開発者が自然言語で望む機能を説明し、AIツールが自動的にコードを生成するという、AI駆動型のプログラミングアプローチです。
2つのdeepseek-r1モデルを2つのベースモデルと比較する
DeepSeekの 1世代目の推論モデルで、OpenAI-o1と同等の性能を備えています。 これは、LlamaおよびQwenに基づいてDeepSeek-R1から蒸留された6つの密なモデルです。
以前にこのOllamaコマンドリストをまとめたことがあります…
以下は、最も役立つ Ollama コマンドのリストと例です([Ollama コマンドのチートシート](https://www.glukhov.org/ja/post/2024/12/ollama-cheatsheet/ “ollama commands cheat sheet”))。
以前にまとめたものです。
あなたにとっても役立つことを願っています。
次のLLMテストラウンド
少し前にもリリースされました。最新の状況を確認し、他のLLMと比較してMistral Smallのパフォーマンスをテストしてみましょう。
RAGのリランキングのPythonコード
テキストから画像を生成する画期的な新しいAIモデル
最近、ブラックフォレスト・ラボズは一連のテキストから画像を生成するAIモデルを公開しました。これらのモデルは、出力品質が非常に高いとされています。試してみましょう
2つのセルフホスト型AI検索エンジンの比較
美味しい料理は目にも楽しめます。 しかし、本記事ではAIに基づく2つの検索システム、FarfalleとPerplexicaを比較します。
ローカルでCopilotスタイルのサービスを実行する?簡単です!
とてもエキサイティングですね!
CopilotやPerplexity.aiにすべてを依頼する代わりに、今やあなた自身のPCやノートPCで同様のサービスをホストできるようになりました!
論理的誤謬の検出をテストする
最近、いくつかの新しいLLMがリリースされました。
非常にエキサイティングな時代です。
それらが論理的誤謬を検出する際のパフォーマンスをテストし、確認してみましょう。
選択肢は多くないが、それでも……。
LLM(大規模言語モデル)のUI(ユーザーインターフェース)に初めて触れた時、それらは積極的に開発中で、今ではいくつかは本当に優れたものとなっています。
いくつかの試行錯誤が必要ですが、
まだ、LLMがあなたの意図を理解しようとする際に混乱しないようにするための、良いプロンプトを書くためのいくつかの一般的なアプローチがあります。
8つのllama3(Meta+)および5つのphi3(Microsoft)LLMバージョン
パラメータ数や量子化の異なるモデルの挙動をテストしています。