Llm

Ollamaによる並行リクエストの処理方法

Ollamaによる並行リクエストの処理方法

Ollamaの並行処理とキューイング、およびOLLAMA_NUM_PARALLELのチューニング方法を通じて、安定した並行リクエストを実現するための理解を深める。

このガイドでは、Ollama が並行リクエスト(同時処理、キューイング、リソース制限)をどのように処理するか、および OLLAMA_NUM_PARALLEL 環境変数(および関連する調整項目)を使用してそれをどのようにチューニングするかを説明します。

Ollama上でDeepseek-R1をテストする

Ollama上でDeepseek-R1をテストする

2つのdeepseek-r1モデルを2つのベースモデルと比較する

DeepSeekの 1世代目の推論モデルで、OpenAI-o1と同等の性能を備えています。 これは、LlamaおよびQwenに基づいてDeepSeek-R1から蒸留された6つの密結合モデルです。

Ollama を使用した Perplexica のセルフホスティング

Ollama を使用した Perplexica のセルフホスティング

ローカルで Copilot 風サービスを実行?簡単です!

それはとても素晴らしいことです! Copilot や Perplexity.ai を呼び出して、世界中に何を求めているかを知られる代わりに、 今ではご自身の PC やラップトップで同様のサービスをホストできるようになりました!

Gemma2 vs Qwen2 vs Mistral Nemo vs...

Gemma2 vs Qwen2 vs Mistral Nemo vs...

論理的誤謬の検出のテスト

最近、いくつかの新しいLLMがリリースされました。
非常にエキサイティングな時代です。
論理的誤謬の検出能力を確認するためにテストしてみましょう。

LLMフロントエンド

LLMフロントエンド

選択肢は多くないが、それでもなお....

LLMの実験を始めた当初は、それらのUIが活発な開発段階にありました。現在では、いくつかのUIが非常に良いものになっています。

LLM用の効果的なプロンプトの作成

LLM用の効果的なプロンプトの作成

いくつかの試行錯誤が必要ですが、

まだ、LLMがあなたの意図を理解しようとする際に混乱しないようにするための、良いプロンプトを書くためのいくつかの一般的なアプローチがあります。

LLMの要約能力の比較

LLMの要約能力の比較

8つのllama3(Meta+)および5つのphi3(Microsoft)LLMバージョン

パラメータ数や量子化の異なるモデルの挙動をテストしています。

Ollamaモデルの保存場所を変更する

Ollamaモデルの保存場所を変更する

OllamaのLLMモデルファイルは大量のストレージ容量を必要とする

ollama をインストールする 後すぐに、ollama の設定を変更してモデルを新しい場所に保存するように再設定するのが望ましいです。これにより、新しいモデルをプルした際に、古い場所にダウンロードされるのを防ぐことができます。

大規模言語モデルの速度テスト

大規模言語モデルの速度テスト

LLMのGPUとCPUでの速度をテストしてみましょう

いくつかのLLM(大規模言語モデル)のバージョン(llama3(メタ/Facebook)、phi3(マイクロソフト)、gemma(グーグル)、mistral(オープンソース))におけるCPUおよびGPUでの予測速度の比較。

LLMを用いた論理的誤謬の検出

LLMを用いた論理的誤謬の検出

さまざまなLLMの論理的誤謬検出の質をテストしましょう

ここではいくつかのLLMバージョンを比較しています:Llama3(Meta)、Phi3(Microsoft)、Gemma(Google)、Mistral Nemo(Mistral AI)、Qwen(Alibaba)。