AI

Tensorflowを用いたオブジェクト検出

Tensorflowを用いたオブジェクト検出

以前、オブジェクト検出AIのトレーニングを行いました。

ある寒い冬の7月の日… その日はオーストラリアにいた… 私は、未封のコンクリート補強筋を検出するためのAIモデルを訓練するという緊急の必要性を感じた…

クラウドLLMプロバイダーズ

クラウドLLMプロバイダーズ

LLMプロバイダーの短いリスト

LLMを使用することは非常に高価ではありません。新しい高性能なGPUを購入する必要がないかもしれません。LLMプロバイダーの一覧は、クラウド上のLLMプロバイダー で確認できます。それぞれが提供しているLLMについても記載されています。

テスト: Ollama がインテル CPU のパフォーマンスコアと効率コアをどのように利用しているか

テスト: Ollama がインテル CPU のパフォーマンスコアと効率コアをどのように利用しているか

インテルCPUにおけるOllamaの効率的なコアとパフォーマンスコアの比較

私はある仮説をテストしたいと思っています。すなわち、「インテルCPUのすべてのコアを活用することで、LLMの速度が向上するか?」というものです。このテストについては、ALL cores on Intel CPU would raise the speed of LLMs?をご覧ください。

新しいgemma3 27bitモデル(gemma3:27b、ollama上では17GB)が私のGPUの16GB VRAMに収まらず、部分的にCPU上での実行に頼っているという点が気になります。

Ollamaが並列リクエストをどのように処理するか

Ollamaが並列リクエストをどのように処理するか

Ollamaの並行処理、キューイングの仕組み、および安定した並列リクエストを実現するためのOLLAMA_NUM_PARALLELのチューニング方法について理解する。

このガイドでは、Ollamaが並列リクエストをどのように処理するか(並行処理、キューイング、リソース制限)および**OLLAMA_NUM_PARALLEL環境変数**(および関連する設定)を使用してチューニングする方法を説明します。

Ollama上でDeepseek-R1をテストする

Ollama上でDeepseek-R1をテストする

2つのdeepseek-r1モデルを2つのベースモデルと比較する

DeepSeekの 1世代目の推論モデルで、OpenAI-o1と同等の性能を備えています。 これは、LlamaおよびQwenに基づいてDeepSeek-R1から蒸留された6つの密結合モデルです。