Comparaison : Qwen3:30b vs GPT-OSS:20b

Voici une comparaison entre Qwen3:30b et GPT-OSS:20b
se concentrant sur le suivi des instructions et les performances, les paramètres, les spécifications et la vitesse :

Architecture et paramètres

Suivi des instructions

• Qwen3:30b-instruct est optimisé pour le suivi des instructions avec une forte alignement des préférences humaines. Il excelle dans l’écriture créative, le rôle-jeu, les dialogues multi-tours et le suivi des instructions multilingues. Cette variante est finement ajustée pour fournir des réponses plus naturelles, contrôlées et engageantes alignées avec les instructions de l’utilisateur.
• GPT-OSS:20b prend en charge le suivi des instructions mais est généralement classé légèrement en dessous de Qwen3:30b-instruct en termes de réglage subtil des instructions. Il fournit des performances comparables en appel de fonction, en sortie structurée et en modes de raisonnement, mais peut être en retard en termes d’alignement conversationnel et de dialogue créatif.

Performance et efficacité

• Qwen3:30b-instruct excelle dans le raisonnement mathématique, le codage, les tâches logiques complexes et les scénarios multilingues couvrant 119 langues et dialectes. Son mode « pensée » permet un raisonnement amélioré mais entraîne des coûts mémoire plus élevés.
• GPT-OSS:20b atteint des performances comparables à celles du modèle o3-mini d’OpenAI. Il utilise moins de couches mais des experts plus larges par couche et une quantification native MXFP4 pour une inférence efficace sur le matériel grand public avec des exigences mémoire plus faibles (~16 Go vs plus élevé pour Qwen3).
• GPT-OSS est environ 33 % plus efficace en termes de mémoire et plus rapide sur certains configurations matérielles, en particulier sur les GPU grand public, mais Qwen3 fournit souvent une meilleure alignement et une profondeur de raisonnement, surtout pour les cas d’utilisation complexes.
• Qwen3 propose une option de longueur de contexte étendue disponible plus longue (jusqu’à 262 144 tokens) par rapport à GPT-OSS 128 000 tokens, ce qui bénéficie aux tâches nécessitant une compréhension de contexte très long.

Recommandation d’utilisation

• Choisissez Qwen3:30b-instruct pour les cas d’utilisation exigeant un suivi d’instructions supérieur, une génération créative, un soutien multilingue et un raisonnement complexe.
• Choisissez GPT-OSS:20b si l’efficacité mémoire, la vitesse d’inférence sur le matériel grand public et les performances compétitives avec moins de paramètres sont prioritaires.

Cette comparaison met en évidence Qwen3:30b-instruct comme un modèle plus profond et plus capable avec un réglage avancé des instructions, tandis que GPT-OSS:20b propose une alternative plus compacte et efficace avec des performances compétitives sur les benchmarks standards.

Les scores de benchmark comparant spécifiquement Qwen3:30b-instruct et GPT-OSS:20b pour le suivi des instructions et les paramètres clés de performance (MMLU, LMEval, HumanEval) ne sont pas directement disponibles dans les résultats de recherche. Cependant, sur la base des rapports existants sur les benchmarks multilingues et multitâches :

MMLU (Massive Multitask Language Understanding)

Difficile de trouver les détails, juste :

• Les modèles de la série Qwen3, en particulier à l’échelle de 30B et au-delà, montrent des scores MMLU forts généralement supérieurs à 89 %, indiquant une compréhension et des capacités de raisonnement très compétitives sur 57 domaines divers.
• GPT-OSS:20b performe également bien sur les benchmarks MMLU mais obtient généralement des scores inférieurs aux modèles Qwen plus grands en raison du nombre de paramètres plus petit et de l’accentuation moindre sur le réglage des instructions.

LMEval (Language Model Evaluation Toolkit)

Pas beaucoup de détails pour l’instant :

• Les modèles Qwen3 montrent une amélioration significative dans les tâches de raisonnement et de codage dans LMEval, avec des scores améliorés en logique, en raisonnement mathématique et en capacités générales.
• GPT-OSS:20b fournit une performance de base solide sur LMEval mais est généralement en retard sur Qwen3:30b-instruct pour les sous-tâches de raisonnement avancé et de suivi des instructions.

HumanEval (Benchmark de génération de code)

Pas beaucoup de données, juste :

• Qwen3:30b-instruct montre de fortes performances sur les benchmarks de génération de code multilingue comme HumanEval-XL, soutenant plus de 20 langages de programmation et fournissant une précision de génération de code interlingue supérieure.
• GPT-OSS:20b, bien que compétitif, performe quelque peu moins bien que Qwen3:30b-instruct dans les benchmarks HumanEval, surtout dans les contextes de programmation multilingue et multilingue en raison d’une formation multilingue moins étendue.

Tableau récapitulatif (tendances approximatives tirées de la littérature) :

Si des chiffres de benchmark précis sont nécessaires, des benchmarks multilingues à grande échelle comme P-MMEval et HumanEval-XL mentionnés dans les articles de recherche récents fournissent des scores détaillés pour les modèles incluant Qwen3 et les variantes comparables GPT-OSS, mais ces derniers ne sont pas actuellement simplifiés publiquement pour une récupération directe de scores côte à côte.

Comparaison de vitesse entre Qwen3:30b et GPT-OSS:20b

Sur mon matériel (16 Go de VRAM) je fais fonctionner Qwen3:30b et GPT-OSS:20b avec une fenêtre de contexte de 4000, et ils produisent :

• qwen3:30b-a3b => 45,68 tokens/s
• gpt-oss:20b => 129,52 tokens/s

Et pour comparaison, j’ai également testé le qwen3:14b et le gpt-oss:120b

• qwen3:14b => 60,12 tokens/s
• gpt-oss:120b => 12,87 tokens/s

Sur des fenêtres de contexte plus longues, la vitesse sera plus lente, dans le cas de qwen3:30b-a3b probablement beaucoup plus lente. C’est à nouveau sur mon PC. Les détails techniques proviennent de la sortie détaillée et de la mémoire allouée ci-dessous, les commandes à essayer :

• ollama run qwen3:30b-a3b –verbose describe weather difference between state capitals in australia
• ollama ps affichant l’allocation de mémoire sur un contexte de 4K

qwen3:30b-a3b

NAME             ID              SIZE     PROCESSOR          CONTEXT    UNTIL
qwen3:30b-a3b    19e422b02313    20 GB    23%/77% CPU/GPU    4096       4 minutes from now
total duration:       28.151133548s
load duration:        1.980696196s
prompt eval count:    16 token(s)
prompt eval duration: 162.58803ms
prompt eval rate:     98.41 tokens/s
eval count:           1188 token(s)
eval duration:        26.007424856s
eval rate:            45.68 tokens/s

qwen3:30b-thinking

NAME         ID              SIZE     PROCESSOR    CONTEXT    UNTIL              
qwen3:30b-thinking    ad815644918f    20 GB    23%/77% CPU/GPU    4096       4 minutes from now
total duration:       1m8.317354579s
load duration:        1.984986882s
prompt eval count:    18 token(s)
prompt eval duration: 219.657034ms
prompt eval rate:     81.95 tokens/s
eval count:           2722 token(s)
eval duration:        1m6.11230524s
eval rate:            41.17 tokens/s

gpt-oss:20b

NAME         ID              SIZE     PROCESSOR    CONTEXT    UNTIL              
gpt-oss:20b    aa4295ac10c3    14 GB    100% GPU     4096       4 minutes from now
total duration:       31.505397616s
load duration:        13.744361948s
prompt eval count:    75 token(s)
prompt eval duration: 249.363069ms
prompt eval rate:     300.77 tokens/s
eval count:           2268 token(s)
eval duration:        17.510262884s
eval rate:            129.52 tokens/s

qwen3:14b

NAME         ID              SIZE     PROCESSOR    CONTEXT    UNTIL              
qwen3:14b    bdbd181c33f2    10 GB    100% GPU     4096       4 minutes from now    
total duration:       36.902729562s
load duration:        38.669074ms
prompt eval count:    18 token(s)
prompt eval duration: 35.321423ms
prompt eval rate:     509.61 tokens/s
eval count:           2214 token(s)
eval duration:        36.828268069s
eval rate:            60.12 tokens/s

gpt-oss:120b

NAME            ID              SIZE     PROCESSOR          CONTEXT    UNTIL
gpt-oss:120b    f7f8e2f8f4e0    65 GB    78%/22% CPU/GPU    4096       2 minutes from now
49GB RAM + 14.4GB VRAM
total duration:       3m59.967272019s
load duration:        76.758783ms
prompt eval count:    75 token(s)
prompt eval duration: 297.312854ms
prompt eval rate:     252.26 tokens/s
eval count:           3084 token(s)
eval duration:        3m59.592764501s
eval rate:            12.87 tokens/s

Variantes de Qwen3:30b

Il existe trois variantes du modèle qwen3:30b disponibles : qwen3:30b, qwen3:30b-instruct et qwen3:30b-thinking.

Principales différences et recommandations

• qwen3:30b-instruct est le meilleur pour les conversations où les instructions de l’utilisateur, la clarté et le dialogue naturel sont prioritaires.
• qwen3:30b est la base générale, adaptée si le suivi des instructions et l’utilisation des outils sont importants sur des tâches diverses.
• qwen3:30b-thinking excelle lorsqu’il s’agit de raisonnement profond, de mathématiques et de codage. Il dépasse les autres dans les tâches mesurant la rigueur logique/mathématique mais n’est pas nécessairement meilleur pour l’écriture créative ou les conversations informelles.

Comparaison directe des benchmarks

Liens utiles

• https://ollama.com/library/qwen3
• https://ollama.com/library/gpt-oss
• Installer et configurer Ollama
• Ollama cheatsheet - commandes les plus utiles
• Contraindre les LLM avec une sortie structurée : Ollama, Qwen3 & Python ou Go
• Intégrer Ollama avec Python : exemples d’API REST et de client Python