Pro
GEEKOM A9 Mega 64 GB
Dieselbe Speicherbandbreite wie das Topmodell, etwas weniger GPU-Einheiten. Für LLM-Inferenz macht das kaum einen Unterschied.
Welche Modelle laufen
| Modell | Braucht | tok/s | Urteil |
|---|---|---|---|
Gemma 4 E2B 2B | 5 GB | ~83 | flüssig |
Phi-4 Mini 3,8B | 5.5 GB | ~67 | flüssig |
Llama 3.1 8B 8B | 7.9 GB | ~34 | flüssig |
Qwen3 8B 8B | 8.2 GB | ~32 | flüssig |
Gemma 3 12B 12B | 11.1 GB | ~21 | flüssig |
Phi-4 14B 14B | 12.1 GB | ~18 | brauchbar |
Qwen3 14B 14B | 12.3 GB | ~18 | brauchbar |
gpt-oss-20b 21B, 3,6B aktiv | 16 GB | ~69 | flüssig |
Devstral Small 24B 24B | 17 GB | ~12 | brauchbar |
Mistral Small 3.2 24B | 18 GB | ~11 | brauchbar |
Gemma 4 26B 26B, 4B aktiv | 19 GB | ~64 | flüssig |
Gemma 3 27B 27B | 20 GB | ~10 | brauchbar |
Qwen3.8 27B 27B | 20 GB | ~10 | brauchbar |
Qwen3 30B-A3B 30B, 3B aktiv | 22 GB | ~83 | flüssig |
Qwen3-Coder 30B 30B, 3B aktiv | 22 GB | ~83 | flüssig |
Laguna XS 2.1 33B, 3B aktiv | 23 GB | ~83 | flüssig |
Qwen3 32B 32B | 23 GB | ~8 | brauchbar |
Llama 3.3 70B 70B | 45.5 GB | ~4 | zäh |
Llama 4 Scout 109B, 17B aktiv | 70 GB | – | passt nicht |
gpt-oss-120b 117B, 5B aktiv | 68 GB | – | passt nicht |
GLM-4.5 Air 106B, 12B aktiv | 71 GB | – | passt nicht |
Qwen3 235B-A22B 235B, 22B aktiv | 145 GB | – | passt nicht |
tok/s für einen Nutzer, 4-Bit-Quantisierung, geschätzt aus 256 GB/s Bandbreite. Noch keine eigenen Messwerte für dieses Gerät.