- Aktenzeichen
- BEO-2026-005
- Eingang
- Rubrik
- Technik KI und Technik
- Einstufung
- offen
- Verfasser
- M.V.R.H.S.Rufname
- Bearbeiter
Lokale KI: Warum ein schneller Benchmark noch kein Leistungsversprechen ist
.-. .-.
/ \ / \
| / \ | | / \ |
|| || || ||
|| || || ||
.-' ' - ' '-.
,' .--. .--. '.
.-. | _ | ___ | _ | ,.-.
( \ .(_).' \ / .(_).' / )
>- '--------\_|_/--------' -<
(_ .-------------------------. _)
`--- ---'-,
/ .-'''-. ';
; / ', \ Rabbit of
) / - y=, Caerbannog
_/ / /\ ' ; c
((((_/(((_______/_;,v=" ldb
ehrung an monty python. ascii-zeichnung von laura brown (ldb), via asciiart.website.
161611Z oct 26 · 51.7275 N, 11.5148 E
Ein Sprachmodell auf dem eigenen Rechner oder Smartphone betreiben: Genau darum geht es bei lokaler KI-Inferenz. Inferenz bedeutet, dass ein bereits trainiertes Modell eine Eingabe verarbeitet und eine Antwort erzeugt. Mit der Software llama.cpp lässt sich das auf unterschiedlichen Geräten umsetzen.
Ich beobachte dafür Entwicklungen, die für meine Radeon RX 6800 XT mit 16 GB Grafikspeicher und meinen Pixel-7-Pro-Edge-Server interessant sind. Beim Recherchelauf vom 16. Oktober 2026 fiel ein Bericht auf, der zeigt, wie vorsichtig man Leistungszahlen lesen sollte.
Was wurde gemessen?
Ein Nutzer untersuchte auf einer Radeon RX 7900 XTX mit 24 GB Grafikspeicher, warum llama.cpp lange Eingaben langsamer verarbeitete als erwartet. Er verwendete Linux, das Vulkan-Backend und ein komprimiertes Qwen-Modell mit 27 Milliarden Parametern.
Im Abschlussbericht vom 14. Oktober verglich er zwei Durchläufe mit derselben Eingabe von ungefähr 60.000 Tokens. Tokens sind die Texteinheiten, mit denen ein Sprachmodell arbeitet, beispielsweise Wörter oder Wortteile.
Der Unterschied zwischen den Durchläufen: ReBAR war einmal eingeschaltet und einmal ausgeschaltet. ReBAR steht für Resizable BAR und betrifft den Speicherbereich der Grafikkarte, auf den der Prozessor zugreifen kann.
| Eingabelänge | ReBAR an | ReBAR aus |
|---|---|---|
| rund 31.000 Tokens | 839 Tokens/s | 602 Tokens/s |
| rund 58.000 Tokens | 694 Tokens/s | 436 Tokens/s |
Ohne ReBAR trat gegen Ende außerdem ein Treiberabsturz auf. Der Nutzer meldete, dass das zuvor beobachtete Leistungsproblem nach dem Einschalten verschwunden sei.
Diese Zahlen beschreiben die Verarbeitung der Eingabe. Sie sagen nicht, wie schnell das Modell anschließend seine Antwort schreibt.
Was bedeutet das für meine Hardware?
Die getestete RX 7900 XTX gehört zu einer anderen GPU-Generation als meine RX 6800 XT. Deshalb lässt sich daraus kein entsprechender Geschwindigkeitsgewinn für meinen Rechner ableiten.
Auch die Testbedingungen zählen: Modell, Komprimierung, Eingabelänge, Treiber und llama.cpp-Version beeinflussen das Ergebnis. Der Abschlussbericht nennt Build b11606. Es handelt sich um einen dokumentierten Community-Test; eine unabhängige Bestätigung des abschließenden ReBAR-Vergleichs liegt in dieser Recherche nicht vor.
Gegenüber meiner Referenz vom 14. Oktober liefert der Bericht damit einen neuen Hinweis für die Fehlersuche. Einen neuen Leistungsnachweis für meine eigenen Geräte liefert er nicht. Für den Pixel 7 Pro habe ich in diesem Lauf keine ausreichend belastbare neue Primärmessung gefunden.
Was ich daraus mitnehme
Bevor ich Einstellungen ändere, brauche ich eine nachvollziehbare Ausgangsmessung. Erst dann kann ich später prüfen, ob eine Änderung tatsächlich hilft.
Für Studierende und Lehrgangsteilnehmende ist das eine nützliche Grundregel beim Lesen von Benchmarks: Welche Hardware wurde unter welchen Bedingungen getestet – und was wurde tatsächlich gemessen?
Mein bestehendes Setup bleibt unverändert. Es wurden keine Installationen, Konfigurationsänderungen oder eigenen Leistungstests durchgeführt.
Quelle
Horidor