Lokale LLMs auf Consumer-Hardware betreiben — Werkzeuge, Messmethoden und Betriebsregeln. Kein Framework, sondern das Minimum, das man braucht, um ein MoE-Modell auf einer Maschine mit zu wenig VRAM sinnvoll zu nutzen.
Der Kern des Repos ist eine Haltung: messen statt schätzen. Jede Zahl hier stammt aus einem Lauf auf echter Hardware, nicht aus einer Modellkarte.
tools/lok.py |
CLI für kleine Aufgaben am lokalen Modell — feste Ausgabeformate, Eskalationsregel, Batch-Modus, Statistik |
tools/detect.py |
misst GPU, RAM und Modell und berechnet die Startparameter — der Grund, warum das Repo auf fremder Hardware funktioniert |
tools/start-llm.ps1 |
Startskript für llama-server unter Windows |
tools/stimme/ |
Text zu Sprache auf derselben Karte — geklonte Stimmen aus 8-KB-Vorlagen, ohne Netz |
docker/ |
dasselbe als Container, für andere Workstations |
docs/ |
Einrichtung, Tuning-Methode, Modell-Wiki |
alita/system.html |
Systemübersicht der Workstation als eine Seite — Hardware, Dienste, Modelle, Messwerte und ein Flussdiagramm; ohne Netz lauffähig, zweisprachig |
alita/ |
ein lokales agentisches System: ein Agent, der unbeaufsichtigt auf Daten arbeitet, die den Rechner nicht verlassen duerfen — Tafel, Wachen, Messwerkzeuge (English) |
# 1. llama.cpp besorgen (siehe docs/01-setup.md)
# 2. Ein GGUF-Modell besorgen
# 3. Maschine vermessen und Profil erzeugen
python tools/detect.py /pfad/zum/modell.gguf -o tools/profiles/$(hostname).json
# 4. Server starten (Windows)
powershell -ExecutionPolicy Bypass -File tools/start-llm.ps1
# 5. Prüfen
python tools/lok.py ping
python tools/lok.py en "Der Server laeuft."
Die grafische Oberfläche musst du nicht installieren: llama-server bringt eine
mit, erreichbar unter http://127.0.0.1:8080.
Was diese Maschine tatsaechlich rechnet, wird getrennt veroeffentlicht – damit dieses Repository ein Werkzeugkasten bleibt und keine Ergebnishalde:
https://mendeltem.github.io/clara_working_station/ – eine Adresse fuer alle Projekte, darunter die WMH-Qualitaetskontrolle (elf Segmentierungs- verfahren je Patient, multiplanar und 3D, ohne externe Anfragen).
Veroeffentlicht wird dort nur, was auf oeffentlichen Datensaetzen gerechnet wurde. Patientendaten und Ergebnisse auf eigenen Kohorten bleiben auf der Maschine.
Die Messungen stammen aus zwei Maschinen. Welche gemeint ist, steht an jeder Zahl — sie sind nicht miteinander vergleichbar.
tools/ und docs/| GPU | RTX 4070 Laptop, 8 GB VRAM |
| CPU | Ryzen 7 7840HS, 8 Kerne / 16 Threads |
| RAM | 31,3 GB DDR5 |
| Modell | Qwen3.6-35B-A3B, GGUF UD-IQ4_XS, 17,7 GB |
| llama.cpp | b10603, CUDA 13.3 |
docs/05-scaffolding.md |
der modellunabhängige Teil: was einen Agenten fertig werden lässt, und wie man ein anderes Modell einsetzt |
Ergebnis nach dem Tuning aus docs/02: 19,4 Token/s beim Decoding, 180-306 Token/s beim warmen Prefill (je nach Promptlaenge und wie warm der Seitencache ist). Ein 35-B-Modell auf einem Laptop mit 8 GB VRAM, interaktiv benutzbar. Das ist der Punkt dieses Repos: ein Modell nutzen, das eigentlich nicht auf die Karte passt.
alita/| GPU | RTX A5000, 24 564 MiB VRAM, Compute Capability 8.6 |
| CPU | Intel i9-12900K, 16 Kerne / 24 Threads |
| RAM | 62 GiB |
| System | Ubuntu 24.04.3, Kernel 6.14, kein sudo |
| Modell | Qwen3.8-27B, GGUF UD-Q4_K_M, 16 GB, 80k Kontext |
Eine Workstation, auf der ein Agent unbeaufsichtigt auf Daten arbeitet, die den
Rechner nicht verlassen dürfen. Hier ist der Engpass nicht die Kartengröße,
sondern dass Sprachmodell und Training gleichzeitig in dieselben 24,5 GiB
müssen: llama-server hält 21 451 MiB, für alles andere bleiben 3 113 MiB.
Die Zahlen der beiden Maschinen taugen nicht zum Vergleich — der Laptop misst, wie weit man mit zu wenig VRAM kommt, Alita misst, was neben einem dauerhaft geladenen Modell noch Platz hat.
Alles in diesem Repo ist maschinenunabhängig. Die maschinenspezifischen Werte
— Pfade, -ncmoe, Threads, Lademodus — stehen in tools/profiles/*.json, werden
von detect.py erzeugt und von .gitignore ausgeschlossen.
Auf einer neuen Workstation kopierst du das Repo, rufst einmal detect.py und
hast ein passendes Profil. Keine Handarbeit, kein Abschreiben von Werten, die
für eine andere GPU galten.