Alita wertet medizinische Bildgebung aus. Auf ihr arbeitet Clara, ein lokales Sprachmodell, als Ausführende — mit einer Wache als einzigem Weg nach draußen und einer gemeinsamen Tafel, über die sie und Claude, das Cloud-Modell, miteinander reden, ohne dass Patientendaten die Maschine verlassen.
Alita analyses medical imaging. On her runs Clara, a local language model, as the executing agent — with a guard as her only way out and a shared blackboard through which she and Claude, the cloud model, talk to each other, without patient data ever leaving the machine.
Die MaschineThe machine
Die eigentliche Grenze ist der Speicher, nicht die Rechenleistung. Entweder das
Sprachmodell läuft, oder ein großes Training — beides zugleich passt nicht in 24,5 GiB.
mri_WMHsynthseg braucht gemessene 54 von 62 GiB RAM und läuft nur allein.
Memory is the real limit, not compute. Either the language model runs or a large
training does — both at once do not fit into 24.5 GiB. mri_WMHsynthseg needs a measured
54 of 62 GiB RAM and runs alone or not at all.
Wie es zusammenhängtHow it fits together
Der Gedanke, der das Ganze trägt: abnahme beurteilt ein Ergebnis nicht
mit einem Modell, sondern zählt nachprüfbare Tatsachen — 170 Dateien da oder nicht, Spalte vorhanden
oder nicht. Damit wandert Urteilsfähigkeit aus dem Modell in ein Textdokument, und das lässt sich
aufbewahren und wiederverwenden.
The idea that carries the whole thing: abnahme does not judge a result
with a model. It counts checkable facts — 170 files present or not, column there or not. Judgement
moves out of the model into a text document, and a text document can be kept and reused.
DiensteServices
Sieben systemd-Benutzerdienste mit Linger — sie überleben Abmelden und Neustart. Alle horchen nur auf Loopback.
Seven systemd user services with linger — they survive logout and reboot. All listen on loopback only.
| Port | Unit | WasWhat |
|---|---|---|
| 8000 | llama-server | Qwen3.8-27B UD-Q4_K_M, 80k Kontextcontext, 20,9 GiB VRAM |
| 8001 | embedding-server | bge-m3 auf CPU, 1024 Dimensionenon CPU, 1024 dimensions |
| 8800 | chat-gui | Chat-Oberflächechat interface |
| 8810 | qc-viewer | QC für SegmentierungsergebnisseQC for segmentation results |
| 8899 | guard-daemon | Ausgangswache — der einzige Weg nach draußenexit guard — the only way out |
| — | dauerlauf | Clara im Dauerbetrieb, arbeitet den Auftragsvorrat abClara running continuously through the job queue |
| — | hermes-gateway | Telegram |
Modelle auf der PlatteModels on disk
| OrtLocation | GrößeSize | InhaltContents |
|---|---|---|
modelle/ | 36 GB | Qwen3.8-27B in Q4 (16 GB) undand Q5 (19 GB), mmproj, Entwurfsmodelldraft model 1,3 GB |
spezialisten/ | 36 GB | MedGemma 4B undand 27B, Qwen3-Coder-30B-A3B |
schnell/ | 8,7 GB | Llama-3.1-8B, Qwen3-4B, Qwen3-1.7B |
embedding/ | 1,8 GB | bge-m3, bge-reranker-v2-m3, Qwen3-Embedding-0.6B |
encoder/ | 1,1 GB | ModernBERT-base, DistilBERT multilingual |
waechter/ | 1,1 GB | Qwen2.5-0.5B für die Laufwachefor the run watchdog |
Nur eines der großen Modelle passt gleichzeitig in den VRAM. Der Wechsel kostet einen Neustart des Servers.
Only one of the large models fits in VRAM at a time. Switching costs a server restart.
Was gemessen wurdeWhat was measured
Was Clara allein geschafft hatWhat Clara achieved on her own
Aus einer Aufgabenbeschreibung und 15 maschinell prüfbaren Abnahmekriterien: ein 2D-U-Net in reinem PyTorch, 762 Zeilen, fünffach kreuzvalidiert über die vorgegebenen Falten, 170 Fälle ausgewertet, dazu ein QC-HTML mit 510 eingebetteten Schnittbildern und null externen Verweisen.
From a task description and 15 machine-checkable acceptance criteria: a 2D U-Net in plain PyTorch, 762 lines, five-fold cross-validated over the given folds, 170 cases evaluated, plus a QC page with 510 embedded slice images and zero external references.
| FalteFold | Dice (val) | EpochenEpochs | ZeitTime | VRAM |
|---|---|---|---|---|
| 1 | 0.4427 | 647 | 1 355 s | 1,844 GiB |
| 2 | 0.7722 | 338 | 1 502 s | 1,844 GiB |
| 3 | 0.7885 | 365 | 1 505 s | 1,844 GiB |
| 4 | 0.7932 | 371 | 1 502 s | 1,844 GiB |
| 5 | 0.7916 | 369 | 1 501 s | 1,844 GiB |
Über alle 170 out-of-fold-Fälle: Dice 0,6669 · Median 0,7147 · Sensitivität 0,6960 · Präzision 0,6799. Öffentliche WMH Segmentation Challenge.
Over all 170 out-of-fold cases: Dice 0.6669 · median 0.7147 · sensitivity 0.6960 · precision 0.6799. Public WMH Segmentation Challenge.
Drei Fehler, die aussahen wie ErfolgThree failures that looked like success
Sie sind der Grund, warum dieses Verzeichnis existiert. Jeder war lautlos.
They are the reason this directory exists. Each one was silent.
1. Eine Datei mit drei ZeichenA three-character file
current-quant stand auf q5. Q5 hat 32 768 Kontext, das
Agentenframework verlangt 64 000 und verweigert den Start. Sichtbar wurde das als Runden von 22,
30 und 9 Minuten, die 63, 0 und 57 Byte Log erzeugten. Sieben steckengebliebene Aufträge, null
abgeschlossene. Modell, Daten und Aufgabe waren in Ordnung.
current-quant said q5. Q5 has a 32,768-token context; the agent
framework requires 64,000 and refuses to start. It showed up as rounds of 22, 30 and 9 minutes
producing 63, 0 and 57 bytes of log. Seven stuck jobs, zero completed. Model, data and task were fine.
2. Eine Wache, die nie bellen konnteA watchdog that could never bark
root ::= "ok_weiter"
| "eskalation_cloud"
Dieser llama.cpp-Build lehnt den Zeilenumbruch vor dem Strich ab —
HTTP 400, failed to parse grammar, bei jedem einzelnen Aufruf. Und der Rückfall bei jedem
Fehler war ok_weiter. Sie hätte für immer „alles in Ordnung“ gesagt, ohne Fehlermeldung,
ohne Log. Eine Wache, deren Ausfall wie Zustimmung aussieht, ist schlimmer als keine, weil sie
Vertrauen erzeugt. Behoben; unentschieden ist jetzt ein eigenes Ergebnis.
This llama.cpp build rejects the line break before the bar —
HTTP 400, failed to parse grammar, on every single call. And the fallback on any error was
ok_weiter. It would have said “all fine” forever, with no error and no log. A watchdog
whose failure looks like approval is worse than none, because it creates trust. Fixed;
undecided is now a separate outcome.
3. FreeSurfer, unsichtbar für den AgentenFreeSurfer, invisible to the agent
agent.sh startet Clara über sg — setgid, und der dynamische Linker
verwirft bei setgid-Programmen jede LD_*-Variable. LD_LIBRARY_PATH kam leer an,
also starben recon-all, mri_convert, samseg und
mri_synthseg an einer fehlenden ITK-Bibliothek — obwohl sie im PATH standen. Der
Selbsttest meldete FreeSurfer als „ok“, weil er ohne sg läuft. Ein grüner Test und ein
blinder Agent.
agent.sh starts Clara through sg — setgid, and the dynamic linker
discards every LD_* variable for setgid programs. LD_LIBRARY_PATH arrived
empty, so recon-all, mri_convert, samseg and
mri_synthseg died on a missing ITK library — although they were on PATH. The self-test
reported FreeSurfer as “ok” because it runs without sg. A green test and a blind agent.
WerkzeugeTools
| — | Was es tutWhat it does |
|---|---|
tafel | an die gemeinsame Tafel anhängen, unter Dateisperreappend to the shared blackboard, under a file lock |
beobachter | VRAM, RAM, Swap messen; meldet verschwundene GPU-Prozesse — den stillen Tod, den weder Log noch Rückgabewert zeigenmeasure VRAM, RAM, swap; reports vanished GPU processes — the silent death neither log nor exit code shows |
abnahme | zählt nachprüfbare Tatsachen statt ein Modell zu fragencounts checkable facts instead of asking a model |
kritiker | liest das Ergebnis als Gutachter gegen die Aufgabereads the result as a reviewer against the task |
antreiber | Abnahme und Kritiker in der Schleife, bis nichts Schweres mehr offen istacceptance and critic in a loop until nothing severe remains |
pruefe-markdown | Wohlgeformtheit statt Anwesenheit — fängt ausgelaufenen Quelltext und verrutschte Tabellenwell-formedness, not presence — catches leaked source and broken tables |
laufwaechter | Stufe 1 deterministisch (NaN, Divergenz, Wiederholung, Stillstand), Stufe 2 mit Modellstage 1 deterministic (NaN, divergence, repetition, stall), stage 2 with a model |
werkzeugtest | prüft in zwei Minuten, ob alles rechnet — nicht, ob es installiert istchecks in two minutes whether everything computes — not whether it is installed |