Alita · SystemübersichtSystem overview

gemessen am 28.08.2026, nicht geschätztmeasured on 2026-08-28, not estimated

Alita wertet medizinische Bildgebung aus. Auf ihr arbeitet Clara, ein lokales Sprachmodell, als Ausführende — mit einer Wache als einzigem Weg nach draußen und einer gemeinsamen Tafel, über die sie und Claude, das Cloud-Modell, miteinander reden, ohne dass Patientendaten die Maschine verlassen.

Alita analyses medical imaging. On her runs Clara, a local language model, as the executing agent — with a guard as her only way out and a shared blackboard through which she and Claude, the cloud model, talk to each other, without patient data ever leaving the machine.

Die MaschineThe machine

GPU
RTX A5000
24 564 MiB · CC 8.6 · Treiberdriver 550.163.01
CPU
i9-12900K
24 Threadsthreads
RAM
62 GiB
48 GiB verfügbar im Betriebavailable under load
System
Ubuntu 24.04
Kernel 6.14 · kein sudono sudo
VRAM freifree
3 113 MiB
llama-server hält 21 451 MiBllama-server holds 21,451 MiB
PlatteDisk
635 GB
frei von 915 GBfree of 915 GB

Die eigentliche Grenze ist der Speicher, nicht die Rechenleistung. Entweder das Sprachmodell läuft, oder ein großes Training — beides zugleich passt nicht in 24,5 GiB. mri_WMHsynthseg braucht gemessene 54 von 62 GiB RAM und läuft nur allein.

Memory is the real limit, not compute. Either the language model runs or a large training does — both at once do not fit into 24.5 GiB. mri_WMHsynthseg needs a measured 54 of 62 GiB RAM and runs alone or not at all.

Wie es zusammenhängtHow it fits together

AUSSERHALB / OUTSIDE Claude Cloud-Modellhat Netz USB-Stick Transportweg,kein Lager ALITA — kein sudo / no sudo BLACKBOARD beide schreibennur anhängen Wache :8899 Muster + Modell4/4 gesperrt llama-server :8000 Qwen3.8-27B Q4, 80k21 451 von 24 564 MiB Embedding :8001 bge-m3, CPU modelle/schnell Llama-3.1-8BQwen3-4B · 1.7B dauerlaufAuftragsvorrat antreiberbis sauber Clara agent.shführt aus, sieht die Daten abnahme zählt Tatsachen kritikerGutachter laufwaechter Stufe 1 ohne ModellStufe 2 mit ok · abbruch · unentschieden beobachter VRAM · RAM · Swapverschwundene GPU-Prozesse ~/data — ausserhalb des Systembaums sourcedataunveränderlich derivativesErgebnisse workZwischenstand QC :8810 Chat :8800 liest und schreibt geprüfte Frage Modellaufruf Ergebnisse

Der Gedanke, der das Ganze trägt: abnahme beurteilt ein Ergebnis nicht mit einem Modell, sondern zählt nachprüfbare Tatsachen — 170 Dateien da oder nicht, Spalte vorhanden oder nicht. Damit wandert Urteilsfähigkeit aus dem Modell in ein Textdokument, und das lässt sich aufbewahren und wiederverwenden.

The idea that carries the whole thing: abnahme does not judge a result with a model. It counts checkable facts — 170 files present or not, column there or not. Judgement moves out of the model into a text document, and a text document can be kept and reused.

DiensteServices

Sieben systemd-Benutzerdienste mit Linger — sie überleben Abmelden und Neustart. Alle horchen nur auf Loopback.

Seven systemd user services with linger — they survive logout and reboot. All listen on loopback only.

PortUnitWasWhat
8000llama-serverQwen3.8-27B UD-Q4_K_M, 80k Kontextcontext, 20,9 GiB VRAM
8001embedding-serverbge-m3 auf CPU, 1024 Dimensionenon CPU, 1024 dimensions
8800chat-guiChat-Oberflächechat interface
8810qc-viewerQC für SegmentierungsergebnisseQC for segmentation results
8899guard-daemonAusgangswache — der einzige Weg nach draußenexit guard — the only way out
—dauerlaufClara im Dauerbetrieb, arbeitet den Auftragsvorrat abClara running continuously through the job queue
—hermes-gatewayTelegram

Modelle auf der PlatteModels on disk

OrtLocationGrößeSizeInhaltContents
modelle/36 GBQwen3.8-27B in Q4 (16 GB) undand Q5 (19 GB), mmproj, Entwurfsmodelldraft model 1,3 GB
spezialisten/36 GBMedGemma 4B undand 27B, Qwen3-Coder-30B-A3B
schnell/8,7 GBLlama-3.1-8B, Qwen3-4B, Qwen3-1.7B
embedding/1,8 GBbge-m3, bge-reranker-v2-m3, Qwen3-Embedding-0.6B
encoder/1,1 GBModernBERT-base, DistilBERT multilingual
waechter/1,1 GBQwen2.5-0.5B für die Laufwachefor the run watchdog

Nur eines der großen Modelle passt gleichzeitig in den VRAM. Der Wechsel kostet einen Neustart des Servers.

Only one of the large models fits in VRAM at a time. Switching costs a server restart.

Was gemessen wurdeWhat was measured

Sockel des AgentenAgent baseline
9 639
Token im beschränkten Profil — gegen 21 007 mit Web und Browsertokens in the restricted profile — vs 21,007 with web and browser
Ein voller LaufOne full run
242 237
Eingabetoken, 103 Werkzeugaufrufe — vorher Abbruch bei 57 041input tokens, 103 tool calls — previously died at 57,041
2D-U-Net, batch 8
1,844 GiB
VRAM-Spitze neben dem SprachmodellVRAM peak beside the language model
Engster PunktTightest point
435 MiB
freier VRAM während der Inferenz — kein Prozess ist gestorbenfree VRAM during inference — no process died
AusgangswacheExit guard
4 / 4
Fragen mit Datenbezug gesperrt, 3/3 Fachfragen freidata-bearing questions blocked, 3/3 technical ones passed
SprachmodellLanguage model
32,7 tok/s
Q4 gegen Q5: 0,042 % Perplexität, 18 % schnellervs Q5: 0.042 % perplexity, 18 % faster

Was Clara allein geschafft hatWhat Clara achieved on her own

Aus einer Aufgabenbeschreibung und 15 maschinell prüfbaren Abnahmekriterien: ein 2D-U-Net in reinem PyTorch, 762 Zeilen, fünffach kreuzvalidiert über die vorgegebenen Falten, 170 Fälle ausgewertet, dazu ein QC-HTML mit 510 eingebetteten Schnittbildern und null externen Verweisen.

From a task description and 15 machine-checkable acceptance criteria: a 2D U-Net in plain PyTorch, 762 lines, five-fold cross-validated over the given folds, 170 cases evaluated, plus a QC page with 510 embedded slice images and zero external references.

FalteFoldDice (val)EpochenEpochsZeitTimeVRAM
10.44276471 355 s1,844 GiB
20.77223381 502 s1,844 GiB
30.78853651 505 s1,844 GiB
40.79323711 502 s1,844 GiB
50.79163691 501 s1,844 GiB

Über alle 170 out-of-fold-Fälle: Dice 0,6669 · Median 0,7147 · Sensitivität 0,6960 · Präzision 0,6799. Öffentliche WMH Segmentation Challenge.

Over all 170 out-of-fold cases: Dice 0.6669 · median 0.7147 · sensitivity 0.6960 · precision 0.6799. Public WMH Segmentation Challenge.

Drei Fehler, die aussahen wie ErfolgThree failures that looked like success

Sie sind der Grund, warum dieses Verzeichnis existiert. Jeder war lautlos.

They are the reason this directory exists. Each one was silent.

1. Eine Datei mit drei ZeichenA three-character file

current-quant stand auf q5. Q5 hat 32 768 Kontext, das Agentenframework verlangt 64 000 und verweigert den Start. Sichtbar wurde das als Runden von 22, 30 und 9 Minuten, die 63, 0 und 57 Byte Log erzeugten. Sieben steckengebliebene Aufträge, null abgeschlossene. Modell, Daten und Aufgabe waren in Ordnung.

current-quant said q5. Q5 has a 32,768-token context; the agent framework requires 64,000 and refuses to start. It showed up as rounds of 22, 30 and 9 minutes producing 63, 0 and 57 bytes of log. Seven stuck jobs, zero completed. Model, data and task were fine.

2. Eine Wache, die nie bellen konnteA watchdog that could never bark

root ::= "ok_weiter"
       | "eskalation_cloud"

Dieser llama.cpp-Build lehnt den Zeilenumbruch vor dem Strich ab — HTTP 400, failed to parse grammar, bei jedem einzelnen Aufruf. Und der Rückfall bei jedem Fehler war ok_weiter. Sie hätte für immer „alles in Ordnung“ gesagt, ohne Fehlermeldung, ohne Log. Eine Wache, deren Ausfall wie Zustimmung aussieht, ist schlimmer als keine, weil sie Vertrauen erzeugt. Behoben; unentschieden ist jetzt ein eigenes Ergebnis.

This llama.cpp build rejects the line break before the bar — HTTP 400, failed to parse grammar, on every single call. And the fallback on any error was ok_weiter. It would have said “all fine” forever, with no error and no log. A watchdog whose failure looks like approval is worse than none, because it creates trust. Fixed; undecided is now a separate outcome.

3. FreeSurfer, unsichtbar für den AgentenFreeSurfer, invisible to the agent

agent.sh startet Clara über sg — setgid, und der dynamische Linker verwirft bei setgid-Programmen jede LD_*-Variable. LD_LIBRARY_PATH kam leer an, also starben recon-all, mri_convert, samseg und mri_synthseg an einer fehlenden ITK-Bibliothek — obwohl sie im PATH standen. Der Selbsttest meldete FreeSurfer als „ok“, weil er ohne sg läuft. Ein grüner Test und ein blinder Agent.

agent.sh starts Clara through sg — setgid, and the dynamic linker discards every LD_* variable for setgid programs. LD_LIBRARY_PATH arrived empty, so recon-all, mri_convert, samseg and mri_synthseg died on a missing ITK library — although they were on PATH. The self-test reported FreeSurfer as “ok” because it runs without sg. A green test and a blind agent.

WerkzeugeTools

—Was es tutWhat it does
tafelan die gemeinsame Tafel anhängen, unter Dateisperreappend to the shared blackboard, under a file lock
beobachterVRAM, RAM, Swap messen; meldet verschwundene GPU-Prozesse — den stillen Tod, den weder Log noch Rückgabewert zeigenmeasure VRAM, RAM, swap; reports vanished GPU processes — the silent death neither log nor exit code shows
abnahmezählt nachprüfbare Tatsachen statt ein Modell zu fragencounts checkable facts instead of asking a model
kritikerliest das Ergebnis als Gutachter gegen die Aufgabereads the result as a reviewer against the task
antreiberAbnahme und Kritiker in der Schleife, bis nichts Schweres mehr offen istacceptance and critic in a loop until nothing severe remains
pruefe-markdownWohlgeformtheit statt Anwesenheit — fängt ausgelaufenen Quelltext und verrutschte Tabellenwell-formedness, not presence — catches leaked source and broken tables
laufwaechterStufe 1 deterministisch (NaN, Divergenz, Wiederholung, Stillstand), Stufe 2 mit Modellstage 1 deterministic (NaN, divergence, repetition, stall), stage 2 with a model
werkzeugtestprüft in zwei Minuten, ob alles rechnet — nicht, ob es installiert istchecks in two minutes whether everything computes — not whether it is installed