Juni 2026
Am Anfang waren es
acht Milliarden.
Ich wollte ein Modell, das sensible Angaben in deutschen Texten erkennt. Nicht nur Namen und Mailadressen, sondern auch Beschreibungen, die eine Person indirekt identifizieren. Daraus wurde Valravn: ein auf Anonymisierung spezialisiertes 8B-Modell, das zunächst noch Corvus hieß.
Die Basis war Ministral 8B Instruct, in 4 Bit quantisiert und mit LoRA über MLX auf meinem Mac angepasst. Ich habe also ein vorhandenes Sprachmodell feintrainiert. Der Decoder las den Text und erzeugte eine JSON-Liste mit Fundstellen, Klassen und Ersatzwerten.
Ein Decoder erzeugt die Antwort
Token für Token.
Ein Encoder ordnet die Stellen
direkt im Eingabetext ein.
Modellgröße, kein Geschwindigkeitsvergleich. Skira 5 hat exakt 140.651.161 Parameter, aus den gespeicherten Tensorformen gezählt.
Fortschritt war keine gerade Linie.
Auf meinem festen Testsatz mit 14 Dokumenten stieg der historische Span-F1 von 87,0 auf 93,2 %. Mit v5 kam der Name Valravn. Danach lag der Schwerpunkt zunehmend auf längeren Texten. Die Experimente bis v12 zeigten, wie wenig ein guter Wert auf kurzen Beispielen über dichte, lange Dokumente aussagt.
v6–v11 gehören zur Phase der Langtext-Experimente. Für sie und v13 liegt hier kein belastbarer Einzelwert vor. Die Lücken bleiben deshalb sichtbar.
Die indirekten Hinweise wurden besser.
Zwischen v12 und v14 verdoppelte sich der QID-F1 im historischen Test. Der Gesamt-F1 sank zugleich leicht von 88,6 auf 88,2 %. Mehr als 3.300 neue gültige synthetische Dokumente halfen an einer konkreten Schwachstelle, machten aber nicht automatisch jede Klasse besser.
Valravn blieb vergleichsweise schwergewichtig. Auf dem damaligen Mac begrenzten Speicher und Trainingslänge die Versuche. Vor allem wollte ich präzise Textgrenzen, ohne für jede Erkennung erst eine freie Antwort generieren zu müssen. Am 21. Juli habe ich den Decoder-Zweig archiviert.
Juli bis August 2026
Weniger generieren.
Genauer hinsehen.
Mit den Encodern änderte sich die Aufgabe: Jedes Token bekommt eine Klasse. Wo beginnt ein Name? Wo endet eine Beschreibung? Frühe Encoder-Versuche liefen noch unter Valravn-Bezeichnungen, bevor daraus die Veyra-Reihe wurde. Es war ein Architekturwechsel, nicht einfach Valravn mit einer neuen Versionsnummer.
Eine der wichtigsten Lektionen kam aus den Daten. Wenn dieselbe Art von Beschreibung einmal mit und einmal ohne ihren einleitenden Artikel markiert wird, lernt das Modell widersprüchliche Grenzen. Bei frühen GBERT-Versuchen stieg der exakte QID-F1 mit vereinheitlichten Grenzen von 13 auf 49 %. Saubere Konventionen machten einen Unterschied, den mehr Trainingsläufe allein nicht lösten.
Veyra 1
Gewichte zweier Checkpoints kombiniert. WiSE-FT half, Verbesserungen mitzunehmen, ohne alles Vorherige aufzugeben.
79,58 % Makro-F1 · norm2Veyra 1.1
Eine weitere Gewichtsmischung. Kleine Gewinne, während sich Fortschritte bei ORG und QID gegen Verluste anderer Klassen abwogen.
79,83 % Makro-F1 · norm2Veyra 2
Die Gewichte von 1.1 blieben. Wortgrenzen, Organisationsnamen, Kennungen und ein konsistenter BIO-Decoder verbesserten die Auswertung.
84,49 % Makro-F1 · norm3Veyra 2 heißt im damaligen Ergebnislog noch Veyra 1.2. Zugleich wurde die Referenz korrigiert: 84,49 % auf norm3, später 84,54 % auf norm4 ohne Modelländerung. Das ist kein isolierter Gewinn durch die Pipeline.
Das größere Modell gewann nicht die Entscheidung.
Im August verglich ich mehrere Encoder auf denselben 200 langen Texten. EuroBERT 610M hatte mit 91,87 % den höchsten Makro-F1 in dieser Auswahl. mmBERT-small lag mit 91,41 % nah daran und verarbeitete im gemessenen Setup 11,1 statt 1,6 Dokumente pro Sekunde. Diese Kombination wurde zur Grundlage von Skira.
| Encoder | Makro-F1 | Dokumente / s |
|---|---|---|
| mmBERT-small | 91,41 % | 11,1 |
| EuroBERT 610M | 91,87 % | 1,6 |
| GBERT-large | 91,74 % | 2,6 |
| mmBERT-base | 90,92 % | 5,7 |
Historischer Vergleich vom 16. August: 200 lange Dokumente, Apple M4 / MPS, Batch 1, Kontext 2.048. Das ist keine aktuelle Geschwindigkeitsmessung von Skira 5.
August bis September 2026
Die Generationen hinter
dem Namen Skira.
Skira 1
pool_mix17Der kleine mmBERT-Encoder wurde mein neuer Ausgangspunkt. Ab jetzt ging es vor allem darum, die verbleibenden Fehler systematisch zu finden: ausgelassene Angaben, abgeschnittene Beschreibungen und uneinheitliche Klassen.
Skira 2
pool_mix18Mehr Arbeit an relativen Datumsangaben, Organisationsnamen und wiederholten Nennungen. Im gemeinsamen norm22-Vergleich sank die Zahl vollständig übersehener Goldstellen von 531 auf 270.
Skira 3
pool_mix22QID-Grenzen und weitere Annotationen wurden vereinheitlicht. Auf derselben norm22-Referenz blieben 233 vollständig übersehene Stellen. Gerade indirekte Hinweise brauchten vollständige Phrasen statt bloß einzelner Wörter.
Skira 4
4.000 DokumenteSkira 4 entstand aus den 4.000 Dokumenten. Die Arbeit davor umfasste mehrere Zwischenstände: bereinigte Generierungsreste, einheitliche Altersangaben und vollständigere QID-Grenzen. Die frühe pool23-Messung unten dokumentiert einen dieser Schritte, nicht das Ergebnis des späteren 4k-Stands.
Vollständig übersehene Goldstellen aus 62.023. Teilweise abgeschnittene Stellen sind hier nicht mitgezählt. Weniger ist besser.
Offene Goldzeichen: 6.909 → 6.306, also 8,7 % weniger. Ganz übersehene Stellen: 233 → 222. Gleiche Referenz je Vergleich; O-Bias 3 und Kontext 2.048.
Dann wurde aus einer Reihe eine Verzweigung.
Die 4.000 Dokumente gehören zur Skira-4-Entwicklung. Auf diesem Datenpaket führten zwei Trainingsziele zu zwei Varianten: Skira 4.1 wurde auf exakte Klassifikation ausgerichtet. Skira 5 wurde direkt auf das möglichst vollständige Maskieren sensibler Angaben trainiert. Beide Zweige gehen auf die Skira-4-Arbeit zurück. Skira 5 ist keine Fortsetzung des 4.1-Checkpoints.
Richtige Kategorie.
Richtige Textgrenzen.
Sensible Stellen erwischen.
Auch schwierige Beschreibungen.
In beiden Läufen wurde der Checkpoint aus Epoche 1 von 2 gewählt, jeweils auf 2.799 Validierungsdokumenten und vor der Auswertung auf Test300. Bei 4.1 zählte der Mikro-F1, bei 5 die vollständige Dokumentabdeckung. Skira 5 wurde am 6. September veröffentlicht. Der F1-Zweig bekam am 7. September offiziell den Namen Skira 4.1, ohne dafür erneut trainiert zu werden.
Das Ergebnis ist kein pauschales „neuer ist besser“. Skira 5 lässt deutlich weniger sensible Angaben offen. Die Klassen und Grenzen seiner Fundstellen sind zugleich ungenauer. Genau diesen Unterschied will ich sichtbar machen. Die Skira-6-Preview setzt inzwischen hier an: bessere Label-Decodierung auf Skira-5-Gewichten, mit exakt erhaltener Maskierung. Die ersten Ergebnisse stehen am Ende dieser Seite.