mmBERT: Mehrsprachige KI-Erkennung mit modernen Transformer-Architekturen

Moderne KI-Systeme müssen heute weit mehr als nur englische Fließtexte verstehen. In realen Dokumenten treffen unterschiedliche Sprachen, Schriftsysteme, Tabellen, Adressen, Kennnummern und fehlerhaft erkannte Texte aufeinander. Besonders bei der Erkennung personenbezogener Informationen (Personally Identifiable Information, PII) kommt es darauf an, diese Inhalte zuverlässig zu verarbeiten – auch dann, wenn Formatierung, Sprache oder Textqualität variieren.

Eine neue Generation mehrsprachiger Encoder-Modelle verfolgt genau diesen Ansatz. mmBERT verbindet eine außergewöhnlich breite sprachliche Vortrainingsbasis mit einer modernen Transformer-Architektur, effizienter Attention-Berechnung und der Fähigkeit, Informationen im Kontext zu bewerten.

1. Über 1.800 Sprachen als gemeinsame Grundlage

Klassische mehrsprachige Sprachmodelle decken häufig eine begrenzte Auswahl an Sprachen ab. mmBERT wurde dagegen mit Texten aus mehr als 1.800 Sprachen vortrainiert. Die Architektur ist damit darauf ausgelegt, sprachliche Informationen über eine ungewöhnlich große Vielfalt an Sprachen und Schriftsystemen hinweg zu verarbeiten.

Diese Breite ist besonders relevant bei internationalen Dokumenten, mehrsprachigen Organisationen und Texten, die nicht ausschließlich aus weit verbreiteten Sprachen bestehen.

Die zugrunde liegende Idee ist, dass ein Modell bereits während des Vortrainings vielfältige sprachliche Muster kennenlernt. Dazu gehören beispielsweise Zeichenfolgen, Wortstrukturen und kontextuelle Beziehungen. Diese Fähigkeiten können anschließend für spezialisierte Aufgaben wie Klassifikation, Informationsextraktion oder die Erkennung sensibler Informationen weiterentwickelt werden.

Dabei ist eine Unterscheidung wichtig: Mehr als 1.800 Sprachen im Vortraining bedeuten nicht automatisch eine gleich hohe Erkennungsqualität in jeder dieser Sprachen. Entscheidend sind zusätzlich die Trainingsdaten der spezialisierten Aufgabe, die verwendeten Entitätsklassen und die tatsächliche Qualität in unabhängigen Tests.

2. Bidirektionale Aufmerksamkeit: Warum der Kontext entscheidend ist

mmBERT gehört zur Familie der Encoder-Modelle. Im Unterschied zu autoregressiven Sprachmodellen, die Text typischerweise schrittweise erzeugen, verarbeitet ein bidirektionaler Encoder die Beziehungen zwischen den Tokens eines Eingabetextes in beide Richtungen.

Das ist für die Erkennung personenbezogener Informationen besonders nützlich.

Betrachten wir beispielsweise den Satz:

Frau Müller arbeitet bei der Nordstern Klinik in Berlin. Die Unterlagen wurden an mueller@example.org gesendet.

Ein zuverlässiger Detektor muss unterschiedliche Informationen unterscheiden: den Personennamen, die Organisation, den Standort und die E-Mail-Adresse. Die Bedeutung eines Ausdrucks hängt dabei nicht ausschließlich von seiner Schreibweise ab. Auch benachbarte Wörter und der umgebende Satz liefern Hinweise.

Die bidirektionale Attention ermöglicht es dem Modell, solche Beziehungen innerhalb des Textkontexts zu berücksichtigen. So kann es lernen, ähnliche Zeichenfolgen abhängig von ihrer Verwendung unterschiedlich einzuordnen.

Gerade bei mehrdeutigen Namen, Organisationen, Ortsangaben und Dokumentenreferenzen ist diese Kontextinformation wertvoll.

3. FlashAttention 2: Effizientere Berechnung der Attention

Die Attention-Operation ist ein zentraler Bestandteil von Transformer-Modellen. Sie ermöglicht es dem Modell, relevante Beziehungen zwischen verschiedenen Positionen eines Textes zu gewichten.

Bei längeren Textsequenzen kann die klassische Berechnung jedoch hohe Speicheranforderungen verursachen. Ein wesentlicher Teil des Aufwands entsteht dadurch, dass große Zwischenresultate zwischen verschiedenen Speicherstufen übertragen oder im Speicher abgelegt werden müssen.

FlashAttention 2 setzt genau an diesem Problem an.

Anstatt die vollständige Attention-Matrix auf herkömmliche Weise zu materialisieren, zerlegt das Verfahren die Berechnung in kleinere Blöcke. Diese werden so verarbeitet, dass schnelle Speicherbereiche des Beschleunigers effizient genutzt werden und unnötige Speichertransfers reduziert werden.

Daraus ergeben sich mehrere Vorteile:

Weniger unnötige Speicherbewegungen während der Attention-Berechnung.
Günstigere Speichernutzung bei geeigneten GPU-Konfigurationen.
Höherer Durchsatz bei unterstützten Hardware- und Softwarekombinationen.
Effizientere Verarbeitung längerer Eingabesequenzen.

FlashAttention 2 verändert dabei nicht die grundlegende mathematische Aufgabenstellung der Attention. Es optimiert vor allem, wie diese Berechnung auf der Hardware ausgeführt wird.

GPU-Ausführung und CPU-Verarbeitung

Die klassische CUDA-Implementierung von FlashAttention 2 benötigt eine unterstützte NVIDIA-GPU und eine passende CUDA-Softwareumgebung. Sie ist kein CPU-Kernel und lässt sich daher nicht einfach unverändert auf einem gewöhnlichen Prozessor ausführen.

Daraus folgt jedoch nicht, dass moderne Transformer-Modelle auf der CPU grundsätzlich ineffizient arbeiten müssen.

Frameworks wie PyTorch stellen mit scaled_dot_product_attention (SDPA) eine einheitliche Schnittstelle für Attention-Berechnungen bereit. Auf unterstützten CUDA-Systemen kann sie passende optimierte Implementierungen verwenden. Auf anderen Backends kommt eine jeweils unterstützte Implementierung zum Einsatz; laut PyTorch-Dokumentation ist dies außerhalb der CUDA-Backends die C++-Implementierung.

Bei einer Ausführung über ONNX Runtime hängt der konkrete Rechenpfad unter anderem vom exportierten Modell, den verwendeten Operatoren und dem ausgewählten Execution Provider ab.

Für eine lokale Desktop-Anwendung bedeutet das: Ein Modell kann sowohl auf geeigneter GPU-Hardware als auch auf der CPU eingesetzt werden. Welche Geschwindigkeit und Speichernutzung tatsächlich erreicht werden, hängt allerdings von der jeweiligen Implementierung, dem Prozessor, der verfügbaren Hardware und der Länge des Eingabetextes ab.

4. RoPE und GLU: Weitere Bausteine moderner Encoder

Neben effizienter Attention spielen weitere Architekturentscheidungen eine wichtige Rolle.

Rotary Position Embeddings (RoPE)

Ein Transformer muss berücksichtigen können, an welcher Position eines Textes ein Token steht. Rotary Position Embeddings integrieren Positionsinformationen mithilfe von Rotationen in die Repräsentationen der Attention-Berechnung.

Dadurch können Positionsbeziehungen zwischen Tokens berücksichtigt werden, ohne sich ausschließlich auf klassische absolute Positionsvektoren zu verlassen.

Für lange Dokumente ist die Verarbeitung von Positionsinformationen besonders wichtig: Ein Name am Anfang eines Absatzes kann in einem anderen Zusammenhang stehen als ein ähnlicher Ausdruck am Ende desselben Textes.

Die konkrete Qualität bei langen Eingaben hängt allerdings von der gesamten Architektur, dem Training und der jeweiligen Anwendung ab – RoPE allein garantiert keine korrekte Interpretation beliebig langer Dokumente.

Gated Linear Units (GLU)

Gated Linear Units verwenden einen zusätzlichen Gate-Mechanismus innerhalb der Verarbeitungsschichten. Vereinfacht gesagt kann das Modell dadurch Informationsanteile abhängig von den berechneten Aktivierungen unterschiedlich gewichten.

Solche Mechanismen gehören zu den Architekturbausteinen moderner Transformer-Modelle. Sie unterstützen die Weiterverarbeitung kontextueller Informationen und ergänzen die Attention-Schichten.

RoPE, GLU und effiziente Attention erfüllen unterschiedliche Aufgaben. Ihr Zusammenspiel trägt dazu bei, Sprachinformationen über den gesamten Verarbeitungspfad hinweg zu repräsentieren und zu verarbeiten.

5. Lange Kontexte bei der Analyse von Dokumenten

Die mmBERT-Modellfamilie unterstützt Kontextfenster von bis zu 8.192 Tokens. Im Vergleich zu älteren mehrsprachigen Encoder-Generationen mit deutlich kleineren Kontextfenstern eröffnet dies zusätzliche Möglichkeiten bei der Verarbeitung umfangreicher Textabschnitte.

Das ist beispielsweise für folgende Inhalte relevant:

Mehrseitige Dokumente und längere Textpassagen.
Kontakt- und Impressumsseiten mit zahlreichen Personen- und Organisationsangaben.
Tabellen mit Namen, Adressen und Kennnummern.
Rechnungen, Formulare und strukturierte Datensätze.
Textabschnitte, deren Bedeutung sich erst aus ihrem weiteren Kontext erschließt.

Ein größeres Kontextfenster bedeutet nicht, dass jede Anwendung automatisch ein gesamtes Dokument in einem einzigen Verarbeitungsschritt analysiert. Die konkrete Pipeline kann Texte weiterhin in Abschnitte unterteilen, überlappen lassen oder abhängig vom Dokumenttyp separat verarbeiten.

Außerdem steigen die Rechenanforderungen bei längeren Sequenzen weiterhin an. Effiziente Attention-Techniken helfen bei der praktischen Verarbeitung, beseitigen aber nicht sämtliche Kosten langer Eingaben.

Warum Encoder keinen wachsenden KV-Cache benötigen

Ein weiterer Unterschied zu autoregressiven Sprachmodellen ist die Art der Inferenz.

Bei autoregressiven Modellen wird häufig ein KV-Cache aufgebaut, damit bereits berechnete Key- und Value-Repräsentationen bei der schrittweisen Generierung wiederverwendet werden können. Dieser Cache kann während der Textgenerierung kontinuierlich wachsen.

Ein bidirektionaler Encoder arbeitet anders: Er verarbeitet die Eingabesequenz als Ganzes beziehungsweise in definierten Abschnitten und erzeugt daraus seine kontextualisierten Repräsentationen. Für diese typische Encoder-Inferenz wird kein mit jedem generierten Token wachsender KV-Cache benötigt.

Das vereinfacht einen Teil der Speicherverwaltung, bedeutet aber nicht, dass die Verarbeitung kostenlos wäre. Die Attention-Berechnung und die übrigen Netzwerkschichten benötigen weiterhin Rechenzeit und Arbeitsspeicher.

6. Mehrsprachige PII-Erkennung und OCR-robuste Verarbeitung

Die breite Sprachbasis und die moderne Architektur sind besonders interessant, wenn das Modell für eine spezialisierte Aufgabe wie die Erkennung personenbezogener Informationen eingesetzt wird.

Ein PII-Detektor klassifiziert Textbereiche beispielsweise als Personennamen, E-Mail-Adressen, Telefonnummern, Anschriften, Organisationsangaben oder andere sensible Informationen. Er muss dafür nicht nur die Sprache verarbeiten, sondern zugleich zwischen relevanten Entitäten und gewöhnlichen Wörtern unterscheiden.

Zusätzlich können spezialisierte Trainingsverfahren die Robustheit gegenüber typischen Störungen aus der Dokumentenverarbeitung verbessern.

Wenn OCR-Texte nicht perfekt sind

Bei gescannten Dokumenten wird der Text häufig mithilfe optischer Zeichenerkennung (OCR) gewonnen. Dabei können Zeichen verwechselt, Wortgrenzen falsch erkannt oder Teile einer Adresse über mehrere Zeilen verteilt werden.

Beispiele sind:

Verwechslungen zwischen O und 0 oder zwischen I und 1.
Fehlende Leerzeichen und zusammengezogene Wörter.
Ungewöhnliche Zeilenumbrüche bei mehrzeiligen Anschriften.
Tabellen, bei denen Werte und Feldbezeichnungen unmittelbar aneinandergrenzen.
Beschädigte oder unvollständig erkannte Namen und Kennnummern.

Ein Modell kann auf solche Fälle gezielt vorbereitet werden, indem beim Training auch Texte mit synthetisch erzeugten OCR-typischen Störungen verwendet werden.

Dadurch kann es lernen, bestimmte personenbezogene Informationen trotz unvollkommener Textqualität zu identifizieren. Auch die Verarbeitung strukturierter Formate wie Tabellen, Schlüssel-Wert-Paare oder maschinenlesbarer Datensätze kann gezielt trainiert werden.

OCR-Robustheit ist jedoch nicht dasselbe wie OCR-Korrektur. Ein PII-Modell erkennt und klassifiziert Textbereiche. Es ist nicht automatisch ein System, das fehlerhafte Zeichen rekonstruiert oder ein gescanntes Dokument neu ausliest. OCR, mögliche Textkorrektur und die anschließende PII-Erkennung bleiben unterscheidbare Verarbeitungsschritte.

Ebenso wenig garantiert die breite Vortrainingsbasis, dass ein Modell bei jeder Schrift, jedem Layout und jeder OCR-Qualität dieselbe Zuverlässigkeit erreicht. Dafür sind repräsentative Tests mit realistischen Dokumenten erforderlich.

7. Weshalb mehrere Detektoren sinnvoll sein können

Ein einzelner Detektor deckt nicht zwangsläufig alle Erkennungssituationen gleich gut ab. Unterschiedliche Trainingsdaten, Entitätsdefinitionen und Decoder können zu abweichenden Stärken und Fehlerbildern führen.

Eine mehrstufige Erkennungspipeline kann deshalb mehrere spezialisierte Modelle kombinieren.

Ein Primärmodell übernimmt dabei die umfassende Erkennung und erzeugt erste Kandidaten. Ein ergänzendes Helper-Modell kann weitere Fundstellen entdecken, die im ersten Durchlauf möglicherweise übersehen wurden.

Damit die Kombination zuverlässige Ergebnisse liefert, müssen die Erkennungsergebnisse anschließend sinnvoll zusammengeführt werden. Dazu gehören beispielsweise:

Die Vereinheitlichung unterschiedlicher Entitätsklassen.
Die Zusammenführung überlappender Fundstellen.
Die Bewertung unterschiedlicher Konfidenzwerte.
Die Begrenzung unnötiger Fehlalarme.
Die gesonderte Behandlung mehrdeutiger oder unvollständiger Fundstellen.

Zwei Modelle zu verwenden, führt nicht automatisch zu einer höheren Qualität. Ihre Leistung muss gemeinsam auf geeigneten Testdaten gemessen werden. Besonders wichtig sind dabei sowohl die tatsächlich gefundenen sensiblen Informationen als auch die fälschlich markierten Textstellen.

Für Anwendungen zur Dokumentenschwärzung ist das Verhältnis zwischen Recall und Precision besonders relevant: Übersehene personenbezogene Informationen können ein Datenschutzrisiko darstellen, während übermäßig viele Fehlalarme die manuelle Überprüfung erschweren.

8. Von der Sprachtechnologie zur lokalen Dokumentensicherheit

Die Kombination aus breit angelegtem mehrsprachigem Vortraining, bidirektionaler Kontextverarbeitung und modernen Attention-Verfahren schafft eine leistungsfähige Grundlage für spezialisierte Informationsextraktion.

Dabei bleiben drei Aspekte entscheidend:

Sprachliche Breite: Eine große Vortrainingsabdeckung unterstützt die Verarbeitung vielfältiger Sprachen, ersetzt aber keine aufgabenspezifische Evaluierung.
Effiziente Ausführung: Moderne Attention-Techniken und geeignete CPU- oder GPU-Backends ermöglichen unterschiedliche lokale Einsatzszenarien.
Spezialisierte Erkennung: Die tatsächliche PII-Leistung hängt von den Trainingsdaten, der Entitätsdefinition, dem Decoder und der Verarbeitungspipeline ab.

Bei der Verarbeitung vertraulicher Dokumente kommt ein weiterer Faktor hinzu: Die Auswertung kann lokal erfolgen, ohne dass der Dokumententext für die KI-Erkennung an einen externen Cloud-Dienst übertragen werden muss. Dafür müssen allerdings auch die übrigen Verarbeitungsschritte – etwa OCR, Zwischenspeicherung, Protokollierung und Export – entsprechend umgesetzt sein.

Fazit: Eine moderne Grundlage für mehrsprachige PII-Erkennung

mmBERT zeigt, wie sich eine sehr breite sprachliche Vortrainingsbasis mit modernen Encoder-Technologien verbinden lässt. FlashAttention 2 optimiert die Attention-Berechnung auf unterstützter GPU-Hardware, während alternative Rechenpfade die Ausführung auf CPU-Systemen ermöglichen. RoPE, GLU-basierte Verarbeitung und größere Kontextfenster ergänzen diese Architektur um weitere Bausteine für die Analyse zusammenhängender Textinformationen.

In Kombination mit spezialisierten Trainingsverfahren für personenbezogene Informationen und OCR-typische Textstörungen entsteht eine Grundlage für die Erkennung sensibler Inhalte in unterschiedlichen Sprachen und Dokumentformaten.

In Redactwizard Pro 2.5 bilden mmBERT-basierte Modelle sowohl das Primärmodell für die PII-Erkennung als auch das ergänzende Helper-Modell. Das Primärmodell übernimmt die zentrale Erkennung, während der Helper zusätzliche Fundstellen beisteuern kann. Die zusammengeführte Erkennung unterstützt anschließend den lokalen Schwärzungsprozess – mit dem Ziel, sensible Informationen möglichst zuverlässig zu identifizieren, bevor sie dauerhaft aus einem PDF entfernt werden.

Hinweis: Die tatsächliche Erkennungsqualität hängt von Sprache, Dokumenttyp, OCR-Qualität und den verwendeten Modellen sowie deren Verarbeitungspipeline ab. Eine automatische Erkennung ersetzt bei besonders schutzbedürftigen Dokumenten keine angemessene Qualitätskontrolle.