2022–2023
Erkennung & OCR
Echtzeit-Maskenkontrolle, Gesichtserkennung und arabisches Ausweislesen — die Computer-Vision- und OCR-Arbeit, die mir beibrachte, Struktur aus chaotischen Pixeln zu ziehen.
- YOLO
- CNN
- Siamese networks
- Tesseract
- FaceVGG
- LoRA/QLoRA
- ChromaDB
- FAISS
Das Problem
Vision-Probleme aus der echten Welt sind nie sauber. Ein CCTV-Bild in einem vollen Gang muss in Echtzeit und auf einen Blick beantworten: 'Trägt diese Person eine Maske?' — bei schlechtem Licht. Ein Gesichtserkennungs-Gate muss zwei Fremde anhand eines einzigen Referenzfotos unterscheiden. Und ein ägyptischer Personalausweis mischt kursives Arabisch, gedruckte Felder und ein Gesichtsbild, an dem Standard-OCR schlicht scheitert. Jeder Fall ist dieselbe Grundaufgabe: verrauschte Pixel in eine Entscheidung verwandeln, mit der man arbeiten kann.
Der Ansatz
- 01
Echtzeit-Maskenerkennung mit YOLO + CNN
Während COVID-19 baute ich einen Masken-Compliance-Detektor: YOLO lokalisiert jedes Gesicht im Bild, ein CNN-Klassifikator entscheidet maskiert vs. unmaskiert — schnell genug, um live auf einem Videostream zu laufen statt Einzelbilder im Batch zu verarbeiten.
- 02
One-Shot-Gesichtserkennung mit Siamese-Netzen
Statt einen Klassifikator pro Person zu trainieren, lernt ein Siamese-Netz ein Ähnlichkeitsmaß — ein einziges Enrolment-Foto genügt zur Verifizierung am Gate, und eine neue Person hinzuzufügen braucht kein Nachtrainieren.
- 03
OCR-Pipeline für arabische ägyptische Ausweise
Ich kombinierte YOLO zum Erkennen und Zuschneiden jedes Felds, ein auf Arabisch abgestimmtes Tesseract zum Lesen des Textes und FaceVGG zum Extrahieren und Verifizieren des Ausweisfotos — so wird eine ganze Karte zu strukturierten, abfragbaren Feldern.
- 04
LLMs auf einer einzigen GPU + RAG
Um den extrahierten Text nutzbar zu machen, betrieb ich LLMs auf einer GPU mit LoRA/QLoRA-Feintuning und erdete sie in einer Retrieval-Schicht über ChromaDB und FAISS — Antworten kamen so aus echten Dokumenten statt aus Vermutungen.
Das Ergebnis
- Echtzeit Live-Maskenkontrolle auf Video, nicht im Batch
- ~95% Konf. Masken-Erkennungskonfidenz (illustrativ)
- One-Shot Gesichtsverifizierung aus einem einzigen Referenzfoto
- ~90% Gen. Feld-OCR arabischer Ausweise (illustrativ)
Hier beginnt der rote Faden meiner Arbeit: von rohen Pixeln bis zur nutzbaren Entscheidung. Derselbe Instinkt trieb später die begutachtete LCBVAE-Forschung zu punktierten arabischen Daten an — ein sauberes Signal aus dem Rauschen dekodieren, ob das Ergebnis ein Masken-Alarm, eine Identität oder ein geparster Ausweis ist.
Zurück zum Portfolio