Zurück zum Portfolio

Journal of Electronic Imaging (SPIE)

Arabische Datumsangaben rekonstruieren mit einem VAE

Ein generatives Modell, das liest, woran OCR allein scheitert — punktierte arabische Verfallsdaten, dekodiert zu klarem, lesbarem Text.

Rolle: Mitautor · mit Ghada Soliman, PhD (Orange) Read the paper
  • VAE
  • CRNN
  • OCR
  • TensorFlow
٢٠٢٥/٥/٢٨ ENCODER · Conv2D + BatchNorm Flatten · Bi-LSTM · Dropout · Bi-LSTM VAE bottleneck DECODER · Conv2D Transpose Dotted Image 64 × 256 64 128 256 512 Flatten Bidirectional LSTM Dropout Bidirectional LSTM Mean Variance z Latent 1024 512 256 128 64 1 ٢٠٢٥/٥/٢٨ ٢٠٢٥/٥/٢٨ Reconstructed Image 64 × 256
Transcription Layer
Recurrent Layers
Convolutional Layers
٢٠٢٥/٥/٢٨
Predicted Sequence
Per-frame Predictions (Distributions)
Bidirectional LSTM
Feature Sequence
Convolutional Feature Maps
٢٠٢٥/٥/٢٨
Input Image
Expiration-date pipeline: LCBVAE feeding a CRNN recognizerLCBVAE model architecture diagramEncoder architecture of the LCBVAE

Das Problem

Auf Produkte gedruckte Verfallsdaten in punktierter arabischer Schrift sind ein Worst Case für OCR: die Punktmatrix zerlegt jede Glyphe, und die kursiven, kontextabhängigen arabischen Buchstabenformen überfordern Erkenner, die auf sauberem Druck trainiert sind. Ein falsch gelesenes Datum bedeutet eine falsche Einschätzung, ob ein Produkt sicher ist.

Der Ansatz

  1. 01

    Als Bilddomänen-Übersetzung formulieren

    Statt einen Erkenner zu zwingen, das verrauschte punktierte Bild zu lesen, übersetzen wir es zuerst in eine saubere Bilddomäne — aus einem OCR-Problem wird eine generative Rekonstruktion.

  2. 02

    Ladder Bottom-up Convolutional Bidirectional VAE (LCBVAE)

    Ein leiterförmiger, bidirektionaler konvolutionaler Variational Autoencoder lernt die Abbildung von punktierten arabischen Daten auf ihre saubere, lesbare Entsprechung — Signal aus Rauschen rekonstruiert.

  3. 03

    CRNN-Erkennung auf der Rekonstruktion

    Ein konvolutional-rekurrenter Erkenner liest anschließend die sauberen rekonstruierten Daten — Erkennung läuft auf einer Domäne, für die sie gebaut wurde.

  4. 04

    Auf arabischen Verfallsdaten trainiert & evaluiert

    Die Pipeline wurde auf echten punktierten arabischen Verfallsdaten-Bildern trainiert und gemessen, veröffentlicht und begutachtet.

Das Ergebnis

  • 97 % Domänen-Übersetzungsgenauigkeit
  • Publiziert Journal of Electronic Imaging · SPIE
  • VAE → CRNN generative Rekonstruktion + Erkennung
  • Begutachtet mitverfasste Forschung

Generative Modellierung auf Forschungsniveau, gerichtet auf ein hartnäckiges Praxisproblem — und genau die Idee, um die das ganze Portfolio gebaut ist: ein sauberes Signal aus dem Rauschen dekodieren. Dieselbe Bewegung, vom Paper zum Produkt.

Nächstes Projekt Merchant AI assistant Zurück zum Portfolio