LLM-Abgleich eines Tierarzneimittelkatalogs mit dem staatlichen Register

Wir haben eine Pipeline in vier Stufen gebaut: HTML- und CSV-Parsing, Kandidatenauswahl, LLM-Abgleich und Import. Der Import ist ein Archiv, das im Admin-Bereich hochgeladen und von einem Hintergrundtask mit Fortschrittsbalken verarbeitet wird. Auf den Daten setzt eine Such- und Filter-API nach Präparat, Wirkstoff, Tierart und ATCvet auf. Von 3.217 Produktdatensätzen wurden 3.210 importiert, die übrigen sieben waren Dubletten in den Quelldaten.

Die technische Herausforderung: Datensätze abzugleichen, deren Namen nie exakt übereinstimmen. Jedes Produkt gegen alle 1.473 Registereinträge an ein LLM zu schicken, wäre teuer und fehleranfällig. Deshalb läuft zuerst ein günstiger deterministischer Filter: Normalisierung, exakter, Teilstring- und Fuzzy-Abgleich sowie ein Bonus, wenn die Marke zum Hersteller passt. Er lässt höchstens 20 Kandidaten pro Produkt übrig. Erst dann wird GPT-4o-mini aufgerufen, in Batches zu 100 Einträgen, mit Structured Output: Registriernummer, Konfidenz und Begründung. Das Modell sieht nur eine kleine Kandidatenmenge, das spart Tokens und reduziert Fehler. Diese Arbeitsteilung zwischen Code und Modell prägt unsere KI-Softwareentwicklung.

Echte Daten brauchten echte Bereinigungsregeln, die wir unterwegs ergänzt haben: Ein Länderfeld wie „FRANCE POLAND FRANCE“ wird zum Beispiel auf ein Land reduziert. Der Import selbst ist auf Zuverlässigkeit ausgelegt, wie in jedem Projekt unserer Datenbankentwicklung:

• eine Transaktion pro Datensatz, damit eine fehlerhafte Zeile nie den ganzen Batch abbricht
• Deduplizierung über den Slug
• ein ATCvet-Klassifikationsbaum auf Basis von MPTT
• ein Lock, der immer nur einen Import gleichzeitig zulässt
• rund 290 automatisierte Tests für Pipeline und API