KI ist keine zuverlässige Automatisierung
Wir arbeiten gerade an der englischen Buchausgabe der Table und im Moment bin ich ehrlich gesagt ziemlich frustriert. Der Verlag hat sich einen smarten KI-Workflow ausgedacht und KI Übersetzungen funktionieren (bei Sachtexten) schon erstaunlich gut, aber:
Die Tücke liegt im Detail.
KI ist keine zuverlässige Automatisierung. Die Schreibweise von (in unserem Fall: Methodennamen) variiert. Mitunter werden unterschiedliche Schreibweisen in einem Abschnitt gebraucht. So etwas wieder konsistent hinzubekommen ist eine Sisyphos-Aufgabe und zu Fuß natürlich auch wieder fehleranfällig.
Wir haben in unserem System mit eindeutigen Attributen gearbeitet. Für jedes Attribut gibt es vorgegebene Optionen. Die KI hat nun aber fallweise übersetzt – mal so und mal so.
Während bei klassischer Automatisierung die Ergebnisse berechenbar sind (ein Skript macht, was es soll), entscheidet die KI von Fall zu Fall.
Man könnte jetzt einwenden, dass die Prompts im Workflow vielleicht nicht differenziert genug waren. Mag sein, aber die Komplexität ist im Vorfeld kaum abschätzbar. Und was uns im konkreten Fall echt fehlt, ist ein Change Log. Die Änderungen der KI an unseren Grafiken sind so gut, dass sie auf den ersten Blick gar nicht auffallen und schon gar nicht ausgewertet und nachverfolgt werden können.
Jetzt ist unser Buchmanuskript ja nur eine einmalige Aufgabe. Parallel sehe ich aber wie im Unternehmenskontext, im Umfeld von ERP-Systemen zunehmend KI-Lösungen aufpoppen. So was wie Change Logs sind da ein bei weitem noch unterschätztes Thema. Mit Principal Propagation wird sichergestellt, dass die KI nur macht, was die aktuelle Nutzerin/der Nutzer auch darf. In den Log-Files der Systeme tauchen die Änderungen dann aber mit Nutzernamen auf und es ist kaum nachvollziehbar, dass das im Zusammenspiel mit KI passiert ist. Es gibt kein KI-Flag im Log.
Solche Themen werden uns noch massiv einholen.
Die Dynamik in der Entwicklung von KI-Lösungen ist so rasant, dass wir kaum nachkommen solche Fragestellungen proaktiv anzugehen.
Ich fürchte, die Lernkurve wird noch sehr schmerzhaft werden.
Tags: AI, Change Log, KI, Kontrollverlust, Principal Propagation