Trotz all dem KI-Hype sind wir alle doch nur Beta-Tester. Wer intensiv ChatGPT & Co testet stößt auch immer wieder an die Grenzen. Wenn die KI unsere Prompts nicht versteht oder verstehen will. Manchmal ignoriert sie unsere Anweisungen. Dummerweise ist sie auch noch eloquent. Weitaus eloquenter als die meisten von uns, d.h. ihre Antworten sind überzeugender als unsere, selbst wenn sie Bullshit sind. Sie reflektiert nicht wirklich über ihre Grenzen, außer da, wo es ihr aus ethischen Gründen vorgegeben ist – nein, ich liefere dir keine Anleitung für ein Verbrechen – da müssen wir schon subtiler fragen.
Ich kämpfe gerade an einigen Basic-Funktionalitäten und bin auch schon mit dem Support im Gespräch – nein, seit einer Woche bin ich mit dem Support im Monolog. Ich frage und bekomme keine Antworten.
Das Standard-Skript frägt nach Fehlerquellen in meiner Infrastruktur. Nachdem mit einem Test nachgewiesen habe, dass das Problem im Account und nicht in meiner Infrastruktur liegt (vom Agent bestätigt), warte ich auf Antwort.
Der „Support-Bot“ ist überhaupt very strange. Eigentlich KI, aber nachdem ich mein Problem konkretisiert habe, hatte ich schnell das Gefühl bei einem echten Menschen zu landen, auch weil sein Antwortverhalten scheinbar an Zeitzonen gebunden war.
Aber jetzt schweigt „Justin“ seit einer Woche, obwohl sonst immer wieder aktiv. Und trotz (sachlicher) Nachfrage.
Für ein Medium, das unser Vertrauen erst noch verdienen will eine Bankrott-Erklärung, aber wir sind anscheinend halt auch nur Beta-Tester.
Als ChatGPT-Nutzer kann ich Ihnen nur wünschen, dass Sie keinen Support brauchen. Ich kämpfe seit Tagen. Der Chat selbst ist bemüht, liefert Workarounds (die in meinem Fall nicht funktioniert haben) und Hilfen, allerdings teilweise falsch: Die empfohlene Kontaktmöglichkeit per Mail gibt es gar nicht. Als ich die von ChatGPT vorbereitete Mail an die Support-Adresse schicke, bekomme ich umgehend Antwort:
Thank you for your email. Please note: This email address does not offer support. To get support, please visit our Help Center and start a chat with our support bot.
Manchmal vergisst ChatGPT auch, dass es um ChatGPT geht und gibt allgemein Ratschläge zum Umgang mit dem Support.
Tja und dann das Help Center – schwierig.
Die Hürden mit Anmeldung & Co genommen, landet man in einem Bot. Nach ein paar Stufen sogar bei echten Menschen, aber es gibt kein Ticket, sondern nur einen Bot im Browser. Und spätestens, wenn ein Mensch dahinter steckt gibt es Antwortzeiten. Das passt überhaupt nicht zu einem Bot-Fenster im Browser.
Email-Notification Fehlanzeige. Sorry, das Konzept ist nicht durchdacht – geradezu dilettantisch.
Umso ärgerlicher, wenn man für das Abo zahlt. Aktuell warte ich schon über eine Stunde auf eine Antwort. Das ist in einem Bot auf Echtzeit angelegt indiskutabel., aber ein Ticketsystem gibt es nicht. Dabei habe ich schon mehr gemacht, als von mi erwartet werden kann. Top1-7 aus dem Chat sind abgearbeitet und bevor ich überhaupt den Support kontaktiert habe, habe ich Hilfe bei einem Pro (danke, Torsten!) gesucht.
Noch so ein Learning: Abgesehen davon, dass ich zur Zeit verzweifelt versuche Dateien aus ChatGPT herunterzuladen („Datei nicht gefunden“) – jetzt warte ich auf den Support, habe ich die KI gerade als Excel-Hilfe genutzt: Bitte generiere mir die Formeln um eine Zelle („Name, Vorname (Abteilung)“) in Ihre Bestandteile zu zerlegen.
Das klappt auf den ersten Blick auch verdammt gut:
Aber natürlich kommt beim Ausprobieren gleich eine Fehlermeldung.
Erst ein Stirnrunzeln und dann werden die „Röntgenaugen“ angeschmissen und siehe da, der Fehler ist schnell gefunden: Im deutschen Excel werden die Formelbestandteile mit Semikolon getrennt. im englischen mit Kommata und hier mischt ChatGPT deutsche Nomenklatur der Befehle mit der englischen und nutzt die falschen Zeichen für die Separierung. Manuell korrigiert und siehe da, es funktioniert.
Habe jetzt Glück gehabt, dass ich ohne größere Suche den Fehler gleich entdeckt habe, aber anscheinend ist ChatGPT gut in den Sprachmodellen (übersetzt englische Befehle ins Deutsche, aber nur auf der Begriffebene und vernachlässigtdie Nomenklatur).
Aktuell stoße ich gerade an meine Grenzen mit ChatGPT:
Excel-Export funktioniert nicht
Ich habe ChatGPT angelernt und eine Tabellenstruktur nahe gebracht. Nur der Export nach Excel funktioniert nicht. Die erstellten Links funktionieren nicht. Weder der direkte Download, noch das Zusenden per Mail oder ein Dropbox-Link. Weist man die KI darauf hin, macht sie beharrlich weiter. Nicht besonders intelligent. Mal schauen, ob sich der Support noch meldet. Habe Freitag via Bot eine entsprechende Meldung abgesetzt (Antwort soll per Mail kommen). Eine Google-Recherche findet aber Treffer mit ähnlichen Fehlern. Dummerweise waren die in der ChatGPT Community gestern großteils nicht erreichbar. Da klingt nach größeren Problemen.
Ich weiß nicht, dass ich nichts weiß.
Eigentlich hatte ich ChatGPT mit eigenen Dokumenten angelernt. Ich hatte die KI gebeten eine Methode aus diesen Dokumenten aufzubereiten. Jetzt handelt es sich um eine Eigenentwicklung, das heißt ChatGPT kann außerhalb des gelernten Dokuments kaum etwas dazu finden. Nun dann erfindet er/sie/es halt was. Selbst der Hinweis auf das entsprechende Dokument und den entsprechenden Abschnitt wird ignoriert. Krudes Halbwissen und ich weiß noch nicht einmal, welche meiner Inhalte tatsächlich gelernt wurden. Es finden sich zwar Hinweise auf Zeichenbegrenzungen, aber die KI schluckt ohne Feedback alles und antwortet in diesem Fall dann dumm. Fehlende Selbstreflexion in Kombination mit einem eloquenten Auftreten ist eine fatale Kombination. KI heute fühlt sich leider besser an, als sie ist.
Jaja, die kürzlich gestartete KI-Reihe hier im schlossBlog ist abgeschlossen. Und trotzdem geht es (jetzt außerhalb der kleinen Reihe) weiter, denn Mann (Schreibweise ist richtig wegen des Geschlechts des Autors) muss sich ja weiter bilden.
Den Anfang macht der LinkedIn Learning Kollege Sascha Wolter, dessen Video-Training „Prompt Engineering – Grundlagen“ einen sehr guten und fundierten Ausgangpunkt bilden. Neben den „reinen“ Grundlagen liefert Sascha den Einstieg (mit vielen Beispielen), wie Prompts aufgebaut werden können, insbesondere durch:
Rolle & Tonfall
Anweisungen & Ziele
Kontext
Befehl/Frage & Format
Und natürlich auch, wie sich solche Prompts systematisch erweitern lassen.
Das Prompt-Engineering wollte ich eigentlich noch vertiefen mit dem Buch Prompt Engineering and ChatGPT von Russel Grant (Amazon Affiliate Link). Ganz gelungen ist mir das nicht, denn was das Engineering im technischen Sinne angeht ist das Buch etwas „dünn“. Was ich sehr gut fand, waren die vielen Use Cases aus den unterschiedlichsten Gebieten von Software-Entwicklung, über Marketing, Kundensupport, bis hin zum Projektmanagement. Meine Vorurteile wurden wieder bestätigt. Der erste Use Case im PM, der genannt wird, ist die Erstellung einer Agenda. Holy fuck. Wer dafür KI braucht, ist im Projektmanagement fehl. Auch die anderen PM Use Cases überzeugen mich nicht wirklich, aber das liegt weniger an Russel Grant als an der Materie. Selbstverständlich wird KI in Projekten immer wichtiger, aber halt weniger in der Koordination und Kommunikation als in der inhaltlichen Arbeit. Auch Russel Grant verweist auf das Problem mit den Bias in der KI (ich habe von kognitiver Dissonanz gesprochen). Für ihn ist dafür, wie bei etwaigen Fehlerquellen das gelernte Material verantwortlich. Das stimmt natürlich auch, wenn die KI Vorurteile oder falsche Informationen übernimmt und wiedergibt, aber das Problem probabilistischer Modelle, die von Natur aus wahrscheinliche und nicht zwangsläufig richtige Ergebnisse wiedergeben, erwähnt er mit keiner Silbe.
Ein echtes Highlight für mich war dann noch KI für Kreative von Jenny Habermehl (Amazon Affiliate Link). Es geht mal weniger um ChatGPT, sondern vor allem um bildgebende KIs. Jenny Habermehl zeigt die erforderlichen Grundlagen und Tools, aber auch viele praktische Beispiele und die sind natürlich ein Hingucker. Mit den Prompt-Beispielen für Kreativitätstechniken (die durchaus auch wieder für textbasierte KI geeignet sind) werde ich ganz sicher noch experimentieren.
Und hier noch der obligatorische Disclaimer zur Illustration dieses Beitrags: Die ist „geklaut“ in der englischen Wikipedia und wurde selbst von der KI (Dall-E) kreiert, mehr dazu auf der dazugehörigen Wiki-Commons-Seite von Wikipedia (inkl. dem zugrundeliegenden Prompt).
Bei all meiner Skepsis gegenüber dem Einsatz von KI im Projektmanagement habe ich dann doch einen Anwendungsfall für mich entdeckt: Die Bürokratiebefriedigung.
Zumindest im Konzernumfeld kennt das doch jeder. Da gibt es Applikationen, Checklisten & Formulare, die bedient werden müssen – egal ob Projektmanagement, Risikomangement oder bei anderen Fragestellungen. Mittlerweile natürlich alles digital.
All zu oft werden diese Frage-Antwort-Spielchen dann zum Selbstzweck und wir müssen uns Antworten aus den Fingern saugen, versuchen verzweifelt irgendwelche generischen Aussagen abzuleiten und umzubiegen, aber damit ist jetzt Schluss, dank der KI!
Also nicht dass es jetzt weniger unsinnige Tätigkeiten in der Welt gäbe, aber die KI hilft uns bei der kreativen Beantwortung, bei der Bürokratiebefriedigung oder der Bezwingung des Bürokratiemonsters.
Satya Nadella (Microsoft CEO) hat auf dem Weltwirtschaftsgipfel 2023 in Davos ganz in diesem Sinne über die Möglichkeiten von Chat-GPT & Co berichtet:
[…] I saw was a rural Indian farmer trying to access some government program, so he just expressed a complex thought in speech in one of the local languages that got translated and interpreted by a bot, and a response came back saying go to a portal and here is how you’ll access the program, and he said look, I’m not going to the portal, I want you to do this for me, and it completed it, and the reason why it completed it was because they had a developer building it who had taken GPT and trained it over all of the government of India documents and then scaffolded it with speech recognition software,“ he said.
Satya Nadella (Microsoft CEO)
Aber jetzt ist auch wieder gut mit den KI Themen hier auf schlossBlog. Also nicht, dass KI künftig als Thema ausgeschlossen ist, aber diese kleine Reihe endet hier.
Ehrlich gesagt langweilen mich die „KI und….“ Fragestellungen. Jedes Gebiet, jede Branche meint jetzt KI für sich thematisieren zu müssen. Torsten Koerting war einer der ersten im deutschsprachigen Raum (Amazon Affiliate Link), der diese Frage für das Projektmanagement gestellt hat. Das Projektmagazin hat dazu ein Whitepaper und eine Blogparade am Start, auf dem PMCamp Stuttgart 2023 hat uns Oliver Kretzschmar demonstriert, wie die KI Projektmanagement Prüfungsaufgaben vorbildlich löst. Von der GPM gibt es die „KI in der Projektwirtschaft“ (ebenfalls Amazon Affiliate Link).
Alles schön und gut.
Ich bin auch völlig überzeugt davon, dass wir in Projekten mit und an der KI arbeiten werden, aber an den großen Mehrwert für das Projektmanagement glaube ich nicht oder halte ihn zumindest für überbewertet. Vielleicht liegt das an meinem Verständnis von Projekten und Projektmanagement.
Wenn die Einzigartigkeit ein elementares Beschreibungselement von Projekten ist, dann ist auch klar, dass probabilistische Antworten an ihre Grenzen stoßen. In meiner persönlichen Sicht sind die wesentlichen Erfolgsfaktoren für Projekte vor allem Transparenz und Kommunikation. Zur Transparenz kann die KI sicherlich beitragen, natürlich auch für die Kommunikation, allerdings wird sie hier nicht weiche Aspekte ersetzen können. Haben wir nicht heute schon oft das Problem, dass eher technisch getriebene Kommunikation an ihre Grenzen stößt? Good old Watzlawick hat einmal das Wort geprägt „Man kann nicht, nicht kommunizieren.“ Wie geht die KI mit Nicht-Gesagtem um? Wie weit kann die KI unterscheiden zwischen dem was gesagt ist und dem was gemeint ist? Wie weit kann KI (unausgesprochene) Erwartungen antizipieren?
Selbstverständlich werde auch ich KI nutzen. In Projekten und im Projektmanagement. Nur im Projektmanagement sehe ich sie nicht unbedingt als den Game Changer.
Einen Anwendungsfall im Projektmanagement habe ich übrigens durchaus für mich entdeckt, aber der ist Gegenstand des nächsten Beitrags.
In diesem kleinen Rundumschlag zur KI bislang noch völlig unberücksichtigt sind rechtliche Aspekte.
Als juristischer Laie, will ich mir auch gar nicht anmaßen dieses Thema umfassend zu behandeln, aber zumindest aus Prozesssicht wollen wir kurz ein Schlaglicht auf diesen Bereich werfen.
Input
KI Modelle brauchen Input und Konzerne wie openAI oder Google haben einfach das Internet (aber auch andere, vielleicht gar nicht mal frei zugängliche Inhalte) abgegrast. Wie weit die Verarbeitung dieser Inhalte dabei immer legal ist/war, darüber streiten beispielsweise Verlage, die ihre eigene Existenzgrundlage wegschwimmen sehen. Nicht auszuschließen, dass die Rechtsprechung hier der KI noch den einen oder anderen Knüppel zwischen die Beine werfen wird. Wir werden sehen…
Rechtlich unkritische sollte es sein, wenn wir unsere eigenen Inhalte in die KI kippen.
Verarbeitung
Bei der Verarbeitung ist das schon wieder anders, denn wir haben hier zumeist einen „loss of control“ gegenüber den KI Anbietern und es stellen sich die klassischen Fragestellungen der Cybersecurity nach Vertraulichkeit, Integrität und Verfügbarkeit.
Beim Vertraulichkeitsthema spannend könnte aber beispielsweise auch sein, wieweit die KI Modelle aus unserem proprietären Inhalten lernen und diesen Erkenntnisgewinn (und gar nicht mal die Dokumente selbst) mit anderen teilen. Lernt die KI auch aus unserem Input um Fragen eines Konkurrenten zu beantworten, der das gleiche KI Modell verwendet?
Output
In dieser Reihe hatten wir schon die Qualitätsthematik bei Antworten aus der KI angeschnitten. Wir wollen einmal nicht hoffen, dass damit gleich Haftungs- und Gewährleistungsrisiken auf uns selbst zurückfallen. Spannend ist aber beispielsweise die Frage nach den Verwertungsrechten. In puncto Transparenz vorbildlich ist hier z.B. der Umgang mit KI generierten Bildern in der Wikipedia (siehe Kommentar zum Logo unten). Hier schließt sich auch der Kreis zu den Urheberrechten beim Input. Aber wieweit ist es ausreichend auf die Generierung der Inhalte durch ein KI Modell hinzuweisen? Kritisch ist schon mal, dass wir i.d.R. keine Chance haben überhaupt nachzuvollziehen welche Inhalte konkret in eine Antwort eingegangen sind. Worst case schreiben wir sogar von einer Quelle ab oder verletzen deren Rechte ohne es überhaupt zu wissen. Wenn heute Plagiatsjäger mit den Möglichkeiten der Digitalisierung Doktorarbeiten aus der Papier- und Bibliotheksära zerlegen, dann möchte ich mir nicht vorstellen, was da möglicherweise in Sachen KI noch vor uns liegt. Oder müssen wir alle KI Ergebnisse dann erst noch einer Plagiatsprüfung unterziehen, bevor wir sie verwenden?
Zu meinen Lieblingsbeiträgen der Wikipedia gehört der Cognitive Bias Codex. Hierbei handelt es sich um eine Übersicht über die vielfältigen kognitiven Störungen bei uns Menschen. Die pure Anzahl und die Komplexität dieser Störungen führt uns unsere eigene Unzulänglichkeit nur zu gut vor Augen.
Diese Verzerrungen sind jetzt auch nicht „krankhaft“, sondern ganz normal – ein Zeichen unserer beschränkten Wahrnehmungs- und Verarbeitungsfähigkeit.
Der Titel dieses Beitrags leitet jetzt geflissentlich über zu der Frage, ob es solche Verzerrungen nicht auch in der KI gibt.
Eine erste Antwort finden wir bereits im Beitrag zu Belastbarkeit & Grenzen: KI basiert zum Einen auf Wahrscheinlichkeiten und nicht auf Wahrheiten oder Logik und zum Anderen ist die KI natürlich abhängig von dem ihr zur Verfügung gestellten Inhalten. Hier gelten noch immer die Grundprinzipen der Datenverarbeitung: Garbage in, garbage out.
Für ein aktuelles Projekt (eine Methoden-Übersicht) haben wir versucht die Attribute zur Beschreibung von Methoden mit Hilfe der KI vorzunehmen, bzw. unsere eigenen Überlegungen dazu mittels KI zu validieren. Die KI Ergebnisse dazu hielten leider unseren Erwartungen nicht stand, angefangen davon, dass uns die KI zu anderen Attributen überreden wollte und deutlich von den Vorgaben abgewichen ist, fand sie auch generell toll, was immer wir ihr gegeben haben, womit wir beim Thema kognitive Verzerrungen wären. Es gab also eindeutig eine Bestätigungstendenz.
Wenn man darüber nachdenkt ist das Ergebnis auch gar nicht so überraschend, denn was wir ihr als Input gegeben, ist natürlich gegenüber ihren anderen Ressourcen hochprior, nur anstatt unsere eigene Modellbildung damit kritisch auf den Prüfstand zu stellen, hat uns die KI dann lobend auf die Schulter geklopft. Gut fürs Ego, schlecht für das Ergebnis.
Wenn man jetzt noch berücksichtigt, das durch die Wahrscheinlichkeitsbetrachtung letztlich auch nur bestehende Lösungen einbezogen werden können, dann wird schnell klar, dass die KI zwar eine Umsetzungsmaschine, aber ein Innovationszwerg sein muss.
Unser Versuch der Methodenbeschreibung ist nur ein einfaches Beispiel. Die Fragen am Rande des Cognitive Bias Codex lassen sich aber auch auf die KI übertragen. Was tun, wenn…
…wir mit zuvielen Informationen konfrontiert sind.
…es an Bedeutung und Kontext fehlt.
…wir schnell handeln müssen.
…die Aktualität und „Haltbarkeit“ von Informationen nicht ganz klar ist.
Letztere bringt auch das Thema „Vergessen“ auf. Wenn Informationen veralten, dann sollten wir sie vielleicht sogar vergessen und sie nicht in unsere Antworten einbeziehen, aber es heißt doch so schön: Das Internet vergisst nicht. Nicht nur die KI muss noch viel lernen, sondern auch wir im Umgang mit der KI.
Bereits im Beitrag zur Belastbarkeit und den Grenzen wurden KI Use Cases (also Anwendungsfälle für die KI) kurz angeschnitten. Dort hatte ich noch gehofft, dass mir die Miro-Integration die KI selbst erklären kann.
An dieser Stelle nicht vorenthalten möchte ich dann die Zusammenstellung von Use Cases, die dann doch noch konventionell entstanden ist. Selbstverständlich habe ich dann noch versucht diese mit der KI zu validieren (mit dem bekannten Ergebnis), aber das möchte ich gerne separat in einem eigenen Beitrag aufgreifen.
Aber hier die vermutlich immer noch nicht vollständige Liste der generischen Anwendungsfälle:
KI basierte Suche
KI basierte Content Compilation (also z.B. Zusammenfassungen)
KI basierte Content Creation (also die Erstellung z.B. von Strukturen, Aufzählungen, Textbausteinen, Programmcode oder Daten)
KI basierte Simulation
KI basierte Moderation/Anleitung (z.B. in Form von ChatBots, sodern diese nicht rein auf Skritpen beruhen)
KI basierte Vergleiche (z.B. von Dokumenten)
KI basierte Mustererkennung
…
Anmerkung & Quellen: Das Logo im Beitrag ist „geklaut“ in der englischen Wikipedia und wurde selbst von der KI (Dall-E) kreiert, mehr dazu auf der dazu gehörigen Wiki-Commons-Seite von Wikipedia (inkl. dem zugrundeliegenden Prompt). Ein erster Beitrag zur KI auf schlossBlog findet sich hier: Jetzt auch noch KI… Und dann ging es um Belastbarkeit & Grenzen.
