Der Fall hat weltweit für Aufsehen gesorgt: Eine kanadische Fluggesellschaft wurde im Februar 2024 zur Zahlung von Schadenersatz verurteilt, weil ihr auf KI basierender digitaler Sprachassistent einem Kunden Rabatte versprochen hatte, die so in den Allgemeinen Geschäftsbedingungen (AGB) gar nicht vorgesehen waren.
Die Geschichte beginnt folgendermaßen: Nach dem Tod seiner Großmutter sucht ein Mann aus Vancouver im Internet nach Flügen, die ihn zur Beerdigung nach Toronto bringen. Auf der Seite von Air Canada erfährt er, dass die Fluggesellschaft "Trauertarife" anbietet, vergünstigte Tickets für Menschen, die nach einem Todesfall rasch nach Hause fliegen müssen.
Der Chatbot von Air Canada bot Kunden Rabatte an, die so in den Geschäftsbedingungen der Airline gar nicht vorgesehen waren.
Die Künstliche Intelligenz erfindet die Wahrheit neu
Ein KI-basierter Chatbot auf der Air-Canada-Seite empfahl dem Mann, das Ticket zunächst regulär zu kaufen, um dann innerhalb von 90 Tagen die Erstattung der Vergünstigung zu beantragen. In seinem Fall ging es immerhin um über 650 Dollar Rabatt. Doch als der Mann den Rabatt einforderte, lehnte die Airline ab. Er hätte sich vor der Buchung telefonisch bei Air Canada melden müssen, um das Prozedere durchzusprechen. So stehe es schließlich in den AGB. Wie der Chatbot zu seiner Empfehlung kam, ließ sich nicht mehr rekonstruieren.
Der Mann klagte und bekam recht. Laut Gericht mache es nämlich keinen Unterschied, ob die Information auf der Homepage stehe oder von einem auf der Homepage eingebundenen Chatbot stamme. Zudem habe die Fluggesellschaft die nötige Sorgfalt vermissen lassen, den virtuellen Berater zu überwachen. Das Phänomen, dass eine künstliche Intelligenz Antworten erfindet und sich Informationen nur einbildet, nennt sich Halluzination.
Fatale Folgen von KI-Fehlern
Wie kommt es zu Halluzinationen? Halluzinationen entstehen durch die Art und Weise, wie KIs trainiert werden. Aktuelle KI-Systeme, die stark auf maschinellem Lernen basieren, werden mit großen Datenmengen gefüttert. Diese Daten enthalten jedoch nicht immer nur korrekte Informationen. Wenn das KI-Modell während des Trainings auf ungenaue oder fehlerhafte Daten trifft, kann es diese Fehler erlernen und später reproduzieren. Zudem sind KIs darauf programmiert, im Zweifel auch dann Antwort zu geben, wenn sie selbst unsicher sind. Dies führt oft dazu, dass die KI etwas erfindet, anstatt offen zuzugeben, dass sie die Antwort nicht kennt. Die Konsequenzen von KI-Halluzinationen können in Bereichen wie Medizin, Recht oder Verkehr äußerst kritisch ausfallen.
So nimmt das Autopilot-System von Tesla immer wieder Objekte auf der Straße wahr, die es gar nicht gibt – oder umgekehrt. Traurige Berühmtheit erlangte ein Unfall in Florida aus dem Jahr 2016, bei dem der KI-gestützte Autopilot die weiße Plane eines Lkw für den Himmel hielt und nicht bremste. Der Fahrer kam dabei ums Leben, der Crash ging als erster tödlicher Unfall eines autonomen Autos durch die Presse, obwohl es sich bei Teslas Autopiloten nur um ein Assistenzsystem handelt, auf das sich der Fahrer zu sehr verlassen hatte.
Fehler bei der Bilderkennung: Bei der Nutzung von Teslas Autopilot kommt es immer wieder zu Unfällen.
Über das Stadium der Assistenzsysteme wähnt sich Tesla bereits weit hinaus. Oben in der Galerie zeigen wir Ihnen das vorgestellte Robotaxi und den Robovan von Tesla sowie die anderen Modelle der Amerikaner.
Die Bilderkennungs-KI von Google Fotos etikettierte anfangs fälschlicherweise Schwarze Menschen als Gorillas, was zu erheblichem öffentlichem Aufruhr führte. Amazons Personalabteilung wiederum nutzte eine KI-Software, um Lebensläufe von Bewerbern zu analysieren. Da sie im Vorfeld überwiegend mit männlichen Lebensläufen trainiert wurde, empfahl sie, eher Männer einzustellen.
Was ist Pseudo-KI?
Wenn es schon bei Amazon, Google und Tesla, also Konzernen mit hohem KI-Verständnis, zu solchen Fehlern kommt, mag man sich kaum ausmalen, was von Anwendungen weniger versierter Firmen droht. Eine gesunde Portion Skepsis ist also angebracht, selbst wenn die verwendete KI-Software bei korrekten Trainingsdaten zu großartigen Leistungen in der Lage ist.
Unternehmen, die Personalentscheidungen mittels KI-gestützter Verfahren treffen, leiden besonders unter fehlerhaften oder einseitigen Trainingsdaten.
Doch manchmal ist es gar nicht die KI, die halluziniert. Immer wieder bilden sich Menschen ein, künstliche Intelligenz zu nutzen, obwohl sie in der verwendeten Software gar nicht zum Einsatz kommt. Pseudo-KI bezeichnet Systeme, die als künstliche Intelligenz vermarktet werden, obwohl sie keine entsprechenden Techniken wie maschinelles Lernen oder neuronale Netzwerke verwenden. Stattdessen basieren sie auf manuell programmierten Algorithmen, regelbasierten Systemen oder sogar menschlichem Eingreifen hinter den Kulissen.
Als eines der spektakulärsten Beispiele für Fake-KI lässt sich der Betrugsfall um das Biotech-Start-up Theranos nennen. Gegründet 2003 von der damals erst 19-jährigen Elizabeth Holmes, versprach Theranos nichts weniger als eine Revolution im Gesundheitswesen. Ein Tropfen Blut sollte ausreichen, um bis zu 200 Gesundheitstests gleichzeitig durchzuführen.
KI oder Betrug?
Das Blut wurde angeblich in einem selbst entwickelten Mini-Laborgerät mit dem vielversprechenden Namen "Edison" untersucht, das per KI und maschinellem Lernen trainiert worden sein sollte. Von Risikokapitalgebern finanziell üppig versorgt, wurde Theranos zu seinen besten Zeiten mit zehn Milliarden Euro bewertet.
KI-Betrügerin Elizabeth Holmes von Theranos vor ihrem Gerichtsprozess.
Wie sich jedoch herausstellte, basierte der Erfolg auf Illusionen und Täuschungen. Die Tests wurden nämlich größtenteils manuell mit altbewährten Methoden und auf Geräten von Siemens durchgeführt – ohne Edison oder selbst entwickelte KI. Die Ergebnisse waren zudem höchst ungenau, Patienten bekamen teils erschütternde Fehldiagnosen von Diabetes bis hin zu Krebs. Ab 2015 mehrten sich die Berichte über Manipulationen, auch weil ehemalige Mitarbeiter an die Öffentlichkeit gingen. 2018 wurde Theranos geschlossen, 2021 begann der Prozess gegen Elizabeth Holmes. Sie wurde Ende 2022 zu elf Jahren Gefängnis verurteilt.
Weniger KI kann auch hilfreich sein
Doch es muss gar nicht immer Betrug hinter falschen KI-Versprechungen stecken. Oft sind es einfach nur die Anwender, die sich das menschenähnliche Verhalten eines technischen Systems gar nicht anders erklären können als durch den Einsatz von KI. Mitsuku, ein früherer Chatbot von Messenger-Diensten wie Facebook und Skype, funktionierte schon vor Jahren so gut, dass er bis 2019 fünfmal als bester KI-Chatbot ausgezeichnet wurde. Er basiert jedoch hauptsächlich auf einem regelbasierten System und verwendet keine tiefgehenden KI-Methoden.
Chatbots besieren oft auf viel weniger KI, als ihre Nutzer vermuten.
Überhaupt enthalten viele Chatbots weit weniger KI als landläufig vermutet. Häufig wird in einer Anfrage nur nach Schlüsselbegriffen gesucht, zu denen dann aus einer größeren Auswahl an vorgefertigten Antworten die vermeintlich wahrscheinlichste herausgesucht wird. Und wenn bei digitalen Sprachassistenten doch KI zum Einsatz kommt, dann oft nur dazu, um Spracheingaben zu entschlüsseln, sprich zu verstehen, was der Anwender möchte. Die Ausgabe der Antwort erfolgt dann wieder anhand von Schlüsselbegriffen durch vom Menschen vorgegebenen Regeln.
Der Vorteil solcher hart programmierten Chatbots ist ihre Zuverlässigkeit, sie erzählen keinen Blödsinn. Halluzinationen wie die frei erfundenen Geschäftsbedingungen von Air Canada wären einem regelbasierten Sprachassistenten nicht passiert.
