Dieses Sprachprogramm verblüfft Experten – und birgt Potenzial für die Wirtschaft

Das Prinzip lässt sich zudem auf andere Bereiche übertragen. Ein Programmierer hat eine Demo entwickelt, der man vorschreibt, wie ein bestimmtes Layout aussehen soll – das kann eine Website mit roten Knöpfen von eins bis fünf sein, aber auch eine Tabelle mit den reichsten Ländern der Welt. Das funktioniert tatsächlich. Auch Rechenaufgaben kann das Programm lösen.

Allerdings seien die beispielhaft veröffentlichten Geniestreiche nicht repräsentativ für das Leistungsvermögen des Systems, betont Uszkoreit: „Da werden die schönsten Sachen rausgesucht – man sieht nicht, wie oft es danebenliegt.“

Das Programm hat das Unternehmen Open AI entwickelt. Dahinter steckt eine illustre Runde aus der US-Technologieszene: Chef ist Sam Altman, der früher den bekannten Inkubator Y Combinator geleitet hat. Zu den Geldgebern zählen prominente Köpfe aus dem Silicon Valley wie Elon Musk, Peter Thiel und Reid Hoffman. Zudem hat Microsoft eine Milliarde Dollar investiert.

Hinter dem Programm steckt indes kein Textverständnis, sondern Wahrscheinlichkeitsrechnung. Denn GPT-3 ist ein Sprachmodell, das mit statistischen Methoden auf der Basis von riesigen Textmengen errechnet, welches Wort als nächstes folgen könnte. Was das neue Programm besonders macht, sind einerseits die innovativen Methoden, andererseits die Dimensionen: Die Entwickler haben 570 Gigabyte Text benutzt, um das Modell zu trainieren – Wikipedia, digitalisierte Bücher und Zeitschriften, Texte aus dem Internet. Die Menge entspricht dem 380.000-fachen Umfang der Bibel. GPT-3 hat also Zugriff auf eine große Menge Weltwissen. 

Außerdem ist das neuronale Netz hundert Mal größer als bei der Vorgängerversion. Das System könne daher auch – anders als die Autovervollständigung auf dem Smartphone – ganze Sätze und Absätze berücksichtigen, sagt Wissenschaftler Uszkoreit. Das ist die Voraussetzung dafür, dass komplette Texte entstehen.

Lernen mit Lückentext

Um GPT-3 zu trainieren, haben die Entwickler einen Trick verwendet: Sie haben dem Programm viele Texte gezeigt, in denen Wörter oder Wortgruppen fehlten – es sollte lernen, die Lücken zu füllen, und zwar so, dass es in den Kontext passt. Eine Gebrauchsanleitung klingt anders als ein Gedicht. GPT-3 kann besser als jemals zuvor automatisch Texte ergänzen, Lücken füllen und Fragen beantworten. Das trägt zum Hype bei.

Bei genauerem Hinsehen zeigen sich allerdings Schwächen. Das System hangele sich mit Wahrscheinlichkeitsrechnung von einem Satz zum nächsten, eigene Schlussfolgerungen ziehe es nicht, sagt Uszkoreit. Das zeigen Tests, die US-Kollegen des Wissenschaftlers gemacht haben. Wenn Textaufgaben echtes Verstehen und Schlussfolgern erfordern, rät das statistische Modell nur wenig besser als ein Zufallsgenerator. „Je länger ein so produzierter Text ist, desto mehr entwickelt er sich vom eigentlichen Thema weg.“

GPT-3 klingt also schlau, ist es aber nicht. „Das System ist wie ein altkluges Kind, das viel gelesen hat und die Erwachsenen mit einigen schlauen Sätzen verblüfft“, sagt Uszkoreit. Mit angelesenem Halbwissen und gut gewählten Worten täusche es ein Verständnis der Welt vor. „Das ist Nachplappern auf allerhöchstem Niveau.“

Das bedeutet auch: GPT-3 kann keine Gedanken hinterfragen. Damit ist das System anfällig für Vorurteile, die in den Daten enthalten sind. Das zeigt sich etwa in einem „Tweet Generator“, der aus einzelnen Wörtern kurze Beiträge für Twitter verfasst. „Juden lieben Geld, zumindest meistens“, spuckte der beispielsweise aus, wie Jerome Pesenti, Chef der KI-Entwicklung bei Face‧book, kritisierte. Das System sei „wegen schädlicher Vorurteile unsicher“. Auf welche Quellen das Ressentiment zurückgeht, ist unklar.

Auch eine „Philosopher AI“, die auf Kommando kluge Gedanken zu den verschiedensten Themen entwickeln soll, gab teils bedenkliche Äußerungen von sich. So schrieb sie, dass Demokratie zwar besser sei als Diktatur, weil sie bessere Ergebnisse für die Bevölkerung insgesamt erziele – aber auch, dass die Diktatur in Krisenzeiten überlegen sei und daher wohl die Mehrheit eine Mischform der beiden Herrschaftstypen akzeptieren würde. Entscheidungen von großer Tragweite möchte man dem System nicht überlassen.

Große Verbesserungen für Chatbots

Trotz dieser Schwächen könnten Systeme wie GPT-3 große Verbesserungen ermöglichen. So vereinfacht die Technologie es enorm, neue Anwendungen mit Künstlicher Intelligenz zu entwickeln: Schon wenige Beispiele reichen, um ein neues Modell zu trainieren, das beispielsweise aus Fußballergebnissen Texte schreibt – bislang ist das ein aufwendiger und langwieriger Prozess. „Few shot learning“ nennen Experten dieses Prinzip. „Das ist ein ganz großer Fortschritt gegenüber allem, was wir bisher hatten“, sagt Uszkoreit. 

Auch die Kommunikation zwischen Mensch und Maschine könnte profitieren, zum Beispiel bei Chatbots: Solche Dialogsysteme, die beispielsweise im Kundenservice automatisch Antworten geben sollen, stoßen heute schnell an die Grenzen des Verständnisses. GPT-3 könne die Kommunikation verbessern, sagt Uszkoreit – allerdings nur in Verbindung mit Datenbanken für Produkte oder Reparaturanleitungen: „Viel Wissen, das wir in Texten so nicht finden können, ist in Datenbanken, also in Tabellenform, abgelegt.“ Der Spezialist selbst arbeitet daran, diese beiden Technologien zusammenzubringen.

Auch in der Wirtschaft sind die Erwartungen groß. „Für mich ist GPT-3 eine kleine Revolution“, sagt Jörg Bienert, Vorsitzender des KI-Bundesverbands und Partner bei der Beratung Alexander Thamm, die sein Start-up Aiso-Lab übernommen hat. Das System biete „enormes wirtschaftliches Potenzial“. So sei es nun möglich, Modelle mit Künstlicher Intelligenz mit weniger Daten zu trainieren als bislang. Das beschleunige die Entwicklung von Anwendungen.

Besonders bei der Verarbeitung von Texten sieht der Manager großes Potenzial – beispielsweise bei der Analyse von Patenten oder Archivdaten, aber auch bei Chatbots. Schon jetzt gibt es Unternehmen, die sich auf die Analyse von Patentportfolios, Verträgen oder Rechnungen mithilfe von Algorithmen spezialisiert haben – ihre Arbeit könnte sich erleichtern.

Allerdings befürchtet der Verbandschef eine Abhängigkeit: Open AI sollte ursprünglich ein gemeinnütziges Projekt sein, das die Technologie erforscht und öffentlich zugänglich macht. Seit 2019 gibt es aber ein gewinnorientiertes Tochterunternehmen, das die Technologie vermarktet. So auch im Fall von GPT-3: Der Quellcode liegt nicht offen, Zugriff auf das System haben bislang nur einige Partner über eine Schnittstelle.

Das Unternehmen kontrolliere, wer Zugriff auf die Technologie erhalte, warnt Bienert – und es lasse sich offenbar die Anwendungsfälle von Nutzern genau darlegen. „Open AI kann das Wissen nutzen, um das eigene System mit den Daten der Kunden immer schlauer zu machen.“ Das Forschungslabor versichert, dass Kunden das Eigentum an ihren Daten behalten und entscheiden, ob diese für Trainingszwecke genutzt werden.

Bienert fürchtet ein Monopol und regt an, dass die Politik die Entwicklung einer vergleichbaren, offen verfügbaren Technologie in Deutschland oder Europa fördert. „Dafür braucht es eine riesige Datenmenge, das kann ein Unternehmen allein nicht stemmen“, sagt er. „Deswegen wäre es wichtig, dass sich Deutsche und Europäer in einer relativ frühen Phase zusammentun.“

Mehr: Wenn Kollege Roboter übernimmt: Wie die Digitalisierung die Gewerkschaften herausfordert