Handelsblatt App
Jetzt 4 Wochen für 1 € Alle Inhalte in einer App
Anzeigen Öffnen
MenüZurück
Wird geladen.

25.08.2020

17:36

Digitale Revolution

Dieses Sprachprogramm verblüfft Experten – und birgt Potenzial für die Wirtschaft

Von: Christof Kerkmann

Die KI-Software GPT-3 schreibt Texte auf erstaunlich hohem Niveau – obwohl sie die Inhalte nicht versteht. Die Anwendungsmöglichkeiten sind vielfältig.

Hinter GPT-3 steckt kein Textverständnis, sondern Wahrscheinlichkeitsrechnung.

Spracherkennung

Hinter GPT-3 steckt kein Textverständnis, sondern Wahrscheinlichkeitsrechnung.

Düsseldorf Wird Künstliche Intelligenz eines Tages die menschliche Kreativität überflügeln? Schon jetzt schaffen Algorithmen Gemälde und Musik, wenn auch nach menschlichen Vorlagen. Nun gibt es mit GPT-3 ein Programm, das Texte schreibt, wie man es bislang nur von Menschen kennt: witzige Tweets, philosophische Erörterungen oder ein Drehbuch im Stil von Raymond Chandler. Seit erste Forscher und Programmierer das Sprachmodell testen können, überschlagen sie sich vor Begeisterung.

„Es gibt einen Hype, auch in der Community“, beobachtet Hans Uszkoreit, wissenschaftlicher Direktor am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI). Das System sei tatsächlich zu erstaunlichen Dingen in der Lage. „Die allerbesten Verfahren, die es derzeit gibt, die Größe des Modells plus die Menge der Daten ergeben das Wunder“, sagt der Spezialist für Sprachtechnologie, der das „Language Technology Lab“ des Berliner Zentrums leitet.

Allerdings warnt er vor zu hohen Erwartungen: „GPT-3 kann nur Sachen zusammenschustern, die es in Teilen vorher gelesen hat – und es weiß nicht, was sie bedeuten“, sagt Uszkoreit. Trotzdem sieht er großes Potenzial, auch für die Wirtschaft – so kann das neue Modell im Zusammenspiel mit anderen Technologien dafür sorgen, dass Chatbots ihre Gesprächspartner besser verstehen oder Software Dokumente klug zusammenfasst.

Das Prinzip von GPT-3 klingt einfach: Der Anwender gibt in ein Textfeld Dinge ein, das Programm ergänzt. So eine Autovervollständigung gibt es auf dem Smartphone oder in Suchmaschinen schon längst. Bei GPT-3 geschieht das jedoch auf einem Niveau, das man bei Maschinen bislang für undenkbar hielt. Ein Nutzer gab zum Beispiel die Anweisung, ein Drehbuch für einen „Film noir“ zu schreiben. Heraus kam eine Szene in einem schmuddeligen Detektivbüro mit abgenutzten Möbeln, wo eine kaputte Jalousie im Wind rattert. Auch Gebrauchsanleitungen, Gedichte oder Tweets haben Tester veröffentlicht.

Top-Jobs des Tages

Jetzt die besten Jobs finden und
per E-Mail benachrichtigt werden.

Standort erkennen

    Das Prinzip lässt sich zudem auf andere Bereiche übertragen. Ein Programmierer hat eine Demo entwickelt, der man vorschreibt, wie ein bestimmtes Layout aussehen soll – das kann eine Website mit roten Knöpfen von eins bis fünf sein, aber auch eine Tabelle mit den reichsten Ländern der Welt. Das funktioniert tatsächlich. Auch Rechenaufgaben kann das Programm lösen.

    Allerdings seien die beispielhaft veröffentlichten Geniestreiche nicht repräsentativ für das Leistungsvermögen des Systems, betont Uszkoreit: „Da werden die schönsten Sachen rausgesucht – man sieht nicht, wie oft es danebenliegt.“

    Was GPT-3 alles kann

    Entwicklung eines Rollenspiels

    Ein Programmierer hat ein Rollenspiel im Stil von „Dungeons & Dragons“ entwickelt. Es stellt dem Spieler Aufgaben, die er mit Texteingaben lösen muss – diese beeinflussen den weiteren Verlauf der Handlung.

    Gestaltung von Layout

    Ein Programm nutzt GPT-3, um aus Spracheingaben Layouts zu entwerfen, etwa Knöpfe in allen Farben des Regenbogens. Neben der grafischen Darstellung zeigt es auch den Quellcode an.

    Veränderung von Textstilen

    Das System ist in der Lage, den Stil eines Textes zu verändern. So lässt sich juristischer Fachjargon in einfache Sprache übersetzen.

    Formulierung von Tweets

    Ein Generator erzeugt aus einzelnen Begriffen Twitter-Kurznachrichten. 30 bis 40 Prozent seien nutzbar gewesen, schreibt der Entwickler.

    Verfassen von fiktiven Texten

    Es gibt viele Beispiele, wie das Sprachmodell aus kurzen Vorgaben Gedichte oder Geschichten macht, etwa im Stil von T. S. Eliot oder Stanislaw Lem. Je länger die Texte sind, desto wirrer werden aber die Ergebnisse.

    Vorhersage der Zukunft

    Wie geht 2020 weiter? Ein Forscher hat Wikipedia-Texte als Grundlage für Prognosen ins System eingespeist. Ein Ergebnis: US-Präsident Donald Trump sagt wegen Corona die Wahl ab.

    Das Programm hat das Unternehmen Open AI entwickelt. Dahinter steckt eine illustre Runde aus der US-Technologieszene: Chef ist Sam Altman, der früher den bekannten Inkubator Y Combinator geleitet hat. Zu den Geldgebern zählen prominente Köpfe aus dem Silicon Valley wie Elon Musk, Peter Thiel und Reid Hoffman. Zudem hat Microsoft eine Milliarde Dollar investiert.

    Hinter dem Programm steckt indes kein Textverständnis, sondern Wahrscheinlichkeitsrechnung. Denn GPT-3 ist ein Sprachmodell, das mit statistischen Methoden auf der Basis von riesigen Textmengen errechnet, welches Wort als nächstes folgen könnte. Was das neue Programm besonders macht, sind einerseits die innovativen Methoden, andererseits die Dimensionen: Die Entwickler haben 570 Gigabyte Text benutzt, um das Modell zu trainieren – Wikipedia, digitalisierte Bücher und Zeitschriften, Texte aus dem Internet. Die Menge entspricht dem 380.000-fachen Umfang der Bibel. GPT-3 hat also Zugriff auf eine große Menge Weltwissen. 

    Außerdem ist das neuronale Netz hundert Mal größer als bei der Vorgängerversion. Das System könne daher auch – anders als die Autovervollständigung auf dem Smartphone – ganze Sätze und Absätze berücksichtigen, sagt Wissenschaftler Uszkoreit. Das ist die Voraussetzung dafür, dass komplette Texte entstehen.

    Lernen mit Lückentext

    Um GPT-3 zu trainieren, haben die Entwickler einen Trick verwendet: Sie haben dem Programm viele Texte gezeigt, in denen Wörter oder Wortgruppen fehlten – es sollte lernen, die Lücken zu füllen, und zwar so, dass es in den Kontext passt. Eine Gebrauchsanleitung klingt anders als ein Gedicht. GPT-3 kann besser als jemals zuvor automatisch Texte ergänzen, Lücken füllen und Fragen beantworten. Das trägt zum Hype bei.

    Bei genauerem Hinsehen zeigen sich allerdings Schwächen. Das System hangele sich mit Wahrscheinlichkeitsrechnung von einem Satz zum nächsten, eigene Schlussfolgerungen ziehe es nicht, sagt Uszkoreit. Das zeigen Tests, die US-Kollegen des Wissenschaftlers gemacht haben. Wenn Textaufgaben echtes Verstehen und Schlussfolgern erfordern, rät das statistische Modell nur wenig besser als ein Zufallsgenerator. „Je länger ein so produzierter Text ist, desto mehr entwickelt er sich vom eigentlichen Thema weg.“

    GPT-3 klingt also schlau, ist es aber nicht. „Das System ist wie ein altkluges Kind, das viel gelesen hat und die Erwachsenen mit einigen schlauen Sätzen verblüfft“, sagt Uszkoreit. Mit angelesenem Halbwissen und gut gewählten Worten täusche es ein Verständnis der Welt vor. „Das ist Nachplappern auf allerhöchstem Niveau.“

    Das bedeutet auch: GPT-3 kann keine Gedanken hinterfragen. Damit ist das System anfällig für Vorurteile, die in den Daten enthalten sind. Das zeigt sich etwa in einem „Tweet Generator“, der aus einzelnen Wörtern kurze Beiträge für Twitter verfasst. „Juden lieben Geld, zumindest meistens“, spuckte der beispielsweise aus, wie Jerome Pesenti, Chef der KI-Entwicklung bei Face‧book, kritisierte. Das System sei „wegen schädlicher Vorurteile unsicher“. Auf welche Quellen das Ressentiment zurückgeht, ist unklar.

    Auch eine „Philosopher AI“, die auf Kommando kluge Gedanken zu den verschiedensten Themen entwickeln soll, gab teils bedenkliche Äußerungen von sich. So schrieb sie, dass Demokratie zwar besser sei als Diktatur, weil sie bessere Ergebnisse für die Bevölkerung insgesamt erziele – aber auch, dass die Diktatur in Krisenzeiten überlegen sei und daher wohl die Mehrheit eine Mischform der beiden Herrschaftstypen akzeptieren würde. Entscheidungen von großer Tragweite möchte man dem System nicht überlassen.

    Große Verbesserungen für Chatbots

    Trotz dieser Schwächen könnten Systeme wie GPT-3 große Verbesserungen ermöglichen. So vereinfacht die Technologie es enorm, neue Anwendungen mit Künstlicher Intelligenz zu entwickeln: Schon wenige Beispiele reichen, um ein neues Modell zu trainieren, das beispielsweise aus Fußballergebnissen Texte schreibt – bislang ist das ein aufwendiger und langwieriger Prozess. „Few shot learning“ nennen Experten dieses Prinzip. „Das ist ein ganz großer Fortschritt gegenüber allem, was wir bisher hatten“, sagt Uszkoreit. 

    Auch die Kommunikation zwischen Mensch und Maschine könnte profitieren, zum Beispiel bei Chatbots: Solche Dialogsysteme, die beispielsweise im Kundenservice automatisch Antworten geben sollen, stoßen heute schnell an die Grenzen des Verständnisses. GPT-3 könne die Kommunikation verbessern, sagt Uszkoreit – allerdings nur in Verbindung mit Datenbanken für Produkte oder Reparaturanleitungen: „Viel Wissen, das wir in Texten so nicht finden können, ist in Datenbanken, also in Tabellenform, abgelegt.“ Der Spezialist selbst arbeitet daran, diese beiden Technologien zusammenzubringen.

    Auch in der Wirtschaft sind die Erwartungen groß. „Für mich ist GPT-3 eine kleine Revolution“, sagt Jörg Bienert, Vorsitzender des KI-Bundesverbands und Partner bei der Beratung Alexander Thamm, die sein Start-up Aiso-Lab übernommen hat. Das System biete „enormes wirtschaftliches Potenzial“. So sei es nun möglich, Modelle mit Künstlicher Intelligenz mit weniger Daten zu trainieren als bislang. Das beschleunige die Entwicklung von Anwendungen.

    Besonders bei der Verarbeitung von Texten sieht der Manager großes Potenzial – beispielsweise bei der Analyse von Patenten oder Archivdaten, aber auch bei Chatbots. Schon jetzt gibt es Unternehmen, die sich auf die Analyse von Patentportfolios, Verträgen oder Rechnungen mithilfe von Algorithmen spezialisiert haben – ihre Arbeit könnte sich erleichtern.

    Allerdings befürchtet der Verbandschef eine Abhängigkeit: Open AI sollte ursprünglich ein gemeinnütziges Projekt sein, das die Technologie erforscht und öffentlich zugänglich macht. Seit 2019 gibt es aber ein gewinnorientiertes Tochterunternehmen, das die Technologie vermarktet. So auch im Fall von GPT-3: Der Quellcode liegt nicht offen, Zugriff auf das System haben bislang nur einige Partner über eine Schnittstelle.

    Das Unternehmen kontrolliere, wer Zugriff auf die Technologie erhalte, warnt Bienert – und es lasse sich offenbar die Anwendungsfälle von Nutzern genau darlegen. „Open AI kann das Wissen nutzen, um das eigene System mit den Daten der Kunden immer schlauer zu machen.“ Das Forschungslabor versichert, dass Kunden das Eigentum an ihren Daten behalten und entscheiden, ob diese für Trainingszwecke genutzt werden.

    Bienert fürchtet ein Monopol und regt an, dass die Politik die Entwicklung einer vergleichbaren, offen verfügbaren Technologie in Deutschland oder Europa fördert. „Dafür braucht es eine riesige Datenmenge, das kann ein Unternehmen allein nicht stemmen“, sagt er. „Deswegen wäre es wichtig, dass sich Deutsche und Europäer in einer relativ frühen Phase zusammentun.“

    Direkt vom Startbildschirm zu Handelsblatt.com

    Auf tippen, dann auf „Zum Home-Bildschirm“ hinzufügen.

    Auf tippen, dann „Zum Startbildschirm“ hinzufügen.

    ×