Wie sich die linguistische KI entwickelt hat und wie wir zu ChatGPT gekommen sind
Die Intelligenz künstlich heute ist es in aller Munde. Inzwischen wissen wir, wie man es benutzt: Greifen Sie einfach auf das Internet zu und nutzen Sie Plattformen wie ChatGPT, Dall-E und Synthesia. In diesem Zusammenhang bereiten wir einen interessanten Artikel über 10 Websites vor, die künstliche Intelligenz verwenden, um sehr unterschiedliche Dinge zu tun. Aber nehmen wir das Beispiel der am weitesten verbreiteten KI. Wie wurde es geboren? wie wir zu der Version gekommen sind, die wir heute alle nutzen können frei?
Heutzutage verwenden viele von uns ChatGPT, aber nicht jeder weiß, was dahinter steckt und wie wir dazu gekommen sind. Hier ist eine Zeitleiste von den 80er Jahren bis heute
Beginnen wir mit den 80er Jahren: Recurrent Neural Networks
ChatGPT ist eine Version von GPT-3, einem sehr großen Sprachmodell, das von OpenAI entwickelt wurde. Sprachmodelle sind eine Art von neuronales Netzwerk der an sehr vielen Texten geschult wurde. Neuronale Netze sind Software, die von der Art und Weise inspiriert ist, wie Neuronen im menschlichen Gehirn miteinander kommunizieren. Da jeder Text aus Folgen von Buchstaben und Wörtern unterschiedlicher Länge besteht, benötigen Sprachmodelle eine Art neuronales Netzwerk, das in der Lage ist, diese Art von Daten zu verstehen. Die wiederkehrenden neuronalen Netze (Wiederkehrende neuronale Netze), die in den 80er Jahren erfunden wurden, können mit Wortfolgen umgehen, sind aber langsam zu trainieren und können zuvor gelernte Wörter in einer Folge vergessen. LSTMs konnten Textfolgen von mehreren hundert Wörtern verarbeiten, aber ihre sprachlichen Fähigkeiten waren begrenzt. Was sind? Akronym für "Langes Kurzzeitgedächtnis" oder "Langzeitgedächtnis“ ist ein künstliches neuronales Netzwerk, das im Bereich der künstlichen Intelligenz verwendet wird
Lesen Sie auch: Google bestätigt die Kompatibilität der von Chatbot und KI generierten Inhalte
2017: das Jahr des Durchbruchs der künstlichen Intelligenz mit den Transformers
Der Durchbruch, der zur aktuellen Generation großer Sprachmodelle geführt hat, kam, als ein Forscherteam von Google die erfand Transformer, eine Art neuronales Netzwerk, das verfolgen kann, wo jedes Wort oder jede Phrase in einer Sequenz vorkommt. Sie werden selbst verstehen, dass das größte Problem von LSTM überwunden ist. Aber wie haben sie das gemacht? Das Konzept der angewandten Linguistik tritt in die Technologie ein. Die Bedeutung eines Wortes hängt oft von der Bedeutung anderer Wörter ab, die ihm vorangehen oder folgen. Behalten Sie diese im Auge Kontextinformationen, Transformers können längere Textfolgen verarbeiten und die Bedeutung von Wörtern genauer erfassen. Zum Beispiel hat „Hot Dog“ eine ganz andere Bedeutung in den Sätzen „Ich esse lieber Hamburger als Hot Dogs"Und"Hot Dogs werden am besten mit Senf gegessen“. Im Wesentlichen haben kontextbezogene Informationen, die Menschen erfassen und Maschinen nicht, es möglich gemacht, einen Unterschied zu machen.
2018-2019: die Jahre der GPT-Entwicklung
Die ersten beiden großen Sprachmodelle von OpenAI kamen innerhalb weniger Monate an. Das Unternehmen wollte Mehrzweck- und Allzweck-KI entwickeln und glaubt, dass große Sprachmodelle ein wichtiger Schritt in Richtung dieses Ziels sind. Auf diese Weise ist die Software in der Lage selbst Muster in den Daten erkennen, ohne dass ihnen gesagt wird, was sie sehen oder lesen. Viele frühere Erfolge beim maschinellen Lernen beruhen auf überwachtem Lernen und annotierten Daten, aber die manuelle Datenkennzeichnung ist eine langsame Arbeit, die die Größe der für das Training verfügbaren Datensätze begrenzt. Es war der GPT-2, um das größte Aufsehen zu erregen. Tatsächlich sagte OpenAI, es sei so besorgt, dass die Leute GPT-2 verwenden könnten.irreführende, verzerrte oder missbräuchliche Sprache zu erzeugen“, die nicht das vollständige Modell veröffentlichen würde. Aber das ist nicht alles.
Wenn GPT-2 beeindruckend war, hat die Fortsetzung von OpenAI, die GPT-3, buchstäblich die Revolution gemacht. Seine Fähigkeit dazu menschenähnliche Texte generieren stellte einen großen Sprung nach vorn dar. GPT-3 kann Fragen beantworten, Dokumente zusammenfassen, Geschichten in verschiedenen Stilen erstellen, zwischen Englisch, Französisch, Spanisch und Japanisch übersetzen und vieles mehr. Einen Menschen kann sie aber trotzdem nicht ersetzen, weil ihr die Gründungsmerkmale der Menschlichkeit fehlen. Wir haben ausführlich darüber gesprochen dieser Artikel.
Source | MIT
