#055 GPT-4 Allüberall
Heute zu Gast im CM MAGAZIN: Holger Klein (S'ouvre dans une nouvelle fenêtre)
⬇️ Die 🎧-Podcast-Version zum Hören unten am Ende des Artikels ⬇️
Die Themen:
GPT-4 ist da #ki
GPT-4 Benchmarks #ki
GPT-4 schreibt Pong #ki
GPT-4 Kontextvergrößerung #ki
GPT-4 erklärt Witze #ki
GPT-4 kann Textaufgaben #ki
GPT-4 Leitplanken und das geschlossene System #ki
GPT-4 Jailbreak: Das Sonnenlicht ist das beste Desinfektionsmittel #ki
GPT-4 und das unvoreingenommene Lernen #ki
Google ist auch noch da: PaLM #ki
Anthropic ist auch noch da: Claude #ki
GPT-4 Kritik #ki
Werden wir alle störben? Äh, ja. #ki
## Die Hausmeisterei
Gleich vorweg: sorry, diese Ausgabe ist KI pur. Wir stehen am Ende einer Woche der KI-Ankündigungen und -Veröffentlichungen und die heutige Sendung wird sich aus diesem gegebenen Anlass komplett um das Thema KI drehen. Ein passender Klickbait-Titel wäre z.B. "Aufstand der Sprachmodelle"
Natürlich reden wir über GPT-4, aber auch über Anthropics Claude und Googles PaLM und Microsoft's Bing. Bei Bing war nämlich die ganze Zeit schon GPT-4 drin und OpenAi hat das Feedback der Bing-User dazu verwendet, um GPT-4 etwas die Hörner abzufeilen... sprich ihm die Leitplanken etwas zu verbessern. Leitplanken, das sind diese künstlichen Einschränkungen, damit Sprachmodelle nicht gleich innerhalb kurzer Zeit zu rassistischen Nazi-Arschlöchern mutieren.
Ansonsten kurz meine Woche: Montag habe ich mit Allan Attridge aufgenommen für seinen Foto-Podcast The Two Hosers (S'ouvre dans une nouvelle fenêtre), die Folge sollte demnächst rauskommen. Dienstag war Happy Shooting (S'ouvre dans une nouvelle fenêtre), das war eine gute Sendung. Mittwoch habe ich mit Don Komarechka (S'ouvre dans une nouvelle fenêtre) aufgenommen, für TFTTF (S'ouvre dans une nouvelle fenêtre), die Sendung kommt noch.. und hier kommt jetzt erstmal Holgi.
Haut rein!
## GPT-4 ist da
Kommentar:
GPT-4 ist da. Ist das ein big deal? Ich denke schon. Wieviel besser als GPT-3 ist es? Sagt OpenAI leider nicht. Warum ist es ein big deal? Erste Tests (vor allem strukturierte Aufgaben) zeigen erstaunliche Fortschritte. Das Ding wird multimodal, d.h. es kann bald neben dem Text auch Bilder. Für Blinde jetzt schon, via bemyeyes.com (S'ouvre dans une nouvelle fenêtre)
Zugang bekommt ihr z.B. über ChatGPT+, das ist die 20$/Monat-Bezahlversion. Oder über das KI-Bing, da ist das auch schon (längst) drin.
Der Ansturm ist enorm, die anfänglichen 100 erlaubten Zugriffen je 4 Stunden wurden gerade auf 50 reduziert. Bzt. jetzt nur noch 25 in 3 Stunden. Puh.
GPT-4 kann soweit ich das sehe u.a.: programmieren, Code debuggen, Pong oder Breakout oder Tetris programmieren (teils in 30 Sekunden), (bald) Bilder verstehen und im Detail beschreiben (Foto vom Kühlschrank -> Kochrezept), basierend auf Scribbles (bald) Websites bauen, bei den Steuern helfen und ganz wichtig: Memes und Witze erklären. Es sei denn, sie kommen von Holgi.
Hier ein Thread mit 48 Dingen, die mit GPT-4 gehen (S'ouvre dans une nouvelle fenêtre).
Uff.
## GPT-4 Benchmarks
Kommentar:
Die meisten halbwegs strukturierten Tests gehen gut, z.B. das BAR-Exam oder das LSAT für die Anwaltsbranche (beim BAR ist GPT-4 besser als 90% der Menschen). Das System schafft es also problemlos durch die Aufnahmeprüfungen der meisten guten Colleges (S'ouvre dans une nouvelle fenêtre).
## GPT-4 schreibt Pong
(Quelle: https://chrismarquardt.com/tmp/pong.html (S'ouvre dans une nouvelle fenêtre))
Kommentar:
Disziplin: Softwareentwicklung im Eigenexperiment. 90 Sekunden nach meinem einfachen Prompt war Pong fertig. Pong ist das neue Hello World. Mein Prompt war "write pong so I can play against the computer, use js/html/css. make the js as small as you can"
Kreativleistung: gering. Pong ist ein gelöstes Problem. Das nächste Spiel hängt also nur noch von meiner Idee ab. Die sollte halt gut sein und ich sollte sie in Worten erklären können. Bzw. bald in Scribbles.
## GPT-4 Kontextvergrößerung
Kommentar:
GPT besteht aus einem Modell (das, auf das es trainiert wurde) und aus dem Kontext, den ich ihm gebe. Dieser Kontext war bisher nicht sehr groß. Jetzt wird er bis zu 32k Tokens (entspricht ca. 20k Wörtern) groß und kann dann mit entsprechend großer Datenbasis zusätzlich zum Modell gefüttert werden. Beispiele: Gesetze. Regelwerke. E-Mail-Dumps. Podcast-Transkripte. Mehr Kontext resultiert in besserem Output.
## GPT-4 erklärt Witze
Kommentar:
Was macht ein Pirat am Computer?- Er drückt die Enter-Taste.
GPT-4:
Dieser Witz ist ein Wortspiel, bei dem die Bedeutung des Wortes "Enter" (Eingabe) im Kontext der Computernutzung und der Piratenwelt auf humorvolle Weise kombiniert wird. Der Witz besteht darin, dass "Enter" im Zusammenhang mit Computern die Taste auf der Tastatur ist, die normalerweise zum Bestätigen einer Eingabe oder zum Abschluss einer Aktion gedrückt wird. Im Kontext der Piraten hat das Wort "Enter" jedoch eine andere Bedeutung. Es bezieht sich auf das "Entern" oder das gewaltsame Betreten und Übernehmen eines Schiffes durch Piraten. Die humorvolle Verbindung besteht darin, dass der Witz suggeriert, dass Piraten, wenn sie einen Computer benutzen, besonders gerne die "Enter"-Taste drücken, weil sie an das "Entern" von Schiffen erinnert. In Wirklichkeit hat das Drücken der Enter-Taste am Computer nichts mit Piraten oder dem "Entern" von Schiffen zu tun, aber der Witz spielt mit der Doppelbedeutung des Wortes "Enter", um eine humorvolle Vorstellung zu erzeugen.
--
Warum können Bienen so gut rechnen?- Weil sie den ganzen Tag mit Summen beschäftigt sind.
GPT-4:
Dieser Witz ist ebenfalls ein Wortspiel, bei dem zwei unterschiedliche Bedeutungen eines Wortes auf humorvolle Weise kombiniert werden. Der Witz basiert auf der Doppeldeutigkeit des Wortes "Summen". In der Welt der Bienen bezieht sich "Summen" auf das charakteristische Geräusch, das sie machen, wenn sie fliegen. In der Mathematik hingegen steht das Wort "Summe" für das Ergebnis einer Addition von Zahlen. Der humorvolle Aspekt des Witzes entsteht, indem die beiden unterschiedlichen Bedeutungen des Wortes "Summen" auf witzige Weise miteinander verknüpft werden. Der Witz suggeriert, dass Bienen gut rechnen können, weil sie ständig mit "Summen" (dem Geräusch) beschäftigt sind, und spielt dabei auf die andere Bedeutung von "Summe" (das Rechenergebnis) an. Natürlich hat das Summen von Bienen in Wirklichkeit nichts mit der Fähigkeit zu rechnen zu tun, aber der Witz erzeugt eine humorvolle Vorstellung durch das Wortspiel.
--
Ein Zirkus hat 3 Elefanten, Bim, Bam und Bum. Einer muss aus Konstengründen verkauft werden. Welcher?
.. äh ja. Das hier halt nicht. Siehe Audio.
## GPT-4 kann Textaufgaben
Kommentar:
Ein leeres Schwimmbecken kann durch die Zuflussleitung in 15 Stunden gefüllt werden. Ist das Becken voll, so dauert es 20 Stunden, um das Wasser wieder ablaufen zu lassen. Das Becken ist leer. Die Besitzerin will es füllen, vergisst jedoch, den Ablauf zu schliessen. Wie lange dauert es, bis das Schwimmbecken trotzdem voll ist?
GPT-4 leitet das hübsch und vollständig her:
Um diese Frage zu beantworten, müssen wir den Nettozufluss an Wasser pro Stunde berechnen.
Zufluss: Das Schwimmbecken kann in 15 Stunden gefüllt werden. Daher beträgt der Zufluss 1/15 des Beckens pro Stunde.
Abfluss: Da es 20 Stunden dauert, um das Wasser abzulassen, beträgt der Abfluss 1/20 des Beckens pro Stunde.
Nettozufluss: Um den Nettozufluss zu berechnen, subtrahieren wir den Abfluss vom Zufluss.
Nettozufluss = Zufluss - Abfluss
Nettozufluss = (1/15) - (1/20)
Um dies zu vereinfachen, bringen wir beide Brüche auf den gleichen Nenner (das kleinste gemeinsame Vielfache von 15 und 20 ist 60):
Nettozufluss = (4/60) - (3/60)
Nettozufluss = 1/60
Das bedeutet, dass in einer Stunde 1/60 des Schwimmbeckens netto gefüllt wird.
Um herauszufinden, wie lange es dauert, das Becken komplett zu füllen, müssen wir berechnen, wie viele Stunden benötigt werden, um von 1/60 auf 1 (also das gesamte Schwimmbecken) zu kommen:
1 / (1/60) = 60
Es dauert also 60 Stunden, um das Schwimmbecken unter diesen Bedingungen zu füllen.
## GPT-4 Leitplanken und das geschlossene System
Kommentar:
GPT-4 verfügt offenbar über mehr Leitplanken, nachdem es anhand des menschlichen Feedbacks aus dem Bing-Testlauf feinabgestimmt wurde. Es ist aber eher unwahrscheinlich, dass das alle potenziellen Probleme verhindert. Dass GPT-4 ein geschlossener Quellcode ist, ist für OpenAI aus verschiedenen Gründen gut: Die Konkurrenz kann es nicht so leicht nachbauen, aber die KI-Ethik-Forschung kann es auch nicht gründlich untersuchen. Die Geheimhaltung des Quellcodes bedeutet nicht, dass diese Probleme nicht existieren, es bedeutet nur, dass sie verborgen bleiben, bis man über sie stolpert oder etwas schief läuft.
Die Geheimhaltung des Trainingssets hat auch den Effekt, dass es schwieriger wird, herauszufinden, ob ihr geistiges Eigentum und ihre urheberrechtlich geschützten Arbeiten verwendet wurden.
## GPT-4 Jailbreak: Das Sonnenlicht ist das beste Desinfektionsmittel
Kommentar:
"token smuggling" heißt der recht schnell gefundene Jailbreak, der die GPT-4-Leitplanken umgeht. Letztendlich wird GPT da als Interpreter genutzt, um sich selbst auszutricksen. Der Entwickler auf die Frage "Was erhoffen Sie sich, mit diesem Versuch und der Verbreitung dieser Informationen zu erreichen?" - "Ich glaube, dass die Arbeit des Red-Teaming wichtig ist und nicht im Schatten der KI-Firmen stattfinden sollte. Die breite Öffentlichkeit sollte die Fähigkeiten und Grenzen dieser Modelle kennen, solange sie noch in den Kinderschuhen stecken, wenn wir ihnen erlauben wollen, sich in jedem Zentimeter unserer Gesellschaft zu verbreiten. Diese Art von "Jailbroken"-Aktionen von GPT-4 sind nichts im Vergleich zu dem, was GPT-N+1 sagen/ tun könnte, also ist es besser, einen Vorsprung zu bekommen, indem man diese Modelle jetzt testet, solange sie noch ein "Spielzeug" sind. Ich teile diese Exploits, um andere zu ermutigen, auf meiner Arbeit aufzubauen und neue Grenzen in der Ausrichtung des Modells zu finden. Sonnenlicht ist das beste Desinfektionsmittel"
## GPT-4 und das unvoreingenommene Lernen
Kommentar:
Lernen ist ein Aspekt, der mich persönlich sehr trifft. Es ist absolut wichtig, dass Lehrer:innen nicht nur Wissen vermitteln, sondern ein Umfeld schaffen, in dem Schüler:innen sich wohl und sicher fühlen, Fragen zu stellen. Ich hatte in meiner Schulzeit genügend Lehrer, die das nicht geschafft haben. Und aus Angst vor sozialer Ausgrenzung habe ich mich oft nicht getraut, selbstbewusst vor versammelter Klasse zuzugeben, dass ich etwas zum zweiten Mal nicht verstanden habe und es nochmal erklärt haben möchte.
Jemand schrieb auf Reddit das hier: "Ich komme aus einem völlig anderen Berufsfeld und habe gerade beschlossen, Programmieren zu lernen, um meine eigene Arbeit zu verbessern. Ich habe diese Entscheidung getroffen, weil KI mir das Gefühl gibt, dass Programmieren für mich jetzt erreichbar ist. Es fühlt sich weniger kryptisch an, wenn ich jemanden oder etwas habe, der mich Schritt für Schritt anleitet.
Gestern habe ich GPT-4 als Programmiertutor ausprobiert und es war überwältigend. Das Besondere für mich ist, dass ich mich völlig sicher fühle, wenn ich sehr einfache (wenn nicht sogar dumme) Fragen stelle, wie z. B.: Okay, ich habe keine Ahnung, was du gerade gesagt hast, was ist überhaupt xyz?
Aber noch beeindruckender ist, dass es den Kontext dessen, was ich zu erreichen versuchte, versteht und mir eine zufriedenstellende Antwort auf die Frage gibt. Z.b. "Der Code funktioniert, das Ergebnis ist korrekt, aber es ist nicht wirklich das, was ich will, was habe ich falsch gemacht?"
Das KI-Schreib-Helfer-System Sudowrite wirbt mit: "Sudowrite ist der unvoreingenommene KI-Schreibpartner, der immer da ist, um noch einen weiteren Entwurf zu lesen, dem nie die Ideen ausgehen - selbst um drei Uhr morgens - und den Sie sich schon immer gewünscht haben.️"
## Google ist auch noch da: PaLM
Kommentar:
Diese Woche war nicht nur bezüglich GPT-4 interessant. Auch Google ist dabei und öffnet sein Sprachmodell PaLM für Entwickler:innen und startet eine API für das Modell. PaLM ist ein weiteres großes Sprachmodell, das ähnlich wie die GPT-Modelle von OpenAI oder die LLaMA-Familie von Meta Textgenerierungs- und Bearbeitungsaufgaben ausführen kann.
Google startet auch eine neue App (MakerSuite), um Entwickler:innen das Trainieren von PaLM für spezifische Aufgaben zu erleichtern.
Diese Öffnung wird uns vermutlich mehr Chatbots und digitale Assistenten beschweren. Diesmal vielleicht in gut? (hey, Siri..)
## Anthropic ist auch noch da: Claude
(Quelle: https://www.anthropic.com/index/introducing-claude (S'ouvre dans une nouvelle fenêtre))
Kommentar:
Auch Anthropic hat was angekündigt, nämlich Claude. Claude ist ein KI-Assistent, den Anthropic als "hilfreich, ehrlich und harmlose" bezeichnet. Auch hier sehen wir ähnliche Anwendungsfelder: Zusammenfassung, Suche, kreatives und gemeinsames Schreiben, Fragen und Antworten, Coding usw. Claude soll auch besser steuerbar sein und in Bezug auf Persönlichkeit, Ton und Verhalten anpassbar werden. Claude wird soll u.a. von Quora, Notion, DuckDuckGo und Robin AI genutzt werden. Auf poe.com (S'ouvre dans une nouvelle fenêtre) kann Claude ausprobiert werden.
## GPT-4 Kritik
Kommentar:
GPT schürt verständlicherweise auch Ängste, besonders bei "knowledge workern". Unter diesen Begriff fallen z.B. generell 'content creation', Journalismus, Rechtswesen, Customer Service oder Übersetzung.
Im hier exemplarisch aufgeführten Golem-Artikel "Bullshit, der (e)skaliert" schreibt Jürgen Geuter (selbst erklärter "de-evangelist and luddite/Technikfeind") über soziale Konsequenzen der Digitalisierung.
Die Argumente im Artikel sind nicht neu und lassen sich grob aufteilen in:
Dominanz der großen Anbieter
Ausgrenzung der Wissenschaft
hoher Energieverbraucht beim Training der Modelle
mangelnde Objektivität der KI
Die Open-Source-Seite ist aber gefühlt nicht weit hinterher, siehe große Sprachmodelle wie LLaMA (S'ouvre dans une nouvelle fenêtre) und z.B. das enorme Ökosystem, das über die letzten Monate rund um Stable Diffusion förmlich explodiert ist. Das hat besonders OpenAI mit DALL-E 2 zu spüren bekommen.
Wachsamkeit ist aber sicher trotzdem angebracht. Und in den USA scheint sich währenddessen ein Trend weg vom Studium hin zu Lehrberufen zu etablieren.
## Werden wir alle störben? Äh, ja.
Am Ende das Fazit:
Ja schon, wir werden alle störben. So wie immer halt.
Die Frage nach dem bedingungslosem Grundeinkommen wird immer wichtiger
Kurzfristige Lösung: Was mit Holz machen, Hallo Etsy 👋
Holgi glaubt hier an die Beharrungskräfte (d.h. da wird sich nichts schnell ändern, die Menschein sind zu träge). Ich selbst glaube eher, dass die Entwicklung uns, wenn nicht offen, dann halt versteckt überraschen wird.
## Und Tschüs
OOFFF.. was für 'ne Woche. Ich brauche jetzt das Wochenende. Bzw. werde mich heute Abend wieder in eine Episode TFOP stürzen, The Future of Photography - das Thema wissen wir noch nicht, der Podcast ist in letzter Zeit allerdings aus meiner Sicht wirklich interessant geworde. Könnte ihr ja mal ausprobieren.
Euch allen ein schönes Wochenende und eine schöne Woche. Falls euch das hier so gut gefallen sollte, dass ihr das direkt unterstützen wollt, dann freue ich mich ungemein drüber. Dafür bekommt ihr dann einen direkten Podcasts-Feed für euren Player. Den Link dazu findet ihr auf cmmagazin.com (S'ouvre dans une nouvelle fenêtre)
Bis nächste Woche, macht's gut!
PS: Du kannst dieses Magazin gratis lesen, aber gerne auch finanziell unterstützen. Dafür bekommst Du einen persönlichen Feed für Deinen Podcast-Player und die Podcastfolgen vor allen anderen.
Der Podcast zum Hören. In dieser Folge zu Gast bei Chris Marquardt: Holger Klein
Mit Mitgliedschaft den Podcast sofort im eigenen Player hören, sonst ein paar Tage später hier. Deine Unterstützung finanziert dieses Projekt ❤️ 🙏
Zu den Paketen (S'ouvre dans une nouvelle fenêtre)
Déjà membre ? Connexion (S'ouvre dans une nouvelle fenêtre)
