Zum Hauptinhalt springen

#016 Lochschmied-Alpaka [­čÄž]

Heute zu Gast: Thomas Brandt & Holger Klein. 

+++
Als Unterst├╝tzer:in bekommst Du den Podcast zum Magazin automatisch in Deinen Podcast-Client geliefert.
Mehr dazu ganz unten ÔČç´ŞĆ
+++

Chris und Holgi sagen hallo:

Hallo ihr lieben neuen Menschen! Herzlich Willkommen und Danke für eure Unterstützung! 

Es kehrt wieder Normalit├Ąt ein. Moni und ich waren eine Woche lang in Urlaub auf Pellworm (Urlaubsvideo (├ľffnet in neuem Fenster)) im Wattenmeer. Das war sch├Ân und jetzt geht's hier wieder weiter, heute mit Holger Klein und Thomas Brandt. Mit Holgi geht's nochmal kurz ins Thema Lichtverschmutzung durch LEO, und das Schl├╝sseldienst-Paradox und mit Thomas spreche ich ├╝ber gro├če Sprachmodelle und dar├╝ber, was die Briten gerade zum Thema Selbstfahren beschlie├čen.┬á

Auuuuu├čerdem habe ich hier mal einen kleinen Discord gestartet (Invite hier (├ľffnet in neuem Fenster)), falls ihr euch mal untereinander austauschen m├Âchtet. Ich h├Ąnge da dann auch ├Âfter mal ab.

Die Themen:

  • Sieben gro├če Sprachmodelle #ki

  • LEO und die Astronomie #space

  • Fernsehen beim Fahren #mobilit├Ąt

  • Das Schl├╝sseldienst-Paradox #fotografie

## Sieben gro├če Sprachmodelle

"The BigScience team is using 384x A100 80GB GPUs for training tr11-176B-ml probably Mar-Jun/2022 [...] 293TB RAM just on the scalar/CPU partition. 61,120 CPU cores on the CPU partition."

(Quelle: https://reddit.com/r/GPT3/comments/ub7g19/7_new_large_language_models_released_in_the_last/ (├ľffnet in neuem Fenster))

Kommentar:

Es gab in der Computerei mal eine Zeit, da wurden Rechenauftr├Ąge in die Warteschlange des Zentralrechners gestellt, oft in Form von Lochkarten. Diese wurden dann abgearbeitet, wenn das System Zeit daf├╝r hatte. Timesharing nannte man das und so ein Arbeitsauftrag an den Rechner konnte schon mal Tage dauern, bis er ausgef├╝hrt war. Auch heute machen unsere Rechner so etwas ├Ąhnliches, nur halt lokal und in der Regel so flott, dass wir m├Âgliche Wartezeiten ├╝berhaupt nicht bemerken. Im Bereich des Big Machine Learning n├Ąhern wir uns mittlerweile ganz anderen Zeitr├Ąumen.

Machine Learning ist ja ein zweigeteilter Prozess. Da ist auf der einen Seite das recht aufw├Ąndige Training der Netze mit Tonnen von Daten und auf der anderen Seite dann die Ausf├╝hrung.

Die Rechenkapazit├Ąt unserer Smartphones reicht zum Beispiel aus, um in unseren Fotos Katzen von Hunden von Sonnenunterg├Ąngen von Architektur zu unterscheiden. Einige tausend Dinge k├Ânnen da auf unseren Hosentaschenger├Ąten erkannt und unterschieden werden. Die neuronalen Netze, die das m├Âglich machen, werden aber aufw├Ąndig trainiert.

Am Beispiel aktueller Sprachmodelle wie GPT-3 oder Aleph Alpha Luminous wird das deutlich. Da flie├čen Milliarden Parameter und Terabyte-weise Daten ins Training und die daf├╝r aus unz├Ąhligen GPUs oder sogar ganz neu angefertigten Gro├črechner brauchen f├╝r einen einzigen Trainingslauf Wochen oder l├Ąnger.┬á

Aktuell l├Ąuft zum Beispiel der Trainingslauf f├╝r 'BigScience tr11 176B ML', das mit 178 Milliarden Parametern zu den gr├Â├čeren Sprachmodellen geh├Ârt. Trainingszeit M├Ąrz bis Juni. 3-4 Monate. Kein Wunder kosten diese Trainingsl├Ąufe Millionen.

Da ist dann auch nicht mehr viel mit Trial und Error. Mal eben neu kompilieren, weil sich ein Fehler eingeschlichen hat, wird teuer.

## LEO und die Astronomie

(Quelle: https://youtu.be/dKrgg9NhG6Q (├ľffnet in neuem Fenster) )

Kommentar:

Der Low Earth Orbit (LEO) befindet sich irgendwo in 300 bis 600 km H├Âhe. Dort fliegt die ISS und viele Satelliten. Seit kurzem ist der LEO auch f├╝r die Telekommunikation interessant geworden. Einige Firmen stationieren dort Satelliten f├╝r die Erdbeobachtung, Meteorologie und auch immer mehr Satelliten f├╝r die Internetversorgung von oben. So auch die Firma SpaceX, die seit ein paar Jahren mit gro├čen Schritten ihr Starlink-Netzwerk aufbaut und fast w├Âchentlich Satelliten in die nahe Erdumlaufbahn schickt. Mittlerweile sind es tausende und es werden noch deutlich mehr.

W├Ąhrend ich mich auf der einen Seite ├╝ber die M├Âglichkeit freue, in Zukunft fast ├╝berall schnell ins Internet zu kommen und vor meinem inneren Auge bereits meinen pandemiefern am einsamen Waldsee geparkten Content-Production-Van sehe, h├Âre ich auch die Stimmen der anderen Seite, die sich ├╝ber die neuen Objekte am Himmel gar nicht freuen. In meiner Foto-Bubble sind das nat├╝rlich die Astro-Menschen aber besonders die Astronomie hat hier zu k├Ąmpfen.

Ich habe mir zum Thema die Astronomin Meredith Rawls eingeladen, die sich am Vera C. Rubin Observatory ausgiebig mit diesem Thema besch├Ąftigt.

Meine komplette Unterhaltung mit ihr gibt es hier im Video (├ľffnet in neuem Fenster). ┬á

## Fernsehen beim Fahren

"People using self-driving cars will be allowed to watch television on built-in screens under proposed updates to the Highway Code."

(Quelle: https://www.bbc.com/news/technology-61155735 (├ľffnet in neuem Fenster))

Kommentar:

Die Briten erlauben ab dem Sommer das Fernsehen in selbstfahrenden Autos. Nat├╝rlich mit Einschr├Ąnkungen. Wir reden da von langsamer Fahrt auf Schnellstra├čen, also Autobahnstau. Und die Fahrerinnen m├╝ssen jederzeit bereit sein, das Steuer zu ├╝bernehmen, wenn sie vom Fahrzeug dazu aufgefordert werden. Und das Fernsehen darf auch nicht auf dem Smartphone stattfinden, sondern nur auf einem ins Auto eingebauten Bildschirm.

Soweit so eingeschr├Ąnkt. Eigentlich ja weitgehend nutzlos, weil halt auf den Stau beschr├Ąnkt. Obwohl... wenn man in LA wohnt, besteht ja gef├╝hlt 80% der Fahrt zur Arbeit aus Stau.

Schwappt das r├╝ber zu uns?

## Das Schl├╝sseldienst-Paradox

"However, as he became more experienced in his craft and was able not only to pick locks very quickly ÔÇô often in under a minute ÔÇô but could also do so without breaking the locks, he encountered far more complaints about how much he was charging, and tips became a thing of the past."

(Quelle: https://thefinancialbodyguard.com/the-locksmiths-paradox/ (├ľffnet in neuem Fenster))

Kommentar:

Dan Ariely ist Professor der Psychologie an der Duke University und er erz├Ąhlt die Geschichte von einem Schl├╝sseldienst-Mitarbeiter, der als unerfahrener Anf├Ąnger langsam und nicht besonders gut war, aber trotz zerst├Ârter Schl├Âsser immer zufriedene Kunden hatte, die auch ordentlich Trinkgeld bezahlten. ├ťber die Jahre wurde er erfahrener, besser, schneller und das Trinkgeld wurde weniger.┬á

Dieses Paradoxon (er nennt es "The Locksmith's Paradoxon") begegnet mir regelm├Ą├čig in der Fotografie. Da gibt es Fotografen (ich w├Ąhle hier bewusst die m├Ąnnliche Form), die eine Unmenge an Equipment auffahren, lange brauchen und letztendlich Fotos abliefern, die erfahrenere Fotografen selbst mit dem Smartphone genau so gut oder besser hinbekommen h├Ątten.

Offensichtlich wird der Arbeit anderer mehr Wert zugewiesen, wenn sie l├Ąnger dauert und aufw├Ąndiger scheint, obwohl Menschen mit mehr Erfahrung mit weniger (und schlechterem) Equipment schneller bessere Ergebnisse erzielen.

Habt ihr da Beispiele aus eurem eigenen Umfeld?

Und warum m├╝ssen Paradoxa immer so doofe Namen haben M├╝nchhausen-Trilemma, Newcombs Problem, Yablos Paradoxon, ...┬á (├ľffnet in neuem Fenster)

Sooooo. Das war's f├╝r heute... habt noch ein sch├Ânes Wochenende.. falls euch in dieser Ausgabe noch irgendwas aufgefallen ist, falls ihr Korrekturen habt oder einfach so was tun wollt.. bis gleich im Discord.┬á

Ansonsten freue ich mich nat├╝rlich wie immer auf retweets, retoots und alles andere was das Magazin ein klein Wenig sichtbarer macht.

Bis n├Ąchste Woche!

PS: Diese Ausgabe selbstverst├Ąndlich auch diese Woche wieder im begleitenden Podcast mit Thomas, Holgi und mir. Hier im Web-Browser h├Âren:

Unterst├╝tzer:innen / Mitglieder bekommen die Podcasts automatisch im eigenen Podcast-Player.

Nur zahlende Mitglieder von CM MAGAZIN k├Ânnen hier Kommentare lesen und schreiben.