Zum Hauptinhalt springen

#016 Lochschmied-Alpaka [­čÄž]

Heute zu Gast: Thomas Brandt & Holger Klein. 

+++ Als Unterst├╝tzer:in bekommst Du den Podcast zum Magazin automatisch in Deinen Podcast-Client geliefert. Mehr dazu ganz unten ÔČç´ŞĆ +++

Chris und Holgi sagen hallo:

Hallo ihr lieben neuen Menschen! Herzlich Willkommen und Danke für eure Unterstützung! 

Es kehrt wieder Normalit├Ąt ein. Moni und ich waren eine Woche lang in Urlaub auf Pellworm (Urlaubsvideo) im Wattenmeer. Das war sch├Ân und jetzt geht's hier wieder weiter, heute mit Holger Klein und Thomas Brandt. Mit Holgi geht's nochmal kurz ins Thema Lichtverschmutzung durch LEO, und das Schl├╝sseldienst-Paradox und mit Thomas spreche ich ├╝ber gro├če Sprachmodelle und dar├╝ber, was die Briten gerade zum Thema Selbstfahren beschlie├čen.┬á

Auuuuu├čerdem habe ich hier mal einen kleinen Discord gestartet (Invite hier), falls ihr euch mal untereinander austauschen m├Âchtet. Ich h├Ąnge da dann auch ├Âfter mal ab.

Die Themen:

  • Sieben gro├če Sprachmodelle #ki
  • LEO und die Astronomie #space
  • Fernsehen beim Fahren #mobilit├Ąt
  • Das Schl├╝sseldienst-Paradox #fotografie

## Sieben gro├če Sprachmodelle

"The BigScience team is using 384x A100 80GB GPUs for training tr11-176B-ml probably Mar-Jun/2022 [...] 293TB RAM just on the scalar/CPU partition. 61,120 CPU cores on the CPU partition."

(Quelle: https://reddit.com/r/GPT3/comments/ub7g19/7_new_large_language_models_released_in_the_last/)

Kommentar:

Es gab in der Computerei mal eine Zeit, da wurden Rechenauftr├Ąge in die Warteschlange des Zentralrechners gestellt, oft in Form von Lochkarten. Diese wurden dann abgearbeitet, wenn das System Zeit daf├╝r hatte. Timesharing nannte man das und so ein Arbeitsauftrag an den Rechner konnte schon mal Tage dauern, bis er ausgef├╝hrt war. Auch heute machen unsere Rechner so etwas ├Ąhnliches, nur halt lokal und in der Regel so flott, dass wir m├Âgliche Wartezeiten ├╝berhaupt nicht bemerken. Im Bereich des Big Machine Learning n├Ąhern wir uns mittlerweile ganz anderen Zeitr├Ąumen.

Machine Learning ist ja ein zweigeteilter Prozess. Da ist auf der einen Seite das recht aufw├Ąndige Training der Netze mit Tonnen von Daten und auf der anderen Seite dann die Ausf├╝hrung.

Die Rechenkapazit├Ąt unserer Smartphones reicht zum Beispiel aus, um in unseren Fotos Katzen von Hunden von Sonnenunterg├Ąngen von Architektur zu unterscheiden. Einige tausend Dinge k├Ânnen da auf unseren Hosentaschenger├Ąten erkannt und unterschieden werden. Die neuronalen Netze, die das m├Âglich machen, werden aber aufw├Ąndig trainiert.

Am Beispiel aktueller Sprachmodelle wie GPT-3 oder Aleph Alpha Luminous wird das deutlich. Da flie├čen Milliarden Parameter und Terabyte-weise Daten ins Training und die daf├╝r aus unz├Ąhligen GPUs oder sogar ganz neu angefertigten Gro├črechner brauchen f├╝r einen einzigen Trainingslauf Wochen oder l├Ąnger.┬á

Aktuell l├Ąuft zum Beispiel der Trainingslauf f├╝r 'BigScience tr11 176B ML', das mit 178 Milliarden Parametern zu den gr├Â├čeren Sprachmodellen geh├Ârt. Trainingszeit M├Ąrz bis Juni. 3-4 Monate. Kein Wunder kosten diese Trainingsl├Ąufe Millionen.

Da ist dann auch nicht mehr viel mit Trial und Error. Mal eben neu kompilieren, weil sich ein Fehler eingeschlichen hat, wird teuer.

## LEO und die Astronomie

(Quelle: https://youtu.be/dKrgg9NhG6Q )

Kommentar:

Der Low Earth Orbit (LEO) befindet sich irgendwo in 300 bis 600 km H├Âhe. Dort fliegt die ISS und viele Satelliten. Seit kurzem ist der LEO auch f├╝r die Telekommunikation interessant geworden. Einige Firmen stationieren dort Satelliten f├╝r die Erdbeobachtung, Meteorologie und auch immer mehr Satelliten f├╝r die Internetversorgung von oben. So auch die Firma SpaceX, die seit ein paar Jahren mit gro├čen Schritten ihr Starlink-Netzwerk aufbaut und fast w├Âchentlich Satelliten in die nahe Erdumlaufbahn schickt. Mittlerweile sind es tausende und es werden noch deutlich mehr.

W├Ąhrend ich mich auf der einen Seite ├╝ber die M├Âglichkeit freue, in Zukunft fast ├╝berall schnell ins Internet zu kommen und vor meinem inneren Auge bereits meinen pandemiefern am einsamen Waldsee geparkten Content-Production-Van sehe, h├Âre ich auch die Stimmen der anderen Seite, die sich ├╝ber die neuen Objekte am Himmel gar nicht freuen. In meiner Foto-Bubble sind das nat├╝rlich die Astro-Menschen aber besonders die Astronomie hat hier zu k├Ąmpfen.

Ich habe mir zum Thema die Astronomin Meredith Rawls eingeladen, die sich am Vera C. Rubin Observatory ausgiebig mit diesem Thema besch├Ąftigt.

Meine komplette Unterhaltung mit ihr gibt es hier im Video.  

## Fernsehen beim Fahren

"People using self-driving cars will be allowed to watch television on built-in screens under proposed updates to the Highway Code."

(Quelle: https://www.bbc.com/news/technology-61155735)

Kommentar:

Die Briten erlauben ab dem Sommer das Fernsehen in selbstfahrenden Autos. Nat├╝rlich mit Einschr├Ąnkungen. Wir reden da von langsamer Fahrt auf Schnellstra├čen, also Autobahnstau. Und die Fahrerinnen m├╝ssen jederzeit bereit sein, das Steuer zu ├╝bernehmen, wenn sie vom Fahrzeug dazu aufgefordert werden. Und das Fernsehen darf auch nicht auf dem Smartphone stattfinden, sondern nur auf einem ins Auto eingebauten Bildschirm.

Soweit so eingeschr├Ąnkt. Eigentlich ja weitgehend nutzlos, weil halt auf den Stau beschr├Ąnkt. Obwohl... wenn man in LA wohnt, besteht ja gef├╝hlt 80% der Fahrt zur Arbeit aus Stau.

Schwappt das r├╝ber zu uns?

## Das Schl├╝sseldienst-Paradox

"However, as he became more experienced in his craft and was able not only to pick locks very quickly ÔÇô often in under a minute ÔÇô but could also do so without breaking the locks, he encountered far more complaints about how much he was charging, and tips became a thing of the past."

(Quelle: https://thefinancialbodyguard.com/the-locksmiths-paradox/)

Kommentar:

Dan Ariely ist Professor der Psychologie an der Duke University und er erz├Ąhlt die Geschichte von einem Schl├╝sseldienst-Mitarbeiter, der als unerfahrener Anf├Ąnger langsam und nicht besonders gut war, aber trotz zerst├Ârter Schl├Âsser immer zufriedene Kunden hatte, die auch ordentlich Trinkgeld bezahlten. ├ťber die Jahre wurde er erfahrener, besser, schneller und das Trinkgeld wurde weniger.┬á

Dieses Paradoxon (er nennt es "The Locksmith's Paradoxon") begegnet mir regelm├Ą├čig in der Fotografie. Da gibt es Fotografen (ich w├Ąhle hier bewusst die m├Ąnnliche Form), die eine Unmenge an Equipment auffahren, lange brauchen und letztendlich Fotos abliefern, die erfahrenere Fotografen selbst mit dem Smartphone genau so gut oder besser hinbekommen h├Ątten.

Offensichtlich wird der Arbeit anderer mehr Wert zugewiesen, wenn sie l├Ąnger dauert und aufw├Ąndiger scheint, obwohl Menschen mit mehr Erfahrung mit weniger (und schlechterem) Equipment schneller bessere Ergebnisse erzielen.

Habt ihr da Beispiele aus eurem eigenen Umfeld?

Und warum müssen Paradoxa immer so doofe Namen haben Münchhausen-Trilemma, Newcombs Problem, Yablos Paradoxon, ... 

Sooooo. Das war's f├╝r heute... habt noch ein sch├Ânes Wochenende.. falls euch in dieser Ausgabe noch irgendwas aufgefallen ist, falls ihr Korrekturen habt oder einfach so was tun wollt.. bis gleich im Discord.┬á

Ansonsten freue ich mich nat├╝rlich wie immer auf retweets, retoots und alles andere was das Magazin ein klein Wenig sichtbarer macht.

Bis n├Ąchste Woche!

PS: Diese Ausgabe selbstverst├Ąndlich auch diese Woche wieder im begleitenden Podcast mit Thomas, Holgi und mir. Hier im Web-Browser h├Âren:

Unterst├╝tzer:innen / Mitglieder bekommen die Podcasts automatisch im eigenen Podcast-Player.

Nur Mitglieder, die Zugang zu diesem Post haben, k├Ânnen Kommentare lesen und schreiben.