#016 Lochschmied-Alpaka [🎧]
Heute zu Gast: Thomas Brandt & Holger Klein.
+++
Als Unterstützer:in bekommst Du den Podcast zum Magazin automatisch in Deinen Podcast-Client geliefert.
Mehr dazu ganz unten ⬇️
+++
Chris und Holgi sagen hallo:
Hallo ihr lieben neuen Menschen! Herzlich Willkommen und Danke für eure Unterstützung!
Es kehrt wieder Normalität ein. Moni und ich waren eine Woche lang in Urlaub auf Pellworm (Urlaubsvideo (Opens in a new window)) im Wattenmeer. Das war schön und jetzt geht's hier wieder weiter, heute mit Holger Klein und Thomas Brandt. Mit Holgi geht's nochmal kurz ins Thema Lichtverschmutzung durch LEO, und das Schlüsseldienst-Paradox und mit Thomas spreche ich über große Sprachmodelle und darüber, was die Briten gerade zum Thema Selbstfahren beschließen.
Auuuuußerdem habe ich hier mal einen kleinen Discord gestartet (Invite hier (Opens in a new window)), falls ihr euch mal untereinander austauschen möchtet. Ich hänge da dann auch öfter mal ab.
Die Themen:
Sieben große Sprachmodelle #ki
LEO und die Astronomie #space
Fernsehen beim Fahren #mobilität
Das Schlüsseldienst-Paradox #fotografie
## Sieben große Sprachmodelle
"The BigScience team is using 384x A100 80GB GPUs for training tr11-176B-ml probably Mar-Jun/2022 [...] 293TB RAM just on the scalar/CPU partition. 61,120 CPU cores on the CPU partition."
Kommentar:
Es gab in der Computerei mal eine Zeit, da wurden Rechenaufträge in die Warteschlange des Zentralrechners gestellt, oft in Form von Lochkarten. Diese wurden dann abgearbeitet, wenn das System Zeit dafür hatte. Timesharing nannte man das und so ein Arbeitsauftrag an den Rechner konnte schon mal Tage dauern, bis er ausgeführt war. Auch heute machen unsere Rechner so etwas ähnliches, nur halt lokal und in der Regel so flott, dass wir mögliche Wartezeiten überhaupt nicht bemerken. Im Bereich des Big Machine Learning nähern wir uns mittlerweile ganz anderen Zeiträumen.
Machine Learning ist ja ein zweigeteilter Prozess. Da ist auf der einen Seite das recht aufwändige Training der Netze mit Tonnen von Daten und auf der anderen Seite dann die Ausführung.
Die Rechenkapazität unserer Smartphones reicht zum Beispiel aus, um in unseren Fotos Katzen von Hunden von Sonnenuntergängen von Architektur zu unterscheiden. Einige tausend Dinge können da auf unseren Hosentaschengeräten erkannt und unterschieden werden. Die neuronalen Netze, die das möglich machen, werden aber aufwändig trainiert.
Am Beispiel aktueller Sprachmodelle wie GPT-3 oder Aleph Alpha Luminous wird das deutlich. Da fließen Milliarden Parameter und Terabyte-weise Daten ins Training und die dafür aus unzähligen GPUs oder sogar ganz neu angefertigten Großrechner brauchen für einen einzigen Trainingslauf Wochen oder länger.
Aktuell läuft zum Beispiel der Trainingslauf für 'BigScience tr11 176B ML', das mit 178 Milliarden Parametern zu den größeren Sprachmodellen gehört. Trainingszeit März bis Juni. 3-4 Monate. Kein Wunder kosten diese Trainingsläufe Millionen.
Da ist dann auch nicht mehr viel mit Trial und Error. Mal eben neu kompilieren, weil sich ein Fehler eingeschlichen hat, wird teuer.
## LEO und die Astronomie
(Quelle: https://youtu.be/dKrgg9NhG6Q (Opens in a new window) )
Kommentar:
Der Low Earth Orbit (LEO) befindet sich irgendwo in 300 bis 600 km Höhe. Dort fliegt die ISS und viele Satelliten. Seit kurzem ist der LEO auch für die Telekommunikation interessant geworden. Einige Firmen stationieren dort Satelliten für die Erdbeobachtung, Meteorologie und auch immer mehr Satelliten für die Internetversorgung von oben. So auch die Firma SpaceX, die seit ein paar Jahren mit großen Schritten ihr Starlink-Netzwerk aufbaut und fast wöchentlich Satelliten in die nahe Erdumlaufbahn schickt. Mittlerweile sind es tausende und es werden noch deutlich mehr.
Während ich mich auf der einen Seite über die Möglichkeit freue, in Zukunft fast überall schnell ins Internet zu kommen und vor meinem inneren Auge bereits meinen pandemiefern am einsamen Waldsee geparkten Content-Production-Van sehe, höre ich auch die Stimmen der anderen Seite, die sich über die neuen Objekte am Himmel gar nicht freuen. In meiner Foto-Bubble sind das natürlich die Astro-Menschen aber besonders die Astronomie hat hier zu kämpfen.
Ich habe mir zum Thema die Astronomin Meredith Rawls eingeladen, die sich am Vera C. Rubin Observatory ausgiebig mit diesem Thema beschäftigt.
Meine komplette Unterhaltung mit ihr gibt es hier im Video (Opens in a new window).
## Fernsehen beim Fahren
"People using self-driving cars will be allowed to watch television on built-in screens under proposed updates to the Highway Code."
(Quelle: https://www.bbc.com/news/technology-61155735 (Opens in a new window))
Kommentar:
Die Briten erlauben ab dem Sommer das Fernsehen in selbstfahrenden Autos. Natürlich mit Einschränkungen. Wir reden da von langsamer Fahrt auf Schnellstraßen, also Autobahnstau. Und die Fahrerinnen müssen jederzeit bereit sein, das Steuer zu übernehmen, wenn sie vom Fahrzeug dazu aufgefordert werden. Und das Fernsehen darf auch nicht auf dem Smartphone stattfinden, sondern nur auf einem ins Auto eingebauten Bildschirm.
Soweit so eingeschränkt. Eigentlich ja weitgehend nutzlos, weil halt auf den Stau beschränkt. Obwohl... wenn man in LA wohnt, besteht ja gefühlt 80% der Fahrt zur Arbeit aus Stau.
Schwappt das rüber zu uns?
## Das Schlüsseldienst-Paradox
"However, as he became more experienced in his craft and was able not only to pick locks very quickly – often in under a minute – but could also do so without breaking the locks, he encountered far more complaints about how much he was charging, and tips became a thing of the past."
(Quelle: https://thefinancialbodyguard.com/the-locksmiths-paradox/ (Opens in a new window))
Kommentar:
Dan Ariely ist Professor der Psychologie an der Duke University und er erzählt die Geschichte von einem Schlüsseldienst-Mitarbeiter, der als unerfahrener Anfänger langsam und nicht besonders gut war, aber trotz zerstörter Schlösser immer zufriedene Kunden hatte, die auch ordentlich Trinkgeld bezahlten. Über die Jahre wurde er erfahrener, besser, schneller und das Trinkgeld wurde weniger.
Dieses Paradoxon (er nennt es "The Locksmith's Paradoxon") begegnet mir regelmäßig in der Fotografie. Da gibt es Fotografen (ich wähle hier bewusst die männliche Form), die eine Unmenge an Equipment auffahren, lange brauchen und letztendlich Fotos abliefern, die erfahrenere Fotografen selbst mit dem Smartphone genau so gut oder besser hinbekommen hätten.
Offensichtlich wird der Arbeit anderer mehr Wert zugewiesen, wenn sie länger dauert und aufwändiger scheint, obwohl Menschen mit mehr Erfahrung mit weniger (und schlechterem) Equipment schneller bessere Ergebnisse erzielen.
Habt ihr da Beispiele aus eurem eigenen Umfeld?
Und warum müssen Paradoxa immer so doofe Namen haben Münchhausen-Trilemma, Newcombs Problem, Yablos Paradoxon, ... (Opens in a new window)
Sooooo. Das war's für heute... habt noch ein schönes Wochenende.. falls euch in dieser Ausgabe noch irgendwas aufgefallen ist, falls ihr Korrekturen habt oder einfach so was tun wollt.. bis gleich im Discord.
Ansonsten freue ich mich natürlich wie immer auf retweets, retoots und alles andere was das Magazin ein klein Wenig sichtbarer macht.
Bis nächste Woche!
PS: Diese Ausgabe selbstverständlich auch diese Woche wieder im begleitenden Podcast mit Thomas, Holgi und mir. Hier im Web-Browser hören:
Unterstützer:innen / Mitglieder bekommen die Podcasts automatisch im eigenen Podcast-Player.
