#040 HOLY SH*T, ON DEVICE!!1!

Heute zu Gast im CM MAGAZIN: Chris Marquardt (Öffnet in neuem Fenster) 

⬇️ Die 🎧-Podcast-Version zum Hören unten am Ende des Artikels ⬇️

Die Themen:

• Affinity 2 ist da #news #fotografie

• Nützliche KI: Whisper On Device #ki #podcasting

• Nützliche KI: SD On Device #ki #fotografie

• Geschichtsstunde Generative KI #ki #geschichte

## Die Hausmeisterei

Salut, wie geht's euch heute? Ich hatte eine spannende Woche mit Hörsturz 😑 Mehr dazu hier auf diesem Mastodon-Thread (Öffnet in neuem Fenster) 

Fehlende Frequenzen, zusätzliche Geräusche. Deshalb heute auch nur eine kurze Solosendung, die Woche über wäre Kopfhörerarbeit nicht so gut gekommen. Wird sich wieder halbwegs einrenken, dauert halt. Drückt mal schön die Daumen ihr!

Aber die Entwicklung hält ja nicht an, ganz im Gegenteil. Deshalb heute trotzdem ein (sehr ohrenschonendes) CM MAGAZIN für euch.

## Affinity 2 ist da

(Quelle: https://affinity.serif.com (Öffnet in neuem Fenster))

Kommentar:

Nach viel Fanfare leider doch keine DAM (Lightroom-Killer, wo bleibst Du?!), dafür neue tools, alle 3 Affinity-Apps (Photos, Designer, Publisher) auf allen Plattformen (Mac, Windows, iPad), KEIN Abo! und für begrenzte Zeit die Alles-Lizenz für 119 USD (später 199 USD).

## Nützliche KI: Whisper On Device

(Quelle: https://apps.apple.com/za/app/hello-transcribe/id6443919768 (Öffnet in neuem Fenster))

Kommentar:

Meine ersten Experimente mit Whisper liefen zwar auf dem M1, aber sehr sehr langsam. Eine neue Implementierung rast jetzt quasi schon. Zumindest ist sie von der Transkriptionsgeschwindigkeit auf dem M2 her echtzeittauglich. Und das, obwohl die GPU noch nicht mal angefasst wird.

Was mich dann die Woche noch deutlicher geflasht hat, war, dass im iOS App Store jetzt in Form von "Hello Transcribe" eine Whisper-Umsetzung gratis verfügbar ist, die ON DEVICE läuft. Offline, in der Wüste, ohne Netz. Auf einem Hosentaschengerät. In open source!

Einziger Wermutstropfen: Das Ding macht erstmal nur Englisch. Trotzdem sagenhaft, ein hübscher Ausblick auf was da noch kommen wird.

## Nützliche KI: SD On Device

(Quelle: https://draw.nnc.ai (Öffnet in neuem Fenster))

Kommentar:

Wir machen beim ON DEVICE grade noch mal weiter. Gentle people, you can now run Stable Diffusion locally on your iPhone 🤯 

Nochmal zum Mitschreiben: SD ON DEVICE. OFFLINE, Ohne Cloud. Mitten in der Wüste ohne Empfang. Und das, obwohl die Speichergröße der iPhones das eigentlich gar nicht zulassen sollte. 

Die Geschwindigkeit und Qualität der Open-Source-Entwicklung rund um diese Modelle ist aberwitzig.

Dabei implementieren sie viele Features: Inpainting Mask, Outpainting, Text to Image Generation, Text-Guided Image to Image Generation, Image and Prompt Edit History, Select from Camera Roll. Und alle wichtigen Parameter: Guidance Scale, Steps, Strength, Image Sizes, Negative Prompt, Manual Seed, Prompt Tokenization Preview.

Daneben lassen sich verschiedene spezialisierte Modelle auswählen, die dann aufs iPhone heruntergeladen werden. Die sind zwar jeweils 2GB groß, aber das ist halt der Preis fürs Offline-Generieren.

## Geschichtsstunde Generative KI

(Quelle: https://venturebeat.com/ai/how-2022-became-the-year-of-generative-ai/ (Öffnet in neuem Fenster))

Kommentar:

Dieser Artikel liefert einen guten Zeitstrahl über die verschiedenen NN-Architekturen und was sie so wann ermöglicht haben. Begonnen von den GANs ab 2014 (style transfer, specialized generation, deepfakes), über 2017 (transformers, large language models, GPT-3, GitHub copilot, skalierbare Netzwerke) bis 2021 (CLIP, Diffusion, DALL-E, Stable Diffusion, Midjourney, ...)

Eine gute Erkenntnis aus dem Artikel (und die unterschreibe ich mittlerweile auch): Generative Modelle funktionieren aktuell am besten in Kooperation mit dem Menschen, wenn sie an der Hand geführt werden. "Product teams are learning that generative models perform best when they are implemented in ways that give greater control to users."

Das zeigt sich sowohl beim Prompten von GPT-3 als auch bei den sagenhaften Ergebnissen von SD, wenn editing, regenerating, inpainting, outpainting, usw. zuhilfe genommen werden.  Der Mensch steht weiter im Mittelpunkt.

Lesenswert.

## Und Tschüs

So, ich schone mal wieder meine Ohren.. drückt mir die Daumen, dass das sich bald wieder setzt und vor allem dass nicht zu viel davon hängen bleibt.

Falls ihr das CM MAGAZIN für unterstützenswert haltet, dann freue ich mich natürlich immer über eine Mitgliedschaft, im Augenblick bekomme ich über Steady ungefähr 37 € pro Woche, davon gehen dann auch noch Steuern ab.. da geht noch was.

Habt ne gute Woche, bis dann!

PS: Du kannst dieses Magazin gratis lesen, aber gerne auch finanziell unterstützen. Dafür bekommst Du einen persönlichen Feed für Deinen Podcast-Player und die Podcastfolgen vor allen anderen.

Der Podcast zum Hören. In dieser Folge zu Gast bei Chris Marquardt: Chris Marquardt