Come #StableDiffusion trasforma rumore gaussiano in immagini.

[informapirata@mastodon.uno]

Come #StableDiffusion trasforma rumore gaussiano in immagini. Tutto in locale, su CPU

Non disegna. Non immagina. Non crea. Toglie rumore. Tutta l'architettura, il miliardo di parametri, le settimane di addestramento su migliaia di GPU, si riducono a un modello che ha imparato a rimuovere rumore da un'immagine. E se sai rimuovere il rumore, sai generare dal nulla. La risposta lunga occupa le prossime undici sezioni.
⬇️⬇️⬇️
https://pinperepette.github.io/signal.pirate/articoli/il-rumore-diventa-arte.html

@aitech

#IntelligenzaArtificiale

[luca@sironi.xyz]

@informapirata @aitech

inizio a fare il tifo per la gallina che non fa l'uovo...

[giacomo@snac.tesio.it]

@informapirata@mastodon.uno

Michelangelo diceva che scolpire consiste nel togliere dal marmo tutto quello che non è la statua. Stable Diffusion fa esattamente questo, col rumore.

🤦‍♂️

È impressionante quanto poco si possa comprendere qualcosa che si è studiato tanto bene.

Comunque NO, #StableDiffusion non toglie rumore.
Anche solo accostarlo a #Michelangelo è... alienato? allucinato? not even wrong? 🤷‍♂️

StableDiffusion effettua iterativamente una decompressione (con perdita) delle immagini usate per la sua programmazione statistica, focalizzandosi in una zona del "latent space" (ovvero l'archivio compresso statisticamente, invece che algoritmicamente) sulla base del embedding del prompt e dell'input iniziale.

Se "togliesse rumore", partendo da un'immagine cui è stato aggiunto rumore, otterrebbe sempre l'immagine originale (peraltro, ignorando il prompt).

@aitech@feddit.it