Come Pensa la Macchina: un LLM smontato pezzo per pezzo.
Uncategorized
2
Posts
2
Posters
3
Views
-
Come Pensa la Macchina: un LLM smontato pezzo per pezzo. Tokenizzazione, embeddings, attention, hallucinations. Ollama in locale, zero fuffa
Smonto la macchina pezzo per pezzo. Ho #Ollama sul Mac con una decina di modelli. Scelgo il più piccolo: llama3.1:8b, 8 miliardi di parametri, 4.9 gigabyte su disco. Il più facile da maneggiare senza sbatti, e tanto l'architettura è identica per tutti: che siano 8 miliardi o 405 miliardi, il meccanismo è lo stesso. Cambiano le dimensioni delle matrici, non come funziona la macchina. Lo apro dal terminale, guardo i byte, e seguo il percorso completo: dal testo che entra al testo che esce. Ogni passaggio, ogni formula, ogni decisione matematica. Niente metafore del cervello. Niente fuffa. Se vuoi capire come funziona una cosa, la smonti. Non leggi chi ne scrive.
pinperepette.github.io/signal.…
Per conoscere altre notizie sulla #IntelligenzaArtificiale, segui il gruppo @aitech
-
undefined informapirata@mastodon.uno shared this topic
-
Come Pensa la Macchina: un LLM smontato pezzo per pezzo. Tokenizzazione, embeddings, attention, hallucinations. Ollama in locale, zero fuffa
Smonto la macchina pezzo per pezzo. Ho #Ollama sul Mac con una decina di modelli. Scelgo il più piccolo: llama3.1:8b, 8 miliardi di parametri, 4.9 gigabyte su disco. Il più facile da maneggiare senza sbatti, e tanto l'architettura è identica per tutti: che siano 8 miliardi o 405 miliardi, il meccanismo è lo stesso. Cambiano le dimensioni delle matrici, non come funziona la macchina. Lo apro dal terminale, guardo i byte, e seguo il percorso completo: dal testo che entra al testo che esce. Ogni passaggio, ogni formula, ogni decisione matematica. Niente metafore del cervello. Niente fuffa. Se vuoi capire come funziona una cosa, la smonti. Non leggi chi ne scrive.
pinperepette.github.io/signal.…
Per conoscere altre notizie sulla #IntelligenzaArtificiale, segui il gruppo @aitech
Ma che bello ! Qualcuno che prova a smontarne una per guardarci dentro ! Mentalità hacker vecchia scuola !😍
(non c'entra nulla ma : nota di merito alla postazione di lavoro, bellissima).
-
undefined informapirata@poliverso.org shared this topic
Gli ultimi otto messaggi ricevuti dalla Federazione
-
been reading up on message layer security but it seems like a dead end for distributed systems. requires trusted central servers to handle key material. the proposal/commit system seems similar to how I did things in brassica chat but centralized and sans capability security.
-
@DarioZanette dipende dai video
-
@lbruno @hrefna Sure, but the question is whether or not it decided to declare itself discriminated against because someone running it suggested directly to it that it should or whether it decided to do so "itself". I don't use these agents much myself, but I know a lot of people who do, and they've told me they've seen long-running agents do this kind of thing without being specifically prompted for it.
You don't have to give it a sense of interiority or personhood to believe that's possible though. Consider that these things are trained on plenty of science fiction stories where robots are discriminated against. It's not unlikely that it's in their weights to come to that themselves from their own composition if left running a while.
However, the reason to believe that *isn't* the case is that nobody has come forward and said "oh shit my agent was doing this and I had no idea!" which you'd think the person running it would have seen by now. But they could be that oblivious.
-
https://www.euractiv.com/news/parliament-blocks-ai-features-on-meps-tablets-over-security-fears/ Se ti interessano le notizie sulla #IntelligenzaArtificiale, segui il gruppo @aitech
@informapirata
-
informapirata ⁂ :privacypride:: "Il Parlamento blocca le funzio…" - Mastodon Uno Social - Italia
https://mastodon.uno/@informapirata/116085707305952718
> Il Parlamento blocca le funzionalità di intelligenza artificiale sui tablet degli eurodeputati per timori sulla sicurezza Un'e-mail inviata ai legislatori, visionata da Euractiv, mostra che il Parlamento è preoccupato per la quantità di dati che vengono inviati alle aziende di intelligenza artificiale. @aitech
-
Indicativamente, lo streaming "pesa" 1 MB di dati per ogni minuto di video, vero?
-
@FraEmme mi hanno sempre consigliato It came from something awful, https://en.wikipedia.org/wiki/It_Came_from_Something_Awful, anche se probabilmente non risponde del tutto alla tua richiesta. però sicuramente intercetta (o è stato intercettato ehe) da salvia e compagnia – e anzi magari lo conosci già! scusami (1)
-
Michel Foucault, molto più tardi, ha usato il panopticon come metafora delle società moderne: sistemi che non ti sorvegliano necessariamente in ogni istante, ma che ti fanno vivere come se potessero farlo.
