Stamattina Windows ha deciso che non avevo più una connessione internet, per qualche motivo
Uncategorized
2
Posts
2
Posters
1
Views
-
Stamattina Windows ha deciso che non avevo più una connessione internet, per qualche motivo.
Quindi via, rimbocco di maniche, formattato tutto e giù a sistemare un bel LinuxMint, ricordando un consiglio del buon @kenobitCosì, de botto, ed è una gran gioia.
-
Stamattina Windows ha deciso che non avevo più una connessione internet, per qualche motivo.
Quindi via, rimbocco di maniche, formattato tutto e giù a sistemare un bel LinuxMint, ricordando un consiglio del buon @kenobitCosì, de botto, ed è una gran gioia.
@long_neck Una delle decisioni migliori che ho preso negli ultimi anni.
Ti giuro, mi ha proprio migliorato la qualità della vita. L'informatica è tornata a essere un piacere, invece che un piccolo e costante fastidio.
Gli ultimi otto messaggi ricevuti dalla Federazione
-
....e la scheda mamma è fissata...
adesso vediamo per l'alimentatore
-
Veramente un buon articolo divulgativo sul funzionamento interno dei #LLM.
Code is Data <=> Data is CodeL'unico errore informatico, purtroppo molto comune, è questo passaggio relativo al modello:Lo apro dal terminale con xxd, lo stesso approccio che userei per qualsiasi binario. Non è codice eseguibile, è un formato dati.
In realtà, sia a livello teorico che pratico, ogni dato è codice eseguibile per almeno una macchina di #Turing. Quello che viene pomposamente definito "motore inferenziale" (nel caso specifico, LLama.cpp eseguito tramite #Ollama) non è altro che una macchina virtuale programmabile statisticamente che esegue un software espresso in forma matriciale, ovvero il modello.
Tale macchina virtuale non fa altro che mappare meccanicamente (e iterativamente) un punto su spazio vettoriale multidimensionale (descritto dagli embedding dei token del prompt) in un punto di uno spazio vettoriale più piccolo (descritto dall'embedding del token più plausibile in output).
D'altro canto, anche l'autore intuisce che si tratta di un software eseguito da una macchina virtuale a sua volta eseguita sul suo computer quando scrivePer fare un esempio concreto, ho chiesto a Llama 3.1 (8B, quello che gira sul mio Mac con Ollama)".
Esatto il modello "gira". Viene eseguito.
Perché è un software codificato in una matrice per una architettura custom (non x86_64 o ARMv8, ma llama.cpp).
E il sorgente di quel software sono i testi utilizzati durante il processo di compilazione (impropriamente detto "training").
Né probabilità né "predizioni"Anche parlare di "distribuzione di probabilità", a valle dei vari passaggi di "normalizzazione" è matematicamente errato: non si tratta di una distribuzione di probabilità, perché se andassimo a misurare nei testi utilizzati come sorgente per la compilazione del modello la frequenza in cui al prompt segue il nuovo token, nella maggioranza dei prompt non troveremmo alcun caso.
Anche questo errore, purtroppo, è dannatamente diffuso.
E' però funzionale a supportare il framework interpretativo del cosiddetto "algoritmo predittivo", mentre un LLM non predice alcunché: non c'è infatti alcun fenomeno esterno al calcolo con cui confrontare la correttezza della previsione. Per questo è tecnicamente insensato parlare di allucinazioni (oltre ad essere allucinante di per sé, perché proietta un'esperienza umana con conseguenze sociali che generano compassione, sul calcolo effettuato da una macchina).
Errori di calcolo... e interpretativiVi è poi una lacuna nel ragionamento che invalida le conclusioni (più precisamente la sezione 10, sul "perché funzionano"): la natura iterativa del processo di calcolo, secondo cui ogni token in output viene integrato nella sequenza di input (il prompt) e utilizzato per calcolare il token successivo, unito alla natura probabilistica del calcolo, determina un costante accumulo degli errori.
Le mitigazioni proposte, come l'uso di contenuti aggiuntivi nel RAG o, nel caso di agenti, la possibilità di integrare nell'input l'output di altri tool, non fa altro che aumentare la percentuale "grounded" del contesto (prompt "grounded" + documenti RAG "grounded" + output precedente del LLM "ungrounded" + output dei tool deterministici "grounded") durante il calcolo del prossimo token plausibile (non probabile).
Per intenderci, quando l'autore parla del sistema di agenti del suo Parrhesepstein scriveIl fact-checker automatico produce un punteggio: verde sopra l'80%, giallo sopra il 50%, rosso sotto. Così sai quanto fidarti.
è vittima di un'allucinazione: ciascun agente produce un output ottimizzato per essere plausibile quando interpretato dall'uomo, ma prescinde completamente dalla comprensione dei testi in input.
Dunque il fatto che il fact-checker dica 97% non implica che l'output dell'agente sia corretto al 97% o che abbia una probabilità del 97%, ma solo che un essere umano troverebbe plausibile quel numero come proseguimento del testo fornitogli in input.
In altri termini, non "sai quando fidarti", ma "è plausibile che leggendo quel numero tu ti fida della sua correttezza (non necessariamente della correttezza di tutto il resto)".
In altri termini, proprio a causa della sua architettura, non puoi mai fidarti dell'output di un LLM.
Strumenti "nuovi"Infine l'autore scrive:Un LLM con ... è uno strumento che non esisteva cinque anni fa.
Formalmente ha ragione.
La differenza non è nel modello, è in come lo usi.
Un LLM è uno strumento che non esisteva cinque anni fa. Ed è vero che può essere usato ogni qual volta non è necessario che un testo abbia significato, ma deve apparire plausibile quando interpretato da un essere umano.
Il problema è che può essere usato solo per quello.
SOLO se il suo output può non avere alcun significato.
In pratica, è un generatore di Lorem ipsum a tema.
CC: @informapirata@mastodon.uno
-
Tense moments in cat box olympics. The NH contingent made his move into the 6"x8" category, but seemed to hit a wave of self doubt after sticking the landing. We thought it was all over as he faced down the 3"x3' mega mini challenge, but the judges seem impressed with his flying horizontal flattening feline technique.
#CatsOfMastodon
-
-
@Steve12L pour mois avec saucisse au piment. Merci.
-
Idea di motto per il Fediverso: "boostarne uno per raggiungerne cento".
-
@lgsp ha fatto notare che la cabinovia per accedere alle piste non è stata completata e che ci sono parecchi posti vuoti nelle tribune.
-
La pâte à pizza est prête.
Recette ici : ⤵️
