Skip to content

Piero Bosio Social Web Site Personale Logo Fediverso

Social Forum federato con il resto del mondo. Non contano le istanze, contano le persone

I find this shocking:

Uncategorized
64 30 0

Gli ultimi otto messaggi ricevuti dalla Federazione
  • ....e la scheda mamma è fissata...
    adesso vediamo per l'alimentatore

    read more

  • Veramente un buon articolo divulgativo sul funzionamento interno dei .

    Code is Data <=> Data is CodeL'unico errore informatico, purtroppo molto comune, è questo passaggio relativo al modello:
    Lo apro dal terminale con xxd, lo stesso approccio che userei per qualsiasi binario. Non è codice eseguibile, è un formato dati.
    In realtà, sia a livello teorico che pratico, ogni dato è codice eseguibile per almeno una macchina di . Quello che viene pomposamente definito "motore inferenziale" (nel caso specifico, LLama.cpp eseguito tramite ) non è altro che una macchina virtuale programmabile statisticamente che esegue un software espresso in forma matriciale, ovvero il modello.

    Tale macchina virtuale non fa altro che mappare meccanicamente (e iterativamente) un punto su spazio vettoriale multidimensionale (descritto dagli embedding dei token del prompt) in un punto di uno spazio vettoriale più piccolo (descritto dall'embedding del token più plausibile in output).

    D'altro canto, anche l'autore intuisce che si tratta di un software eseguito da una macchina virtuale a sua volta eseguita sul suo computer quando scrive
    Per fare un esempio concreto, ho chiesto a Llama 3.1 (8B, quello che gira sul mio Mac con Ollama)".
    Esatto il modello "gira". Viene eseguito.
    Perché è un software codificato in una matrice per una architettura custom (non x86_64 o ARMv8, ma llama.cpp).
    E il sorgente di quel software sono i testi utilizzati durante il processo di compilazione (impropriamente detto "training").

    Né probabilità né "predizioni"Anche parlare di "distribuzione di probabilità", a valle dei vari passaggi di "normalizzazione" è matematicamente errato: non si tratta di una distribuzione di probabilità, perché se andassimo a misurare nei testi utilizzati come sorgente per la compilazione del modello la frequenza in cui al prompt segue il nuovo token, nella maggioranza dei prompt non troveremmo alcun caso.
    Anche questo errore, purtroppo, è dannatamente diffuso.

    E' però funzionale a supportare il framework interpretativo del cosiddetto "algoritmo predittivo", mentre un LLM non predice alcunché: non c'è infatti alcun fenomeno esterno al calcolo con cui confrontare la correttezza della previsione. Per questo è tecnicamente insensato parlare di allucinazioni (oltre ad essere allucinante di per sé, perché proietta un'esperienza umana con conseguenze sociali che generano compassione, sul calcolo effettuato da una macchina).

    Errori di calcolo... e interpretativiVi è poi una lacuna nel ragionamento che invalida le conclusioni (più precisamente la sezione 10, sul "perché funzionano"): la natura iterativa del processo di calcolo, secondo cui ogni token in output viene integrato nella sequenza di input (il prompt) e utilizzato per calcolare il token successivo, unito alla natura probabilistica del calcolo, determina un costante accumulo degli errori.

    Le mitigazioni proposte, come l'uso di contenuti aggiuntivi nel RAG o, nel caso di agenti, la possibilità di integrare nell'input l'output di altri tool, non fa altro che aumentare la percentuale "grounded" del contesto (prompt "grounded" + documenti RAG "grounded" + output precedente del LLM "ungrounded" + output dei tool deterministici "grounded") durante il calcolo del prossimo token plausibile (non probabile).

    Per intenderci, quando l'autore parla del sistema di agenti del suo Parrhesepstein scrive
    Il fact-checker automatico produce un punteggio: verde sopra l'80%, giallo sopra il 50%, rosso sotto. Così sai quanto fidarti.
    è vittima di un'allucinazione: ciascun agente produce un output ottimizzato per essere plausibile quando interpretato dall'uomo, ma prescinde completamente dalla comprensione dei testi in input.
    Dunque il fatto che il fact-checker dica 97% non implica che l'output dell'agente sia corretto al 97% o che abbia una probabilità del 97%, ma solo che un essere umano troverebbe plausibile quel numero come proseguimento del testo fornitogli in input.

    In altri termini, non "sai quando fidarti", ma "è plausibile che leggendo quel numero tu ti fida della sua correttezza (non necessariamente della correttezza di tutto il resto)".

    In altri termini, proprio a causa della sua architettura, non puoi mai fidarti dell'output di un LLM.

    Strumenti "nuovi"Infine l'autore scrive:
    Un LLM con ... è uno strumento che non esisteva cinque anni fa.
    La differenza non è nel modello, è in come lo usi.
    Formalmente ha ragione.

    Un LLM è uno strumento che non esisteva cinque anni fa. Ed è vero che può essere usato ogni qual volta non è necessario che un testo abbia significato, ma deve apparire plausibile quando interpretato da un essere umano.

    Il problema è che può essere usato solo per quello.

    SOLO se il suo output può non avere alcun significato.

    In pratica, è un generatore di Lorem ipsum a tema.

    CC: @informapirata@mastodon.uno
    read more

  • Tense moments in cat box olympics. The NH contingent made his move into the 6"x8" category, but seemed to hit a wave of self doubt after sticking the landing. We thought it was all over as he faced down the 3"x3' mega mini challenge, but the judges seem impressed with his flying horizontal flattening feline technique.

    read more

  • Ottimi i video tutorial di Alessandro Stella su 👏

    read more

  • @Steve12L pour mois avec saucisse au piment. Merci.

    read more

  • Idea di motto per il Fediverso: "boostarne uno per raggiungerne cento".

    read more

  • @lgsp ha fatto notare che la cabinovia per accedere alle piste non è stata completata e che ci sono parecchi posti vuoti nelle tribune.

    read more

  • La pâte à pizza est prête.
    Recette ici : ⤵️

    read more
Post suggeriti
  • La pâte à pizza est prête

    Uncategorized
    2
    1
    0 Votes
    2 Posts
    0 Views
    @Steve12L pour mois avec saucisse au piment. Merci.
  • 0 Votes
    1 Posts
    0 Views
    @kaia the big question: is it related to agoraphobia or just a matter of habit?(BTW, several sci-fi novels present the case of planes with hyperdense population density where everyone lives inside and is uncomfortable with getting to the surface.)
  • 0 Votes
    4 Posts
    0 Views
    Veramente un buon articolo divulgativo sul funzionamento interno dei #LLM.Code is Data <=> Data is CodeL'unico errore informatico, purtroppo molto comune, è questo passaggio relativo al modello:Lo apro dal terminale con xxd, lo stesso approccio che userei per qualsiasi binario. Non è codice eseguibile, è un formato dati.In realtà, sia a livello teorico che pratico, ogni dato è codice eseguibile per almeno una macchina di #Turing. Quello che viene pomposamente definito "motore inferenziale" (nel caso specifico, LLama.cpp eseguito tramite #Ollama) non è altro che una macchina virtuale programmabile statisticamente che esegue un software espresso in forma matriciale, ovvero il modello.Tale macchina virtuale non fa altro che mappare meccanicamente (e iterativamente) un punto su spazio vettoriale multidimensionale (descritto dagli embedding dei token del prompt) in un punto di uno spazio vettoriale più piccolo (descritto dall'embedding del token più plausibile in output).D'altro canto, anche l'autore intuisce che si tratta di un software eseguito da una macchina virtuale a sua volta eseguita sul suo computer quando scrivePer fare un esempio concreto, ho chiesto a Llama 3.1 (8B, quello che gira sul mio Mac con Ollama)".Esatto il modello "gira". Viene eseguito.Perché è un software codificato in una matrice per una architettura custom (non x86_64 o ARMv8, ma llama.cpp).E il sorgente di quel software sono i testi utilizzati durante il processo di compilazione (impropriamente detto "training").Né probabilità né "predizioni"Anche parlare di "distribuzione di probabilità", a valle dei vari passaggi di "normalizzazione" è matematicamente errato: non si tratta di una distribuzione di probabilità, perché se andassimo a misurare nei testi utilizzati come sorgente per la compilazione del modello la frequenza in cui al prompt segue il nuovo token, nella maggioranza dei prompt non troveremmo alcun caso.Anche questo errore, purtroppo, è dannatamente diffuso.E' però funzionale a supportare il framework interpretativo del cosiddetto "algoritmo predittivo", mentre un LLM non predice alcunché: non c'è infatti alcun fenomeno esterno al calcolo con cui confrontare la correttezza della previsione. Per questo è tecnicamente insensato parlare di allucinazioni (oltre ad essere allucinante di per sé, perché proietta un'esperienza umana con conseguenze sociali che generano compassione, sul calcolo effettuato da una macchina).Errori di calcolo... e interpretativiVi è poi una lacuna nel ragionamento che invalida le conclusioni (più precisamente la sezione 10, sul "perché funzionano"): la natura iterativa del processo di calcolo, secondo cui ogni token in output viene integrato nella sequenza di input (il prompt) e utilizzato per calcolare il token successivo, unito alla natura probabilistica del calcolo, determina un costante accumulo degli errori.Le mitigazioni proposte, come l'uso di contenuti aggiuntivi nel RAG o, nel caso di agenti, la possibilità di integrare nell'input l'output di altri tool, non fa altro che aumentare la percentuale "grounded" del contesto (prompt "grounded" + documenti RAG "grounded" + output precedente del LLM "ungrounded" + output dei tool deterministici "grounded") durante il calcolo del prossimo token plausibile (non probabile).Per intenderci, quando l'autore parla del sistema di agenti del suo Parrhesepstein scriveIl fact-checker automatico produce un punteggio: verde sopra l'80%, giallo sopra il 50%, rosso sotto. Così sai quanto fidarti.è vittima di un'allucinazione: ciascun agente produce un output ottimizzato per essere plausibile quando interpretato dall'uomo, ma prescinde completamente dalla comprensione dei testi in input.Dunque il fatto che il fact-checker dica 97% non implica che l'output dell'agente sia corretto al 97% o che abbia una probabilità del 97%, ma solo che un essere umano troverebbe plausibile quel numero come proseguimento del testo fornitogli in input.In altri termini, non "sai quando fidarti", ma "è plausibile che leggendo quel numero tu ti fida della sua correttezza (non necessariamente della correttezza di tutto il resto)".In altri termini, proprio a causa della sua architettura, non puoi mai fidarti dell'output di un LLM.Strumenti "nuovi"Infine l'autore scrive:Un LLM con ... è uno strumento che non esisteva cinque anni fa.La differenza non è nel modello, è in come lo usi.Formalmente ha ragione.Un LLM è uno strumento che non esisteva cinque anni fa. Ed è vero che può essere usato ogni qual volta non è necessario che un testo abbia significato, ma deve apparire plausibile quando interpretato da un essere umano.Il problema è che può essere usato solo per quello.SOLO se il suo output può non avere alcun significato.In pratica, è un generatore di Lorem ipsum a tema.CC: @informapirata@mastodon.uno
  • 'Ma te non hai altro da fare?'

    Uncategorized
    2
    2
    0 Votes
    2 Posts
    5 Views
    ....e la scheda mamma è fissata...adesso vediamo per l'alimentatore