Taalas ha rilasciato un chip ASIC che esegue Llama 3.1 8B a 17.000 token al secondo

[informapirata@mastodon.uno]

Taalas ha rilasciato un chip ASIC che esegue Llama 3.1 8B a 17.000 token al secondo

Taalas ha praticamente inciso i 32 strati di Llama 3.1 in sequenza su un chip: i pesi del modello sono transistor fisici incisi nel silicio.
Dovrebbe essere 10 volte più economico in termini di costi di gestione rispetto ai sistemi di inferenza basati su GPU e 10 volte meno energivoro. Non ci sono DRAM/HBM esterne, ma una piccola quantità di SRAM on-chip.

https://www.anuragk.com/blog/posts/Taalas.html

@aitech

[suoko@feddit.it]

Sembrano buoni per l'automotive e le telecamere del futuro distopico

[pgo@mastodon.uno]

@informapirata @aitech
Se il prodotto si rivelerà reale, popcorn e patatine guardando cosa succede alle megacentrali elettriche, agli immensi datacenter e soprattutto alle prenotazioni dei wafer di silicio fatte dai soliti giganti.

Attendere prego...

[game@bologna.one]

@pgo @informapirata @aitech

Nel weekend anche questo, sempre in tema boost di performance che si possono dare a Llama con differenti setup hardware: https://news.ycombinator.com/item?id=47104667

Sono tra l'altro esperimenti "dal basso". Mi fa pensare che ci sia veramente molto spazio di ottimizzazione sul tema energia/velocità, se diventasse quello il focus dei grandi player.

[francina1909@mastodon.uno]

@game @pgo @informapirata @aitech
Qualcuno me lo traduce in termini semplici, come per un bambino di 5 anni?
Thanks

[sandropisano@mastodon.uno]

@francina1909 @game @pgo @informapirata @aitech uhhh sento da lontano il rumore della bolla che esplode....ahahah magari

[sandropisano@mastodon.uno]

@francina1909 @game @pgo @informapirata @aitech scusa Francy - praticamente stanno cercando di far girare i motori di AI su un chip fisico e non software = risparmio energetico, velocità e addio a tutti i data center per AI!

[francina1909@mastodon.uno]

@sandropisano
E risparmio di acqua per il raffreddamento?
Super figo.
Dimmi pure che lo fanno gli europei e sarebbe 🔝🔝🔝

@game @pgo @informapirata @aitech

[informapirata@mastodon.uno]

@sandropisano aggiungiamo però che si tratta di una tecnologia poco più che prototipale e non ancora né verificata a dovere, né industrializzata. Ma è sicuramente interessante e potenzialmente "disruptive" per alcuni attori del settore

@francina1909 @game @pgo @aitech

[francina1909@mastodon.uno]

@informapirata @sandropisano
Se lo mettono in tasca (per non essere più espliciti) ai colossi AI yankee ne godo di brutto 😂😂😂
Se poi a farlo sono i canadesi (ho controllato di dove fosse Taalas) allora la goduria sarebbe pure doppia.
@game @pgo @aitech