Taalas ha rilasciato un chip ASIC che esegue Llama 3.1 8B a 17.000 token al secondo
Uncategorized
3
Posts
3
Posters
4
Views
-
Taalas ha rilasciato un chip ASIC che esegue Llama 3.1 8B a 17.000 token al secondo
Taalas ha praticamente inciso i 32 strati di Llama 3.1 in sequenza su un chip: i pesi del modello sono transistor fisici incisi nel silicio.
Dovrebbe essere 10 volte più economico in termini di costi di gestione rispetto ai sistemi di inferenza basati su GPU e 10 volte meno energivoro. Non ci sono DRAM/HBM esterne, ma una piccola quantità di SRAM on-chip. -
undefined informapirata@poliverso.org shared this topic
undefined cybersecurity@poliverso.org shared this topic
-
Taalas ha rilasciato un chip ASIC che esegue Llama 3.1 8B a 17.000 token al secondo
Taalas ha praticamente inciso i 32 strati di Llama 3.1 in sequenza su un chip: i pesi del modello sono transistor fisici incisi nel silicio.
Dovrebbe essere 10 volte più economico in termini di costi di gestione rispetto ai sistemi di inferenza basati su GPU e 10 volte meno energivoro. Non ci sono DRAM/HBM esterne, ma una piccola quantità di SRAM on-chip.Sembrano buoni per l'automotive e le telecamere del futuro distopico
-
Taalas ha rilasciato un chip ASIC che esegue Llama 3.1 8B a 17.000 token al secondo
Taalas ha praticamente inciso i 32 strati di Llama 3.1 in sequenza su un chip: i pesi del modello sono transistor fisici incisi nel silicio.
Dovrebbe essere 10 volte più economico in termini di costi di gestione rispetto ai sistemi di inferenza basati su GPU e 10 volte meno energivoro. Non ci sono DRAM/HBM esterne, ma una piccola quantità di SRAM on-chip.@informapirata @aitech
Se il prodotto si rivelerà reale, popcorn e patatine guardando cosa succede alle megacentrali elettriche, agli immensi datacenter e soprattutto alle prenotazioni dei wafer di silicio fatte dai soliti giganti.Attendere prego...
-
undefined informapirata@mastodon.uno shared this topic
Gli ultimi otto messaggi ricevuti dalla Federazione
-
-
Bellissimo 🤯🍄
Questa azienda ha trovato un modo geniale per dire addio al polistirolo: imballaggi fatti… con i funghi! Un packaging naturale, compostabile, che protegge i prodotti come fa il polistirolo ma senza inquinare per centinaia di anni.
Meno AI e più questi tipi di innovazione che dovremmo vedere ovunque. 🌍✨
🌱 Altre innovazioni per un mondo migliore le trovi nel gruppo @ambiente@diggita.com, se ti appassionano le soluzioni concrete per un pianeta più sano, unisciti alla conversazione!
-
@bbacc @oblomov è capitato che caf patronati e similia mi mandassero via in malo modo quando ho avuto problemi con l'inps (possa morire male)
-
The Besnard Lakes - A Coliseum Complex Museum (2016)
Un caseggiato solitario illuminato da un cono di luce come in un quadro di Edward Hopper; un cavallo nero avvolto dalle fiamme; le rive di un lago divorate da alti roghi; una visione diafana scuote in modo irreale il panorama circostante; una luna bidimensionale crea un ampio gorgo nelle placide acque di ... https://noblogo.org/available/the-besnard-lakes-a-coliseum-complex-museum-2016
Segui il blog e ascolta un album al giorno: @available
-
El Mencho, il boss che trasformò i narcos e la mafia messicana in un esercito di droni e fentanyl
Il ritratto su @LaStampa
-
@TheBreadmonkey thought it would be worse.
-
@Marco_DA_DiSera @pino @GustavinoBevilacqua
chiaramente dividendo per zero (a = b implicat a -b = 0) si può dimostrare tutto
-
@pino @oblomov @GustavinoBevilacqua che la matematica è una bugia si dimostrava così:
Ipotesi:
a=bAllora:
a²=ab [moltiplico per a]
a²-b²=ab-b² [sottraggo b²]
(a+b)(a-b)=b(a-b) [fattorizzo]
a+b=b [divido per a-b]Ma allora:
2b=b [poiché a=b]
2=1 [dividendo per b]
