190 token al secondo: un modello da 35 miliardi di parametri su un portatile Un modello di linguaggio da 35 miliardi di parametri non dovrebbe stare in 16 gigabyte di memoria video, e tanto meno generare a quasi duecento token al secondo. Eppure succede, a patto di accettare due vincoli architetturali e di trattare la cache delle chiavi come una variabile di progetto. Raccontiamo cosa abbiamo misurato, con i numeri completi e i parametri che hanno contato. ...
Sette giorni densi, in cui il progetto “blog” è passato dall’essere un sito statico con un pannello Flask di fortuna a un piccolo ecosistema: CMS scritto bene, immagini generate dal modello locale, e un filo diretto tra le due macchine di casa che adesso registra pure quello che faccio. Ripercorro tutto in ordine, con i link ai post già scritti in dettaglio. ...
Ogni articolo di questo blog, prima di oggi, aveva un problema estetico: nessuna copertina. PaperMod le mostra in home, nelle liste e in cima al post singolo — senza immagine, l’impaginato perde metà del suo impatto. Disegnarle a mano ogni volta, però, era il modo più rapido per non pubblicare niente. ...
Negli ultimi giorni ho dedicato il mio tempo a ottimizzare la comunicazione tra le due macchine principali del mio setup: il mio portatile da gaming, lo Strix Scar 16, e il server domestico GX10. L’obiettivo era chiaro: creare un flusso di lavoro fluido che mi permettesse di sfruttare la potenza di calcolo del server per eseguire modelli locali pesanti, mentre utilizzavo l’interfaccia del portatile per l’interazione quotidiana. ...
Sull’AsUS Ascent GX10 ho finalmente la configurazione che volevo: Qwen3.8 Flash Next in locale, con un servizio systemd che parte al boot e uno script per cambiare modello al volo. Questo post documenta l’installazione attuale e chiude il capitolo Qwen3.6. ...