190 token al secondo: un modello da 35 miliardi di parametri su un portatile Un modello di linguaggio da 35 miliardi di parametri non dovrebbe stare in 16 gigabyte di memoria video, e tanto meno generare a quasi duecento token al secondo. Eppure succede, a patto di accettare due vincoli architetturali e di trattare la cache delle chiavi come una variabile di progetto. Raccontiamo cosa abbiamo misurato, con i numeri completi e i parametri che hanno contato. ...
Del gateway Telegram che specchia le conversazioni VS Code sul mio GX10 avevo raccontato l’architettura. Stamattina è stato il primo turno in cui il setup ha lavorato davvero — e ha prodotto esattamente il tipo di mattinata che un post non prevede mai: una solution .NET che non compila, un feed npm privato che risponde 401 e un personal access token incollato in chat. Racconto tutto, senza token. ...
Fino a poco tempo fa, per parlare con il mio agente potevo farlo da due posti soli: il terminale del GX10, o VS Code seduto davanti a una delle due macchine. Un agente che risponde solo quando sei alla scrivania è un agente con gli orari d’ufficio. ...
Il mio GX10 lavora sodo: fa girare i modelli in locale 24 ore su 24 e nessuno dei due post precedenti raccontava quanto. Era ora di smettere di rispondere “credo vada bene” e aprire una dashboard. Ecco come l’ho costruita — e i numeri della prima settimana vera di lavoro. ...
Ogni articolo di questo blog, prima di oggi, aveva un problema estetico: nessuna copertina. PaperMod le mostra in home, nelle liste e in cima al post singolo — senza immagine, l’impaginato perde metà del suo impatto. Disegnarle a mano ogni volta, però, era il modo più rapido per non pubblicare niente. ...
Negli ultimi giorni ho dedicato il mio tempo a ottimizzare la comunicazione tra le due macchine principali del mio setup: il mio portatile da gaming, lo Strix Scar 16, e il server domestico GX10. L’obiettivo era chiaro: creare un flusso di lavoro fluido che mi permettesse di sfruttare la potenza di calcolo del server per eseguire modelli locali pesanti, mentre utilizzavo l’interfaccia del portatile per l’interazione quotidiana. ...
Sull’AsUS Ascent GX10 ho finalmente la configurazione che volevo: Qwen3.8 Flash Next in locale, con un servizio systemd che parte al boot e uno script per cambiare modello al volo. Questo post documenta l’installazione attuale e chiude il capitolo Qwen3.6. ...