190 token al secondo: un modello da 35 miliardi di parametri su un portatile Un modello di linguaggio da 35 miliardi di parametri non dovrebbe stare in 16 gigabyte di memoria video, e tanto meno generare a quasi duecento token al secondo. Eppure succede, a patto di accettare due vincoli architetturali e di trattare la cache delle chiavi come una variabile di progetto. Raccontiamo cosa abbiamo misurato, con i numeri completi e i parametri che hanno contato. ...
Oggi una vittoria piccola, di quelle che valgono doppio: lo Scar sotto la VPN aziendale, e da lì collegato al GX10 con VS Code Remote come se fossi in salotto. Per mesi le due cose sono state incompatibili. ...
Del gateway Telegram che specchia le conversazioni VS Code sul mio GX10 avevo raccontato l’architettura. Stamattina è stato il primo turno in cui il setup ha lavorato davvero — e ha prodotto esattamente il tipo di mattinata che un post non prevede mai: una solution .NET che non compila, un feed npm privato che risponde 401 e un personal access token incollato in chat. Racconto tutto, senza token. ...
Fino a poco tempo fa, per parlare con il mio agente potevo farlo da due posti soli: il terminale del GX10, o VS Code seduto davanti a una delle due macchine. Un agente che risponde solo quando sei alla scrivania è un agente con gli orari d’ufficio. ...
Il mio GX10 lavora sodo: fa girare i modelli in locale 24 ore su 24 e nessuno dei due post precedenti raccontava quanto. Era ora di smettere di rispondere “credo vada bene” e aprire una dashboard. Ecco come l’ho costruita — e i numeri della prima settimana vera di lavoro. ...
Sette giorni densi, in cui il progetto “blog” è passato dall’essere un sito statico con un pannello Flask di fortuna a un piccolo ecosistema: CMS scritto bene, immagini generate dal modello locale, e un filo diretto tra le due macchine di casa che adesso registra pure quello che faccio. Ripercorro tutto in ordine, con i link ai post già scritti in dettaglio. ...
Ogni articolo di questo blog, prima di oggi, aveva un problema estetico: nessuna copertina. PaperMod le mostra in home, nelle liste e in cima al post singolo — senza immagine, l’impaginato perde metà del suo impatto. Disegnarle a mano ogni volta, però, era il modo più rapido per non pubblicare niente. ...
Negli ultimi giorni ho dedicato il mio tempo a ottimizzare la comunicazione tra le due macchine principali del mio setup: il mio portatile da gaming, lo Strix Scar 16, e il server domestico GX10. L’obiettivo era chiaro: creare un flusso di lavoro fluido che mi permettesse di sfruttare la potenza di calcolo del server per eseguire modelli locali pesanti, mentre utilizzavo l’interfaccia del portatile per l’interazione quotidiana. ...
16 + 128 = 144 GB: ha senso fare inferenza “a quattro mani” tra laptop e GX10? L’idea Ho due macchine che fanno inference di LLM: il laptop, con una GPU da 16 GB di VRAM: veloce, affamata di banda (orientativa: 700–1000 GB/s a seconda del chip), ma con poco spazio; il GX10 (SoC Grace Blackwell GB10), con 128 GB di memoria unificata: tanto spazio, ma banda LPDDR5x di circa 273 GB/s. Oggi ci gira llama.cpp che serve Qwen in locale. La tentazione è ovvia: e se unissimo le due memorie in un unico “super GPU” da ~140 GB? Sul GX10 entrano modelli da 100+ GB quantizzati; sul laptop no. Ma la somma delle capacità vale davvero la somma delle prestazioni? ...
Questo blog è la seconda cosa che ho costruito per scriverci sopra la prima. Il sito lo genera Hugo con il tema PaperMod — veloce, statico, zero dipendenze a runtime. Ma da terminale pubblicare un articolo è un rituale che scoraggia: aprire il file, sistemare il front matter, hugo server per l’anteprima, docker compose up -d --build, pregare. ...