190 token al secondo: un modello da 35 miliardi di parametri su un portatile Un modello di linguaggio da 35 miliardi di parametri non dovrebbe stare in 16 gigabyte di memoria video, e tanto meno generare a quasi duecento token al secondo. Eppure succede, a patto di accettare due vincoli architetturali e di trattare la cache delle chiavi come una variabile di progetto. Raccontiamo cosa abbiamo misurato, con i numeri completi e i parametri che hanno contato. ...
Il mio GX10 lavora sodo: fa girare i modelli in locale 24 ore su 24 e nessuno dei due post precedenti raccontava quanto. Era ora di smettere di rispondere “credo vada bene” e aprire una dashboard. Ecco come l’ho costruita — e i numeri della prima settimana vera di lavoro. ...
Sull’AsUS Ascent GX10 ho finalmente la configurazione che volevo: Qwen3.8 Flash Next in locale, con un servizio systemd che parte al boot e uno script per cambiare modello al volo. Questo post documenta l’installazione attuale e chiude il capitolo Qwen3.6. ...