
16 + 128 = 144 GB: ha senso fare inferenza “a quattro mani” tra laptop e GX10? L’idea Ho due macchine che fanno inference di LLM: il laptop, con una GPU da 16 GB di VRAM: veloce, affamata di banda (orientativa: 700–1000 GB/s a seconda del chip), ma con poco spazio; il GX10 (SoC Grace Blackwell GB10), con 128 GB di memoria unificata: tanto spazio, ma banda LPDDR5x di circa 273 GB/s. Oggi ci gira llama.cpp che serve Qwen in locale. La tentazione è ovvia: e se unissimo le due memorie in un unico “super GPU” da ~140 GB? Sul GX10 entrano modelli da 100+ GB quantizzati; sul laptop no. Ma la somma delle capacità vale davvero la somma delle prestazioni? ...