https://accordingly.dev/tags/v1/ Recent content in V1 on accordingly Hugo it-it Fri, 18 Sep 2026 09:42:42 +0200 https://accordingly.dev/posts/16-128-144-gb-ha-senso-fare-inferenza-a-quattro-mani-tra-laptop-e-gx10/ Fri, 18 Sep 2026 09:42:42 +0200 https://accordingly.dev/posts/16-128-144-gb-ha-senso-fare-inferenza-a-quattro-mani-tra-laptop-e-gx10/ <h1 id="16--128--144-gb-ha-senso-fare-inferenza-a-quattro-mani-tra-laptop-e-gx10">16 + 128 = 144 GB: ha senso fare inferenza &ldquo;a quattro mani&rdquo; tra laptop e GX10?</h1> <h2 id="lidea">L&rsquo;idea</h2> <p>Ho due macchine che fanno inference di LLM:</p> <ul> <li>il <strong>laptop</strong>, con una GPU da <strong>16 GB di VRAM</strong>: veloce, affamata di banda (orientativa: 700–1000 GB/s a seconda del chip), ma con poco spazio;</li> <li>il <strong>GX10</strong> (SoC Grace Blackwell GB10), con <strong>128 GB di memoria unificata</strong>: tanto spazio, ma banda LPDDR5x di circa <strong>273 GB/s</strong>. Oggi ci gira llama.cpp che serve Qwen in locale.</li> </ul> <p>La tentazione è ovvia: e se unissimo le due memorie in un unico &ldquo;super GPU&rdquo; da ~140 GB? Sul GX10 entrano modelli da 100+ GB quantizzati; sul laptop no. Ma la somma delle capacità vale davvero la somma delle prestazioni?</p>