5 min read
Da 5 a 7 parole al secondo. È la velocità con cui, secondo Microsoft, il suo framework BitNet open source riesce a far girare un modello di IA molto grande e appositamente compresso su un normalissimo processore, più o meno la velocità di lettura di una persona. Qualche anno fa sarebbe servito un intero rack di hardware specializzato. Oggi è un download gratuito.
Non serve usare BitNet per approfittare di questo cambiamento. Il punto vero è un altro: modelli di IA validi ora girano interamente su un normale portatile, senza inviare nulla al cloud. Per un’attività in proprio che gestisce contratti dei clienti, moduli di accettazione medica, documenti finanziari o lavori non ancora pubblicati, è un’opzione concreta per la privacy, non un esperimento da smanettoni. Questa guida ti mostra come configurarla in meno di un’ora e, cosa altrettanto importante, quando non vale la pena sbattersi.
Perché far girare l’IA sul tuo computer
Gli assistenti cloud come ChatGPT, Claude e Gemini sono più potenti di qualsiasi cosa possa far girare il tuo portatile. Quindi le ragioni per l’IA locale sono poche, ma concrete:
- Documenti riservati. Alcuni accordi con i clienti vietano di caricare il loro materiale su servizi di terzi. Un modello locale non invia il testo da nessuna parte.
- Informazioni regolamentate. Se tratti dati sanitari, legali o finanziari, tenerli lontani da server esterni semplifica il rapporto con i clienti e, spesso, con le norme di cui parliamo nella nostra guida in parole semplici alle nuove leggi statali sull’IA.
- Lavoro offline. Aerei, cantieri in zone isolate e il Wi-Fi ballerino del bar non sono più un problema.
- Nessun costo a consumo. Una volta installato, un modello locale non costa nulla oltre all’elettricità.
Il rovescio della medaglia: i modelli locali sono più piccoli, quindi se la cavano peggio con ragionamenti complessi e documenti lunghi. Consideralo un assistente capace per scrivere bozze, riassumere e mettere in ordine, non uno stratega.
Passo 1: controlla il tuo portatile
Il numero che conta di più è la memoria (RAM). Una regola pratica:
- 8 GB di RAM: modelli piccoli (circa 3 miliardi di “parametri”, una misura approssimativa delle dimensioni del modello). Vanno bene per brevi riassunti e riscritture.
- 16 GB di RAM: modelli medi (circa 7 o 8 miliardi di parametri). È la scelta ideale per la maggior parte dei testi di lavoro.
- 32 GB o più: modelli più grandi che iniziano a essere davvero utili per documenti lunghi.
I Mac recenti con Apple Silicon e i portatili Windows con un processore moderno funzionano bene entrambi. Per iniziare non ti serve una scheda grafica da gaming.
Passo 2: scegli un’app semplice
Due strumenti gratuiti coprono le esigenze di quasi tutti i professionisti in proprio.
LM Studio (il più facile, tutto a clic)
LM Studio è un’app desktop per Mac, Windows e Linux che si presenta e si usa come un assistente in chat. Sfogli un catalogo di modelli aperti, clicchi su scarica e inizi a chattare. Se non hai mai aperto una finestra del terminale, parti da qui.
Ollama (semplice, un po’ più tecnico)
Ollama si installa come qualsiasi app e avvia i modelli con un breve comando digitato. È molto diffuso perché altri strumenti si collegano facilmente, comprese interfacce di chat gratuite come Open WebUI, se in seguito vuoi una finestra più gradevole.
Sono entrambi gratuiti. Scegli LM Studio se non vuoi digitare nulla, Ollama se prevedi di collegare altre app in futuro.
Passo 3: scarica un piccolo modello aperto
I modelli aperti sono modelli di IA i cui file vengono pubblicati perché chiunque possa usarli. Tra le famiglie che troverai in entrambe le app ci sono Llama (Meta), Gemma (Google), Mistral e Qwen. Per una prima prova:
- Cerca nel catalogo dell’app un modello con una dimensione adatta alla RAM che hai verificato al Passo 1.
- Preferisci le versioni contrassegnate come “instruct” o “chat”, ottimizzate per seguire le istruzioni.
- Scaricane uno. Aspettati un file di qualche gigabyte.
Con Ollama, l’intero processo è un singolo comando come ollama run llama3.2, che scarica un piccolo modello Llama e apre una chat nel terminale.
Passo 4: provalo prima su un compito reale (non sensibile)
Prima di affidargli i file dei clienti, fai tre prove con materiale che condivideresti senza problemi:
- Riassumi un documento di due pagine che conosci bene. Ha tralasciato qualcosa di importante?
- Riscrivi un’email buttata giù in fretta con un tono più cordiale. Sembra scritta da te?
- Estrai date, nomi e importi da una fattura di esempio. Sono corretti?
Se i risultati sono deboli, prova il modello di taglia superiore o una famiglia diversa. La qualità varia più da un modello all’altro che da un’app all’altra.
Passo 5: crea un semplice flusso di lavoro con una “corsia privata”
La configurazione più furba non è solo locale. È un sistema a due corsie:
- Corsia privata (modello locale): tutto ciò che contiene nomi dei clienti, dati sanitari o finanziari, o materiale coperto da un accordo di riservatezza. Riassunti, prime bozze ed estrazione di dati dai documenti.
- Corsia pubblica (assistente cloud): testi di marketing, ricerche generiche, domande di strategia e tutto ciò che è già pubblico.
Un trucco utile: lascia che il modello locale elimini nomi e dati identificativi, poi incolla la versione anonimizzata nel tuo assistente cloud per il ragionamento più impegnativo. Ottieni una qualità da cloud senza esporre l’originale.
Quando l’IA locale non vale la pena
Lascia perdere del tutto se il tuo portatile ha meno di 8 GB di RAM, se nessuno dei tuoi lavori è davvero riservato o se ti servono soprattutto ragionamenti approfonditi e ricerca. In questi casi conviene di più un piano business a pagamento di un assistente cloud, che di solito promette di non addestrare i modelli sui tuoi dati. La nostra analisi dei falsi miti sugli strumenti di IA gratuiti spiega perché “gratis” non significa sempre più economico, e il nostro approfondimento sui tagli di prezzo di Anthropic a ottobre mostra quanto velocemente stiano scendendo i costi del cloud.
In conclusione
L’IA locale non è più un progetto da laboratorio. Con un portatile da 16 GB, un’app gratuita e 30 minuti di configurazione, puoi tenere i lavori più delicati per i clienti interamente sul tuo computer, continuando a usare gli strumenti cloud per tutto il resto. Installa un’app, prova un modello e affidagli un compito riservato questa settimana. Capirai presto se merita un posto fisso nella tua cassetta degli attrezzi.
Letture consigliate
- Cosa significano le nuove leggi statali sull’IA per un’attività in proprio?
- 5 falsi miti su chi possiede i contenuti IA pubblicati dalla tua piccola impresa
- 5 falsi miti sugli strumenti di IA gratuiti che costano ai titolari di piccole imprese più di quanto pensino
- Claude Haiku 5.5, Sonnet più economico e crediti API mensili
