Ollama Api

Tutti i modelli che uso girano in locale, e uso l'API di Ollama dalla sua prima versione pubblica: per gli embedding, per l'OCR e per generare testo. Da allora l'ho seguita in tutta la sua evoluzione.

Dove la uso

L'ho usata in molti progetti: sistemi RAG, chatbot e strumenti OCR dentro applicazioni esistenti. Due RAG sono raccontati su questo sito: quello che ho costruito in STCC, nella pagina su Python, e Local RAG Example, open source e scritto in Go. In HSPI la maggior parte dei miei microservizi Go usa modelli tramite Ollama o LM Studio.

Un'app OCR passata a LM Studio

A cavallo tra il 2025 e il 2026 un'app su cui lavoravo faceva girare un modello OCR su un server con GPU AMD. Il supporto Vulkan di Ollama all'epoca era ancora sperimentale. Ho spostato il modello su LM Studio, che esegue i modelli tramite Vulkan, e le prestazioni sono migliorate. Oggi Ollama supporta Vulkan.

Autocompletamento su codice che non può uscire

Ogni giorno uso un modello locale per l'autocompletamento del codice. Serve per le codebase riservate (quelle delle istituzioni parlamentari, i sistemi enterprise) che non possono essere inviate a un provider di AI nel cloud: eseguendo i modelli sulla mia infrastruttura ho l'assistenza dell'AI senza che una riga di codice lasci l'ambiente di sviluppo.

Provare i modelli a casa

Nella mia sala server una RTX 3090 fa girare modelli come Qwen Coder e Gemma tramite Ollama. Li provo lì, in Docker, prima di proporli al lavoro.