Descrição
Modelos de linguagem locais podem rodar com uma compilação do Ollama focada em CPU quando aceleração por GPU não é desejada ou não está disponível. Isso ajuda usuários a testar fluxos de IA em sistemas mais simples.
Ele pode baixar modelos grandes e expor uma API local, mas o desempenho pode ser limitado por CPU e memória. Revise licenças dos modelos, uso de disco e privacidade dos prompts.