Descrição
Modelos de linguagem locais podem usar aceleração Vulkan em uma compilação de desenvolvimento do Ollama. Isso ajuda usuários a testar inferência por GPU em sistemas onde o suporte Vulkan é útil ou experimental.
Ele pode baixar modelos grandes, usar muitos recursos de GPU e expor uma API local. Revise compatibilidade de driver e privacidade dos prompts antes do uso.