Descrição
Modelos grandes de linguagem rodam localmente com uma engine de inferência em C e C++ acelerada por GPUs compatíveis com Vulkan. Ele ajuda desenvolvedores, pesquisadores e usuários avançados a testar modelos no estilo LLaMA sem enviar prompts a um serviço online.
Arquivos de modelo são separados e podem ser grandes. Saídas de IA local podem estar erradas, conter vieses ou ser inseguras para decisões que exigem especialização, e prompts ainda podem expor dados privados a quem tem acesso à máquina.