FICHA · AUR
ik-llama.cpp-cuda
Fork do llama.cpp com quants SOTA adicionais e melhor desempenho, backend CUDA
- local-llm-inference-tool
- Linha de comando
- TERMINAL
- AI
- Abre direto
- Roda no terminal
· codex · reviewed · 1 de jun. de 2026 descrição em pt-br · fallback
Inferência local de modelos grandes de linguagem pode usar aceleração NVIDIA CUDA com formatos extras de quantização.
É útil para usuários que rodam modelos de IA offline em GPUs compatíveis. Modelos locais ainda podem processar texto sensível e gerar saída errada, e builds GPU exigem drivers e suporte CUDA compatíveis.
Como rodar
llama-cli
Comandos: llama-cli
Permissões
Permissões ainda não analisadas para esta fonte.