Descrição
Inferência de grandes modelos de linguagem pode usar aceleração CUDA pela engine de serviço vLLM. Esta variante é voltada a sistemas com GPUs NVIDIA que precisam de serviço de modelos com alto throughput e batching eficiente em memória.
Ela pode expor um servidor de inferência e consumir muita memória de GPU. Valide compatibilidade de drivers, restrinja acesso ao serviço e proteja prompts ou saídas que possam conter dados privados.