Descrição
Inferência de grandes modelos de linguagem pode ser servida com maior throughput e eficiência de memória. Esta engine ajuda desenvolvedores a rodar serviço de modelos, batching e fluxos de inferência para aplicações baseadas em LLM.
Ela pode expor um servidor e processar prompts, texto gerado, arquivos de modelo e memória de GPU. Restrinja acesso e proteja dados de prompts, porque modelos servidos podem lidar com conteúdo sensível ou não confiável.