Descrição
Inferência de grandes modelos de linguagem pode ser servida a partir de um pacote binário do vLLM para implantações de alto throughput. Esta build atende desenvolvedores que precisam da engine e do serviço de linha de comando vLLM sem compilar as partes principais localmente.
Ela pode expor endpoints de rede e processar prompts, texto gerado, arquivos de modelo e memória de aceleradores. Mantenha APIs servidas privadas salvo publicação intencional, e trate logs de prompts como sensíveis.