Descrição
Tokenização de texto para modelos de aprendizado de máquina pode usar algoritmos rápidos apoiados em Rust a partir de Python. Pesquisadores e engenheiros de ML podem treinar, carregar e executar tokenizadores para pipelines NLP e modelos transformer. Ele processa texto que pode conter conteúdo sensível de usuários ou conjuntos de dados.