Descrição
Arrays JAX podem usar comunicação MPI com aceleração ciente de CUDA para cargas GPU distribuídas. Pesquisadores HPC e de ML usam esta variante em simulações e treino multi-GPU. Versões CUDA, suporte MPI, memória de dispositivos e comportamento de sincronização precisam de validação.