A chinesa DeepSeek anunciou nesta quarta-feira, 21, a disponibilização de uma ferramenta de código aberto desenvolvida para reduzir os custos de operação de modelos de inteligência artificial (IA). Chamado DeepInfer, o software otimiza a execução dos sistemas da empresa, com o objetivo de diminuir o uso de recursos computacionais e o consumo de energia. A iniciativa permite que empresas e provedores de serviços de nuvem utilizem técnicas adotadas pela própria DeepSeek para executar seus modelos de forma mais eficiente.
A empresa, sediada em Hangzhou, na China, afirmou que está compartilhando sua infraestrutura de produção para ajudar desenvolvedores a reduzir os custos de computação e ampliar o acesso à IA.
A ferramenta funciona como uma camada de software que coordena a execução dos modelos e aproveita melhor a capacidade dos equipamentos utilizados no processamento. Até o momento, o DeepInfer oferece suporte ao modelo V4.1-Flash, e a companhia informou que pretende adicionar compatibilidade com sistemas futuros.
O lançamento expõe parte dos métodos usados pela DeepSeek para manter baixos os custos de execução de seus modelos, etapa conhecida como inferência. É nesse processo que um sistema de IA utiliza o treinamento recebido para responder a perguntas, gerar textos ou realizar outras tarefas. O custo dessa operação varia conforme o modelo, o volume de solicitações e a eficiência do software e do hardware empregados.
