Os pesquisadores do Instituto Avançado de Ciência e Tecnologia da Coreia (KAIST) desenvolveram uma inteligência artificial que consegue identificar palavras a partir dos movimentos dos lábios em vídeos sem áudio. Batizado de DLLM-VSR, o sistema alcançou um novo recorde de precisão em testes de leitura labial por IA. A tecnologia ainda está em fase de desenvolvimento e não chegou ao público ou ao mercado.
O principal desafio desse tipo de ferramenta é diferenciar palavras que produzem movimentos labiais muito parecidos. É o caso das consoantes “p”, “b” e “m”, que podem ter aparências praticamente idênticas durante a fala. Para lidar com essa limitação, o DLLM-VSR utiliza um modelo de linguagem baseado em difusão (DLLM), que adota uma abordagem diferente das IAs tradicionais.
Os sistemas convencionais interpretam as palavras em sequência, da esquerda para a direita, o que pode influenciar o que vem depois. O DLLM-VSR segue outro caminho: identifica primeiro os termos sobre os quais tem maior confiança e usa essas palavras como referência para preencher as lacunas com informações das partes anteriores e posteriores da frase. O sistema também estima diferentes comprimentos possíveis para a frase com base na duração do vídeo, gera uma transcrição para cada opção e seleciona a versão mais plausível.
Nos testes, o DLLM-VSR registrou uma taxa de erro de palavras (WER) de 19,4% no benchmark LRS3, com treinamento baseado em 433 horas de vídeos rotulados.
