Quanto maior é uma inteligência artificial (IA), melhor ela funciona? Para pesquisadores da USP e Unicamp ouvidos pelo Olhar Digital, a resposta depende do problema. Em determinadas aplicações, sistemas mais eficientes e especializados podem exigir menos dados e processamento e, ainda assim, entregar o desempenho necessário para aquela tarefa.
A discussão não significa que os grandes modelos perderam espaço. Enquanto Marcelo Finger critica a dependência crescente de dados e recursos computacionais na evolução desses sistemas, o matemático Marcos Eduardo Valle aponta uma lacuna entre os modelos menores e os grandes sistemas de aprendizado profundo e vê espaço para explorar soluções intermediárias.
O que há por trás da corrida por modelos maiores?
Para Marcelo Finger, uma das principais contribuições do avanço recente da inteligência artificial foi ampliar a capacidade das máquinas de reconhecer padrões em diferentes tipos de informação, como linguagem, imagens e sons. Esse avanço ganhou um novo impulso em 2017, com a proposta do Transformer, um modelo de reconhecimento de padrões inicialmente desenvolvido para tradução entre línguas. A arquitetura se tornou uma das bases dos grandes modelos de linguagem usados atualmente.
Finger destaca, porém, uma limitação dessa abordagem. Segundo ele, o Transformer precisa rever os dados de entrada múltiplas vezes, e esse processo cresce de forma quadrática conforme aumenta o tamanho da entrada.
