Até pouco tempo, pedir a uma IA que realizasse alguma tarefa em um site quase sempre exigia uma ponte técnica, como uma API, para que o sistema pudesse interagir com aquele serviço. Agora, a IA também pode ir direto à tela, como faria uma pessoa.
A capacidade, conhecida como computer use, ganhou projeção em outubro de 2024, quando o Claude 3.5 Sonnet, da Anthropic, se tornou o primeiro modelo de ponta a oferecer o recurso em versão beta pública. OpenAI, Google e empresas chinesas vieram em seguida.
A ideia é permitir que a IA assuma tarefas repetitivas em sites e programas, mesmo quando eles não oferecem uma integração com outros softwares.
O problema é que entregar o mouse a uma máquina também abre espaço para erros caros e ataques escondidos em páginas comuns.
Confira, a seguir, o que é computer use, como a IA interpreta a tela e usa mouse e teclado, em que o recurso difere de outras formas de automação e quais cuidados ele exige.
O que é computer use em inteligência artificial?
Computer use é o recurso que permite a uma IA operar o computador pela mesma interface que as pessoas usam. A cada passo, o sistema analisa uma captura da tela, decide a próxima ação e confere o resultado antes de seguir.
Essa ação pode ser um clique, uma rolagem ou a digitação de um texto digitado em um campo. O computer use não é um programa específico e sim uma capacidade que diferentes sistemas de IA podem ter.
