O que é um roteador de IA? Veja como usar e economizar tokens

O roteador de IA é uma ferramenta que analisa automaticamente qual modelo de inteligência artificial deve ser escolhido para resolver um pedido específico. É possível alternar entre LLMs de diferentes empresas e escolher o melhor custo-benefício.

A solução é amplamente usada por empresas e desenvolvedores que dependem do uso de IA no dia a dia, principalmente por APIs e pelo gasto com tokens, mas também é possível encontrar exemplos em ferramentas individuais.

Um exemplo ocorre no próprio ChatGPT: ao fazer um prompt, a ferramenta pode escolher qual nível de modelo deve ser usado para gerar a resposta. A Perplexity também pode combinar diferentes IAs para conseguir atender a um prompt.

Como um roteador funciona?

Assim como um roteador Wi-Fi distribui o acesso à rede sem fio para diferentes dispositivos, os roteadores de IA fazem uma tarefa parecida com as IAs: a plataforma se conecta com APIs de diferentes empresas e consegue acessar os modelos de inteligência artificial para cada prompt.

No lugar de abrir o assistente de IA (ChatGPT, Gemini, e por aí vai), digitar o prompt e escolher um modelo, o roteador funciona como um “mediador”. Basta enviar o comando e a ferramenta vai encontrar o modelo ideal para gerar uma resposta com base no nível de complexidade, o fluxo de pensamento ou o custo-benefício.