Quando fazemos uma pergunta a uma inteligência artificial, o sistema precisa processar o texto antes de formular uma resposta. Nesse caminho, as frases são divididas em unidades menores, chamadas tokens.
Embora o conceito já exista há décadas na computação e no processamento de linguagem natural, um evento recente, o Google I/O, realizado em maio de 2026, mostrou como algo pequeno e técnico, nascido décadas antes dos chatbots, virou métrica de uso de uma indústria inteira.
Chamando os tokens de “unidades fundamentais de dados que nossos modelos processam”, o CEO da empresa, Sundar Pichai, revelou que o Google processa 3,2 quatrilhões de tokens por mês, contra 9,7 trilhões dois anos antes, uma alta de cerca de 330 vezes.
Esse volume dá a medida da escala, mas não do que acontece em cada conversa. Basta um histórico longo para a inteligência artificial esquecer o começo, ou um texto grande demais para a resposta ser cortada. É que todo modelo de linguagem trabalha dentro de um limite de tokens, e esse limite define o que cabe em cada pedido.
Confira, a seguir, como os textos viram tokens, como os modelos trabalham com eles e por que o limite existe.
O que são tokens em inteligência artificial?
Tokens são as menores unidades de texto que um modelo de linguagem processa: uma palavra inteira, um pedaço de palavra, um caractere ou um sinal de pontuação.
