Você e a inteligência artificial (IA) leem de forma diferente. Você, humano, lê palavras. Usa o vocabulário armazenado na sua mente. A IA, máquina, lê bloquinhos com etiquetas numéricas. Esses bloquinhos são os tokens.
O token é a língua que grandes modelos de linguagem (LLMs, na sigla em inglês), como ChatGPT, Claude e Gemini, entendem. Para transformar a língua que você fala na língua que a máquina fala, seus prompts passam pela tokenização. E para a IA te responder na língua que você entende, ocorre a destokenização.
É isso que está por trás dos preços das assinaturas das plataformas. Processar esses “bloquinhos” consome energia e poder computacional. Então, as empresas usam a quantidade de tokens consumidos (tanto na sua pergunta quanto na resposta da IA) para calcular os custos do sistema, definir os limites de “memória” de cada modelo e cobrar pelo seu uso.
O que é token e como ele funciona na IA
Para a IA entender sua mensagem (comando, prompt), ela precisa quebrar o que você mandou (texto, áudio, imagem) em blocos: os tokens. “Um token é basicamente uma subpalavra”, explica Fabrício Carraro, Program Manager da Alura, em entrevista ao Olhar Digital. “Por exemplo: a palavra ‘feliz’ é um token, a palavra ‘triste’ é um token, a palavra ‘divisível’ é um token.”
Então, por que chamar de subpalavra?
Se a gente tem ‘indivisível’ ou ‘infeliz’, você vai ter o token ‘in’. O token ‘in’ corresponde, digamos, ao número 357 no vocabulário total de um modelo de linguagem.
