Tokens OpenAI: O Que São, Como Contar e Quanto Custam

O que são tokens na OpenAI e como funcionam?

Você já ouviu falar dos tokens da OpenAI, mas ainda não sabe exatamente o que eles são ou como funcionam? Não se preocupe! Neste artigo, vamos explorar de maneira simples e clara o que são tokens, como eles são consumidos pela API da OpenAI, e como eles afetam o custo de uso do modelo ChatGPT 4o-mini. Se você quer entender melhor essa tecnologia e otimizar seus custos, continue lendo!

O que são tokens?

Entendendo a ideia de tokens

Tokens podem ser pensados como pequenos pedaços de palavras. Antes que a API processe uma solicitação, o texto de entrada é dividido em tokens. Esses tokens não são cortados exatamente onde as palavras começam ou terminam — eles podem incluir espaços ou até partes de palavras.

Regras práticas para entender tokens

Aqui estão algumas regras práticas para ajudar a entender o comprimento dos tokens em relação às palavras e caracteres:

• 1 token ≈ 4 caracteres em inglês
• 1 token ≈ ¾ de uma palavra
• 100 tokens ≈ 75 palavras
• 1-2 frases ≈ 30 tokens
• 1 parágrafo ≈ 100 tokens
• 1.500 palavras ≈ 2.048 tokens

Exemplo de tokenização

Para entender melhor, veja como uma frase pode ser dividida em tokens:

• Frase: "Eu adoro aprender."
• Tokens: ["Eu", "ador", "o", "aprend", "er", "."]

Cada uma dessas partes é contada como um token, mesmo que em uma conversa natural você as veja como palavras completas.

Exemplos práticos de tokenização

Para contextualizar ainda mais, veja a tokenização de alguns textos conhecidos:

• A famosa frase de Wayne Gretzky "Você perde 100% dos chutes que não dá" contém 11 tokens.
• A carta da OpenAI contém 476 tokens.
• A transcrição da Declaração de Independência dos EUA contém 1.695 tokens.

Vale notar que o número de tokens varia conforme o idioma. Por exemplo, a frase em espanhol ‘Cómo estás’ (que significa "Como você está?") contém 5 tokens, enquanto possui 10 caracteres. Isso mostra que idiomas diferentes podem ter uma relação de token para caracteres mais alta, impactando diretamente no custo de processamento.

Como funciona o consumo de tokens na API da OpenAI?

Tokenização e Processamento

Quando você envia uma solicitação para a API da OpenAI, o texto que você insere é primeiro quebrado em tokens. O modelo processa esses tokens para gerar uma resposta, que também é transformada em tokens. O número total de tokens consumidos em uma interação é a soma dos tokens de entrada e de saída.

Prompt Tokens

Prompt Tokens: Este número representa a quantidade de tokens (ou unidades de texto, como palavras ou partes de palavras) que foram usados no texto de entrada (o "prompt") que você fornece ao modelo.

Completion Tokens

Ccompletion Tokens: Este número refere-se à quantidade de tokens gerados pelo modelo como resposta ao prompt.

Total Tokens

Tokens Totais: é a soma da quantidade de tokens do prompt + a quantidade de tokens consumidas para gerar a resposta.

Impacto no Custo

A quantidade de tokens consumidos afeta diretamente o custo do uso da API. Cada token processado, seja na entrada ou na saída, gera um custo, e otimizar o número de tokens pode reduzir suas despesas.

Custo por tokens no GPT-4o-mini

No caso do GPT-4o-mini, o custo é de US$ 0,15 por milhão de tokens de entrada e US$ 0,60 por milhão de tokens de saída. Ou seja, o preço depende não só da quantidade de tokens que você envia ao modelo, mas também da quantidade de tokens que o modelo responde. Isso é especialmente importante em interações longas ou detalhadas.

Quantos tokens são consumidos por caracteres, palavras e frases?

Consumo de tokens por caracteres

A média de consumo de tokens por caractere varia, mas uma estimativa comum é que 1 token ≈ 4 caracteres em inglês. Em português, a variação pode ser um pouco maior, dependendo do tipo de palavras e frases utilizadas.

Consumo de tokens por palavras

Uma palavra típica em português consome, em média, cerca de 1,5 tokens. No entanto, palavras mais curtas podem consumir menos tokens, e palavras longas, compostas ou técnicas podem consumir mais.

Consumo de tokens por frases e parágrafos

Frases curtas e diretas consomem menos tokens, enquanto frases longas e complexas podem gerar um consumo maior. Por exemplo, uma frase com 10 palavras pode consumir entre 10 a 15 tokens. Já um parágrafo com aproximadamente 100 palavras pode consumir cerca de 100 tokens.

Como funcionam os tokens para áudios, imagens e PDFs?

Tokens em áudios

Quando você utiliza a API da OpenAI para transcrever áudios, o consumo de tokens acontece com base no texto resultante dessa transcrição. Quanto mais extenso o áudio, mais palavras serão geradas e, portanto, mais tokens serão consumidos.

Tokens em imagens

O processamento de imagens não consome tokens diretamente, mas quando o modelo gera descrições ou análises da imagem, o texto gerado é transformado em tokens. Assim, o custo dependerá do volume de texto que a imagem "gera".

Tokens em PDFs

Arquivos PDF que contêm texto são tratados de forma similar a qualquer outro documento textual. O conteúdo textual do PDF é convertido em tokens, e documentos maiores, com mais palavras e parágrafos, naturalmente consomem mais tokens.

Estimativa de custos com base no modelo ChatGPT 4o-mini

Cálculo básico de custos

Agora que já sabemos que o GPT-4o-mini cobra US$ 0,15 por milhão de tokens de entrada e US$ 0,60 por milhão de tokens de saída, podemos fazer algumas simulações simples de custo:

1. Se você enviar uma solicitação para a API que consome 2.000 tokens de entrada e o modelo retornar uma resposta com 3.000 tokens, o cálculo seria:
   • Tokens de entrada: 2.000 tokens = 0,002 milhões = US$ 0,0003
   • Tokens de saída: 3.000 tokens = 0,003 milhões = US$ 0,0018
   • Custo total da interação: US$ 0,0021.

Embora esse custo possa parecer baixo, ao longo de muitas interações, especialmente em projetos de grande escala, os valores podem se acumular rapidamente.

Redução de custos

Uma das melhores maneiras de reduzir custos ao usar a API da OpenAI é ser estratégico na quantidade de tokens que você consome. Aqui estão algumas dicas:

• Mantenha as solicitações curtas e diretas.
• Use prompts otimizados que evitem gerar respostas desnecessariamente longas.
• Limite o tamanho da resposta esperada, ajustando os parâmetros da API para controlar a extensão das respostas.

Conclusão

Entender o que são tokens e como eles impactam o uso da API da OpenAI é fundamental para qualquer pessoa que deseja utilizar essa tecnologia de maneira eficiente e econômica. Ao ter noção de como os tokens são contados e consumidos, você pode planejar suas interações de maneira mais estratégica, otimizando os custos e garantindo que suas necessidades sejam atendidas sem surpresas desagradáveis no final do mês.

Agora que você tem um bom entendimento sobre como os tokens funcionam no modelo ChatGPT 4o-mini, está pronto para usá-lo de forma mais eficiente e econômica!

FAQs

1. O que são tokens?

Tokens são as menores unidades de texto que o modelo GPT utiliza para processar e gerar respostas. Eles podem ser partes de palavras, palavras inteiras ou caracteres.

2. Como posso reduzir o consumo de tokens?

Você pode reduzir o consumo de tokens sendo objetivo nas suas perguntas e limitando o tamanho das respostas. Evitar frases muito longas também ajuda.

3. Quantos tokens são consumidos por palavra?

Em média, uma palavra em português consome cerca de 1,5 tokens, mas isso pode variar dependendo do comprimento e da complexidade da palavra.

4. Os tokens afetam o custo do uso da API?

Sim, quanto mais tokens forem consumidos durante uma interação, maior será o custo do uso da API da OpenAI.

5. Como funcionam os tokens em arquivos PDF?

Quando um PDF contém texto, a API converte cada linha desse texto em tokens. Quanto maior o documento, mais tokens serão consumidos.

‍