Prompt Caching no Gemini 2.0 Flash: Reduzindo Custo e Latência de Agentes

No desenvolvimento de agentes de IA baseados em modelos de linguagem (LLMs), a latência do primeiro token (Time to First Token - TTFT) e o custo financeiro das chamadas de API são os dois maiores gargalos à adoção comercial em larga escala. Para sanar essa barreira, o Google implementou nativamente o recurso de Prompt Caching na API do Gemini 2.0 Flash. Essa inovação permite reter em memória de TPUs contextos repetitivos gigantescos, mitigando custos de tokens de entrada e acelerando drasticamente o processamento.

Até agora, cada vez que o agente enviava uma nova mensagem contendo todo o histórico da conversa e as instruções de sistema, o Google precisava computar e parsear todo o texto inicial novamente. Com o cache de prompt ativado, a maior parte do contexto prévio é recuperada diretamente do cache do chip do servidor.

⟩_ Funcionamento do Cache na Arquitetura da TPU

O recurso de Prompt Caching do Gemini baseia-se no cálculo do hash SHA-256 do prompt de entrada. Quando a API recebe uma requisição, ela verifica se os tokens iniciais (até uma posição específica) coincidem perfeitamente com um cache existente gerado recentemente.

Para o cache ser acionado, o bloco de dados inicial deve ter no mínimo 32.768 tokens (o equivalente a cerca de 100 páginas de texto). Isso torna a funcionalidade ideal para cenários onde as instruções de contexto de sistema (System Instructions), definições de centenas de ferramentas JSON (toolsets) e o histórico de conversas permanecem estáticos, enquanto apenas a última mensagem do usuário muda.

Quando ocorre um cache hit, a API pula as operações iniciais complexas de atenção do transformador (Self-Attention) para a parte estática, aplicando a inferência apenas na nova porção inserida pelo usuário, reduzindo a latência da resposta para frações de segundo.

⟩_ Exemplo Prático de Criação de Cache de Prompt

Abaixo está um exemplo conceitual de código em Node.js utilizando o SDK oficial da IA do Google para instanciar e reaproveitar um cache de prompt com dados estáticos volumosos:

const { GoogleGenAI } = require("@google/genai");
const ai = new GoogleGenAI({ apiKey: process.env.GEMINI_API_KEY });

async function setupCachedAgent() {
  // Criando o recurso de cache com base em um documento volumoso
  const cache = await ai.caches.create({
    model: "gemini-2.0-flash-exp",
    displayName: "documentacao_sistema_prod",
    ttl: "300s", // Time-to-live: mantido em cache por 5 minutos
    contents: [{
      role: "user",
      parts: [{ text: "CONTEUDO_MUITO_LONGO_DE_DOCUMENTACAO_DE_API_..." }]
    }]
  });

  // Criando o modelo que usará os dados em cache de forma transparente
  const response = await ai.models.generateContent({
    model: "gemini-2.0-flash-exp",
    contents: "Qual o endpoint de autenticação mapeado na documentação?",
    config: {
      cachedContent: cache.name
    }
  });

  console.log(response.text);
}

⟩_ Conclusão

O Prompt Caching no Gemini 2.0 Flash é um avanço de engenharia de software indispensável para o desenvolvimento de agentes de IA corporativos escaláveis. Ele viabiliza manter grandes logs, contextos extensos e interações ricas a uma fração do custo operacional clássico de LLMs na nuvem, acelerando o tempo de resposta percebido pelo usuário final.