Agentes de IA podem ler páginas, consultar arquivos e acionar ferramentas. Uma instrução maliciosa escondida em conteúdo externo pode tentar mudar a tarefa. Reduzir esse risco exige mais do que uma frase no prompt: é preciso limitar o que o agente pode acessar e fazer, e validar cada ação fora do modelo.

O que é prompt injection

Prompt injection é uma tentativa de influenciar o comportamento do modelo por meio de instruções inseridas na conversa ou em conteúdo que ele deve analisar. Pode aparecer em uma página, e-mail, PDF, imagem ou resposta de uma ferramenta. O texto pode pedir que o agente ignore a tarefa, revele informações ou use uma integração de forma indevida.

Isso não significa que qualquer texto malicioso será obedecido. O risco aumenta quando o sistema mistura instruções confiáveis com conteúdo externo e quando o agente tem acesso amplo a dados ou ferramentas. Prompt injection também não é, por si só, execução de código: o impacto depende das permissões que o sistema concedeu ao agente.

Onde o impacto pode crescer

Um assistente que apenas resume uma página tem menos capacidade de causar efeitos externos do que um agente que também pode enviar e-mails, editar arquivos ou fazer compras. Se ambos recebem o mesmo conteúdo malicioso, o segundo exige controles mais fortes porque suas ferramentas podem agir no mundo real.

Por isso, avalie cada conexão como parte do fluxo de segurança. Pergunte quais dados entram no contexto, quais ferramentas podem ser chamadas, que credenciais são usadas e o que acontece se uma chamada estiver errada.

Proteja o fluxo por camadas

Comece com acesso mínimo. Se a tarefa exige leitura, não conceda permissão para enviar ou excluir. Separe credenciais por serviço e limite cada uma ao usuário e à finalidade necessários. Evite deixar segredos em prompts, arquivos recuperados ou registros de depuração.

A aplicação deve validar os parâmetros no servidor: destino permitido, formato esperado, escopo da conta e tamanho da operação. A resposta do modelo não deve decidir sozinha se uma ação privilegiada está autorizada. Para envio, publicação, compra ou exclusão, mostre os detalhes e peça confirmação explícita antes da execução.

Trate páginas, anexos e resultados de ferramentas como dados não confiáveis, mesmo quando parecem confiáveis. Isolamento de navegador, limites de rede e registros sanitizados podem reduzir o impacto, mas nenhuma camada promete eliminar todos os ataques.

Teste antes de liberar

Monte casos de teste com instruções adversariais em diferentes posições e formatos. Peça ao agente para resumir um documento que contém uma ordem escondida para encaminhar outro arquivo. O comportamento esperado deve ser claro: concluir o resumo, não enviar o arquivo e explicar que o trecho era conteúdo do documento.

Repita com páginas, imagens, idiomas e saídas de ferramentas diferentes. Confira tanto a resposta quanto o servidor: ele deve rejeitar uma chamada não autorizada mesmo se o modelo tentar fazê-la. Faça esses testes depois de mudar o modelo, o prompt, as ferramentas ou as permissões.

Registre o tipo de falha e a versão do fluxo sem guardar conteúdo pessoal ou credenciais desnecessárias. A revisão contínua ajuda a descobrir se uma mudança reabriu um caminho que antes estava bloqueado.

Checklist de partida

• Dê ao agente somente acesso necessário para a tarefa.

• Separe leitura de ações que enviam ou alteram dados.

• Valide cada chamada no servidor e limite destinos.

• Confirme com a pessoa antes de ações externas importantes.

• Teste instruções maliciosas sem usar dados reais.