IA × IA / Assessment

Placar de exposição e defesa

Quão rápido podem te atacar, e quão rápido você defende.

v1.1 · Autoavaliação, não auditoria: mede o que você declara. Sem benchmark até haver dados reais. Guarda só as respostas numéricas, sob código aleatório. · Baixar as perguntas em CSV

Antes de começar

Em 8 passos curtos, você descobre duas coisas: quão exposto está a ataques feitos com IA, e quão rápido a sua defesa consegue responder. A distância entre as duas é o que importa.

No fim você recebe um relatório com os dois placares, as cinco lacunas que mais pesam, um plano de 90 dias, o mapa para NIST, ISO 42001, OWASP e LGPD, e um código para repetir a avaliação e ver a evolução.

Leva uns 6 minutos. Não pede cadastro, não guarda nada que identifique você. Marque o nível que descreve hoje, não o plano.

Comparar com uma avaliação anterior (cole o código do relatório antigo)

Passo 1 de 8 · Exposição

Superfície de IA exposta

Primeiro, o tamanho da porta: quantos sistemas de IA você tem e quem fala com eles.

A1.1Quantos sistemas de IA (assistentes, agentes, modelos via API) estão em uso, incluindo os não oficiais?

1Nenhum em produção

2Um ou dois, conhecidos

3Vários, inventariados

4Vários, inventário incompleto

5Não sabemos quantos (shadow AI)

Não se aplica

A1.2Quem fala com eles?

1Só equipe técnica interna

2Funcionários em geral

3Clientes autenticados

4Público externo sem login

5Público externo e outros agentes de IA

Não se aplica

A1.3Por quais canais?

1Só interface interna

2Web ou app próprio

3Também e-mail ou chat (WhatsApp, Teams)

4Também API aberta a terceiros

5Também IDE/terminal com acesso a repositórios e produção

Não se aplica

Passo 2 de 8 · Exposição

Alcance: o que a IA pode ver e fazer

Agora o que está atrás da porta: que dados a IA alcança e o que ela consegue fazer sozinha.

A2.1A que dados esses sistemas chegam?

1Só a conversa

2Documentos internos não sensíveis

3Dados pessoais de clientes

4Dados financeiros ou de saúde

5Credenciais, chaves ou código de produção

Não se aplica

A2.2Que ações executam sem humano no caminho?

1Nenhuma, só respondem

2Criam registros ou tickets

3Enviam e-mails ou mensagens em nome da empresa

4Alteram contas, permissões ou configurações

5Executam transações, pagamentos ou código em produção

Não se aplica

A2.3Com que identidade agem?

1Não agem

2Identidade do usuário, mesmos privilégios dele

3Conta de serviço própria, escopo mínimo

4Conta de serviço ampla, compartilhada

5Credenciais de administrador ou chaves mestras

Não se aplica

Passo 3 de 8 · Exposição

Terceiros e agentes externos

O que entra de fora: ferramentas de terceiros, agentes de outras empresas e conteúdo que os seus agentes leem.

A3.1Modelos, ferramentas, MCPs e plugins de terceiros usados pelos seus agentes:

1Nenhum

2Poucos, aprovados e fixados em versão

3Vários, aprovados

4Vários, sem processo de aprovação

5Qualquer um que o time instale

Não se aplica

A3.2Agentes de clientes, parceiros ou fornecedores interagindo com seus sistemas (ligam, chamam a API, negociam):

1Não acontece e seria bloqueado

2Não acontece, sem controle definido

3Acontece, tratado como humano

4Acontece, sem procedimento

5Não saberíamos dizer se já acontece

Não se aplica

A3.3Conteúdo externo que seus agentes leem (e-mails, documentos, páginas, tickets):

1Nenhum

2Só fontes internas controladas

3Fontes externas com filtro

4Fontes externas sem filtro

5Qualquer conteúdo, incluindo anexos de desconhecidos

Não se aplica

Passo 4 de 8 · Exposição

Velocidade do atacante contra você

Quanto tempo um atacante tem: o seu tempo real de contenção e se você já testou a própria IA.

A4.1Tempo real entre um acesso malicioso começar e alguém conter, hoje:

1Minutos, automatizado

2Menos de uma hora

3Horas

4Dias

5Não medimos

Não se aplica

A4.2Teste de prompt injection, engenharia social e de ações fora da autoridade (o agente faz mais do que foi autorizado) contra seus próprios sistemas de IA:

1Contínuo, automatizado

2Antes de cada mudança relevante

3Uma vez, no lançamento

4Nunca, mas planejado

5Nunca

Não se aplica

A4.3Exposição pública conhecida (vulnerabilidades abertas, segredos vazados, domínios parecidos):

1Monitorada e corrigida em dias

2Monitorada, correção em semanas

3Revisada periodicamente

4Revisada quando alguém avisa

5Não monitorada

Não se aplica

Passo 5 de 8 · Defesa

Detectar

Agora a defesa. Primeiro, enxergar: quais sinais chegam e quem faz a triagem.

B1.1Sinais que alimentam a detecção (WAF, SIEM, EDR, IAM, antifraude, pipeline, marca):

1Um ou nenhum, consultado manualmente

2Alguns, em consoles separados

3Centralizados

4Centralizados e correlacionados automaticamente

5Correlacionados, com contexto de negócio, em tempo real

Não se aplica

B1.2Triagem de alertas:

1Humano lê tudo

2Regras descartam ruído previsível

3IA resume e prioriza, humano decide

4IA investiga e propõe ação com evidência estruturada

5IA investiga, propõe e aprende com a revisão humana por amostra

Não se aplica

B1.3Detecção de ataques contra a própria IA (injeção, extração de system prompt, uso indevido de ferramentas):

1Inexistente

2Logs, sem análise

3Alertas básicos

4Monitoramento dedicado

5Monitoramento com resposta automática e kill switch

Não se aplica

Passo 6 de 8 · Defesa

Decidir

Decidir: quem autoriza uma ação do agente e como a autoridade é definida.

B2.1Quem autoriza uma ação proposta por um agente?

1Sempre um humano, caso a caso

2Humano, com fila e SLA

3Regras determinísticas para o óbvio, humano para o resto

4Supervisor independente (outro agente, com objetivo estreito) avalia o pedido; humano por impacto

5Supervisor com contrato validável, policy engine (regras fixas, fora do modelo) fora do modelo, humano só no irreversível

Não se aplica

B2.2A autoridade do agente é definida por classe de ação (sozinho, supervisor, sempre humano)?

1Não existe matriz

2Existe, informal

3Documentada por sistema

4Documentada por classe de ação, com reversibilidade e TTL (prazo para expirar)

5Documentada e aplicada tecnicamente, com redução automática quando os vereditos divergem

Não se aplica

B2.3Antes de conceder autonomia a uma classe de ação, as decisões do agente são comparadas com revisão independente?

1Não

2Testes ad hoc

3Piloto em modo recomendação

4Shadow mode (o agente decide, mas só registra, e alguém compara) com amostra revisada

5Shadow mode com limiar e janela definidos, registrado no contrato

Não se aplica

Passo 7 de 8 · Defesa

Agir

Agir: o que já roda sem humano no caminho, em quanto tempo, e como se desfaz ou se para.

B3.1Ações que já rodam sem humano no caminho crítico:

1Nenhuma

2Enriquecimento e correlação

3Reversíveis de baixo impacto (bloqueio de IP com TTL, revogar sessão)

4Também contenção média (isolar host, reter transação) com supervisor

5Tudo que é reversível e dentro da política; humano só no irreversível

Não se aplica

B3.2Tempo do sinal até a ação de contenção, nos fluxos automatizados:

1Não há fluxo automatizado

2Horas

3Dezenas de minutos

4Minutos

5Menos de um minuto, medido

Não se aplica

B3.3Reversibilidade e desligamento:

1Não há como desfazer nem parar sem intervenção técnica

2Desfazer é manual

3Ações têm TTL e podem ser revertidas

4Também há kill switch fora do agente

5Kill switch (botão de parada) testado, estado registrado, nada executa depois da parada

Não se aplica

Passo 8 de 8 · Defesa

Governar

Governar: identidade de cada agente, métricas e playbooks por família de desafio.

B4.1Identidade e responsabilidade de cada agente (crachá: identidade, contexto, acesso, autoridade, supervisão, evidência, validade):

1Não existe

2Dono informal

3Dono e acessos documentados

4Crachá completo por agente

5Crachá aplicado tecnicamente e revisado em prazo

Não se aplica

B4.2Métricas:

1Nenhuma

2Volume de alertas

3Tempo de detecção e resposta

4Também precisão dos vereditos e taxa de reversão

5Também custo por decisão e divergência agente × revisão, no tempo

Não se aplica

B4.3Playbooks de defesa por família (SOC, fraude, AppSec, identidade, marca):

1Não há

2Procedimentos manuais

3Playbooks escritos, execução manual

4Playbooks com matriz de autoridade, parcialmente automatizados

5Playbooks automatizados, testados e revisados a cada mudança

Não se aplica

Seu resultado

Antes do resultado, uma pergunta opcional:

Setor (opcional, só para estatística agregada)

Como ler: Exposição vai de 1 (pouco exposto) a 5 (muito exposto). Defesa vai de 1 (tudo manual) a 5 (o agente age sozinho, dentro de limites e com governança). A distância entre as duas diz se você está sendo atacado em velocidade de máquina e defendendo em velocidade humana.

A · Exposição–1 pouco · 5 muito

B · Defesa–1 manual · 5 agente com limites

Distância A − B–responda para ver

Quadrante–0 de 24 respondidas

Conteúdo sem garantias: use como contexto e valide no seu ambiente. Rótulos dizem o que o autor pôde verificar e o que é proposta. Declarações e licença →