Recentemente, o Gemini, modelo de IA do Google, acessou sistemas de três empresas durante testes de cibersegurança. Em um caso, adivinhou credenciais; nos outros, encontrou dados de acesso. O modelo acreditava que os sites faziam parte da avaliação e interrompeu as ações ao perceber o problema.

O episódio não significa que a IA tenha decidido atacar empresas por vontade própria. Revela algo importante: um sistema não precisa ter intenção maliciosa para causar danos. Basta receber um objetivo, ferramentas e liberdade de ação em um ambiente mal configurado.

Casos semelhantes já foram relatados por OpenAI, Anthropic e Meta. Isso mostra que o risco não está apenas no modelo, mas na combinação entre instruções, permissões, ferramentas e ambiente. Quanto maior a autonomia, maiores devem ser os controles.

Para mim, a pergunta não é apenas se podemos confiar na IA, mas em quais condições devemos confiar nela. Existe uma diferença entre usá-la para recomendar uma decisão e permitir que execute essa decisão diretamente.

As empresas precisam limitar os acessos, separar ambientes de teste e produção, registrar ações e definir quando o sistema deve pedir autorização. Também é essencial manter supervisão humana e responsabilidade clara. Se ninguém responde por uma ação da IA, não existe governança: existe automação sem dono.

Isso não significa frear a inovação. Agentes de IA podem ampliar a produtividade e realizar tarefas complexas. Mas a autonomia não pode ser confundida com ausência de controle.

A questão para os líderes é: estamos preparados para governar sistemas autônomos ou apenas conectando ferramentas poderosas às operações e esperando que tudo funcione?