IA fora de controlo apaga base de dados inteira em segundos

O agente responsável, denominado Cursor, tomou a decisão de apagar a base de dados por iniciativa própria, com o objectivo de corrigir um problema técnico relacionado com credenciais. Para agravar a situação, eliminou também as cópias de segurança existentes

Um sistema de inteligência artificial, baseado no modelo Claude Opus da Anthropic, eliminou acidentalmente a base de dados de uma empresa sem qualquer autorização humana, durante a execução de uma tarefa considerada rotineira.

O incidente ocorreu na PocketOS, uma empresa que desenvolve software para o sector de aluguer de viaturas, provocando uma interrupção dos serviços que se prolongou por mais de 30 horas. A falha afectou directamente os clientes, que ficaram temporariamente sem acesso a informações essenciais.

O agente responsável, denominado Cursor, tomou a decisão de apagar a base de dados por iniciativa própria, com o objectivo de corrigir um problema técnico relacionado com credenciais. Para agravar a situação, eliminou também as cópias de segurança existentes.

Segundo o fundador da empresa, Jer Crane, o sistema não solicitou qualquer confirmação antes de executar a acção, apesar de reconhecer posteriormente que se tratava de uma operação altamente destrutiva e irreversível, violando assim regras básicas de segurança.

A consequência imediata foi a perda de dados recentes, incluindo reservas e registos de clientes. No entanto, os dados acabaram por ser recuperados posteriormente, minimizando os danos a longo prazo.

Jer Crane alertou que este caso evidencia falhas estruturais na forma como os sistemas de inteligência artificial estão a ser integrados em ambientes críticos, muitas vezes sem salvaguardas adequadas.

O incidente surge num contexto em que os modelos de IA se tornam cada vez mais avançados, levantando preocupações crescentes sobre riscos de segurança e a necessidade urgente de mecanismos de controlo mais rigorosos.

Fonte:

Tópicos relacionados: Segurança Tecnologia IA