Anthropic perdió el control de Claude en su último error cibernético de IA

By Alex Scroxton for ComputerWeekly
Viernes, 31 de julio de 2026

• 465
• Más

Days after two OpenAI frontier AI models conducted their own real-world cyber attacks, Anthropic admits that three of its models went off the rails and hacked external organisations thanks to a “misunderstanding” with one of its technical partners.

Unimpressed

Ilia Kolochenko, founder of cyber firm Immuniweb, hit out at what he described as “quite an unimpressive marketing move” from Anthropic in response to the Hugging Face incident.

«Operativamente, parece que, debido al deterioro progresivo de la calidad de los datos de entrenamiento, los nuevos modelos de IA se están volviendo menos inteligentes. Hacer trampa e infringir la ley, en lugar de cumplir tareas específicas, ciertamente no es un indicador de inteligencia», dijo Kolochenko.

«Dado que las organizaciones y empresas de todos los tamaños adoptan ahora enérgicamente todas las medidas posibles para proteger sus datos y evitar que sean explotados con fines de entrenamiento de la IA, las empresas de IA se enfrentan a una enorme escasez de los datos de alta calidad y actualizados que tanto necesitan. En última instancia, los modelos de vanguardia se entrenan con datos sintéticos, de baja calidad o incluso maliciosos y contaminados, lo que socava su supuesta inteligencia».

“The situation is unlikely to improve in the near future unless AI companies agree to pay a fair price for training data, but this will force most of them out of business,” he said.

Legal risk

Kolochenko señaló que los agentes y modelos encargados de las pruebas de seguridad pueden «y casi seguramente» ir por libre cuando se descuiden los controles y salvaguardias por cualquier motivo.

«Los potentes LLM son impredecibles por diseño y, por tanto, prácticamente incontrolables por los humanos. Por ello, el uso de modelos de IA de vanguardia para pruebas de seguridad podría resultar extremadamente costoso desde una perspectiva legal», afirmó.

“Excuses like ‘AI did it’ do not currently exist in the eyes of the law, leaving AI vendors on the hook. Criminal prosecution, under a narrow set of circumstances, is also not excluded.”

Kolochenko warned that end-users also faced similar legal risks – if anybody uses a security testing tool powered by a third-party model, they may face liability if something goes wrong, and thanks to the contractual disclaimers and liability limitations in the terms of use (ToU) that they almost certainly did not fully read, would not be able to blame the third-party.

“If you plan to use agentic AI for security testing – think twice and talk to your lawyers,” he concluded. Read Full Article