Cómo la IA se está convirtiendo en una bomba de relojería en las organizaciones.

ISJ escucha en exclusiva al Dr. Ilia Kolochenko, CEO de ImmuniWeb, sobre los crecientes riesgos de seguridad a los que se enfrentan las organizaciones a medida que la IA se integra.

¿Podrías presentarte y contarme sobre tu rol en ImmuniWeb?

Mi nombre es el Dr. Ilia Kolochenko y soy el CEO y arquitecto jefe de ImmuniWeb, liderando los equipos técnicos, los productos y la innovación.

También soy abogado en Washington, D.C. y vicepresidente del Comité de Seguridad de la Información de la American Bar Association (ABA).

¿Por qué cree que la IA se está convirtiendo en una «bomba de relojería» en 2026? ¿Qué ha cambiado?

La IA tiene un enorme potencial para la humanidad, pero su implementación imprudente y descuidada podría realmente ser una bomba de relojería, capaz de provocar caos global y décadas de recesión económica y social.

El problema es que la IA no puede simplemente «arreglar» cosas, como infraestructura heredada o aplicaciones obsoletas, sin romper algo casi inevitablemente.

Además, la mayoría de los modelos de IA se entrenan con todo tipo de datos creados por humanos, incluidos desinformación, datos maliciosos y dañinos, que afectarán a la salida de los modelos LLM incluso si construimos guardrails multicapa para evitarlo.

El uso creciente de datos sintéticos (es decir, datos generados por IA) con fines de entrenamiento crea riesgos aún mayores de que los modelos alucinen y se desvíen de manera completamente impredecible e inmanejable.

Actualmente, la tecnología de IA deficiente y sus derivados penetran progresivamente en todas las capas de nuestra sociedad y vida cotidiana, como toxinas o radiación invisibles al ojo humano, y tarde o temprano llegaremos a un punto de no retorno.

La IA Agentiva, ahora de moda, podría catalizar el inminente colapso: los agentes de IA toman decisiones prácticamente incontroladas en entornos no supervisados, operando a menudo con sistemas o datos críticos para el negocio.

Debemos comprender que la IA es solo una herramienta, no tiene nada en común con la inteligencia humana, mucho menos con los procesos de toma de decisiones humanos.

Aunque la IA pueda parecer falsamente omnisciente y omnipotente, no puede hacer gran cosa sin una supervisión exhaustiva por parte de expertos humanos.

En su intento por impresionar a sus inversores, a los gigantes de la IA no les faltan comunicados de prensa sensacionalistas y anuncios grandilocuentes, diseñados en su mayoría para denigrar a sus competidores o difundir afirmaciones técnicamente inexactas.

Por ejemplo, la IA moderna puede ser muy útil para preguntas básicas de naturaleza legal o médica, pero, a menos que usted mismo sea abogado o médico, utilizar la IA en litigios o tratamientos médicos es una receta fiable para perder el caso o enfermarse gravemente.

¿Cómo están herramientas como Copilot y Gemini incrementando los riesgos de seguridad en las empresas, especialmente con el auge de "Shadow AI"?

En primer lugar, debido a la insuficiente o simplemente nula concienciación sobre los riesgos de la IA, muchos usuarios empresariales comparten sin pensarlo datos sensibles y confidenciales con el número cada vez mayor de herramientas, bots y servicios de IA.

Nadie cuestiona realmente ni se preocupa por lo que pasará eventualmente con estos datos. En realidad, las empresas sin escrúpulos los explotarán con fines comerciales, mientras que los actores de ciberamenazas ya empiezan a crear servicios maliciosos impulsados por IA para hacerse con tus datos con fines de extorsión y espionaje corporativo.

En segundo lugar, incluso cuando una organización cuente con un programa de gobernanza de la IA, la shadow AI se infiltrará en sus instalaciones a través de diversas lagunas.

Por ejemplo, los usuarios corporativos pueden seguir utilizando sus teléfonos inteligentes personales para tomar fotos de documentos confidenciales y traducirlos o resumirlos mediante IA.

Más importante aún, prácticamente todos los proveedores, desde Zoom hasta Adobe y Microsoft, ofrecen ahora una plétora de funciones de IA «gratuitas» que se pueden activar con un solo clic.

El precio que pagarán los usuarios y sus organizaciones es su privacidad y confidencialidad.

Por último, la mayoría de las organizaciones aún luchan por encontrar una solución incluso frente a riesgos básicos de terceros originados en su cadena de suministro y proveedores externos.

Huelga decir que sería una tarea ardua encontrar una sola empresa en todo el mundo que pudiera afirmar con seguridad que sabe si y cómo los sistemas impulsados por IA de sus proveedores están utilizando sus datos.

¿Son los grandes modelos de lenguaje fundamentalmente incompatibles con leyes de privacidad como el RGPD del Reino Unido?

No creo que ningún LLM (es decir, un gran modelo de IA diseñado para todo tipo de fines) que exista actualmente sea compatible, ni técnica ni arquitectónicamente, con el UK GDPR.

Por ejemplo, una vez que un modelo ingiere datos personales, sería casi imposible eliminarlos sin incurrir en costes significativos.

Otro ejemplo es el uso claramente definido de los datos personales, limitado a ciertos fines legales, lo cual es una «misión imposible» cuando un LLM es utilizado por millones de usuarios no identificables.

La implementación de guardrails no servirá de mucho: es como tomar un analgésico en lugar de curar la enfermedad, o cerrar sus ferreterías en lugar de abordar el problema de la criminalidad desenfrenada en su calle.

Dicho esto, cuando los modelos de IA, posiblemente incluso los LLM, se construyen correctamente desde cero, podrían ser compatibles con las disposiciones clave del UK GDPR.

Pero es poco probable que veamos este tipo de modelos en un futuro próximo, ya que su entrenamiento y mantenimiento serán demasiado costosos, mientras que los proveedores de IA tienden a priorizar los beneficios por encima de todo lo demás.

¿Podrían las empresas tecnológicas enfrentar consecuencias legales o financieras si sus herramientas de IA se utilizan para hacking o abuso de datos?

Claro, muchas personas abogan por leyes específicas de IA para regular los nuevos riesgos y amenazas creados por la rápida proliferación de la IA.

Sin embargo, en la mayoría de las jurisdicciones a ambos lados del Atlántico, las leyes vigentes pueden regular la mayoría de los incidentes provocados o impulsados por la IA.

Por ejemplo, si su bot de IA insulta a un cliente, envía un artículo equivocado a su cliente, cancela la reserva de su hotel o da un consejo perjudicial, el argumento de «fue la IA» no resistirá el escrutinio judicial en un tribunal.

Dicho esto, podría ser conveniente una regulación específica del sector para la industria de la IA, a fin de evitar que abogados creativos e inteligentes busquen numerosas lagunas legales o descarguen la culpa cuando la IA se descontrole.

¿Funcionan realmente los esfuerzos como la detección de deepfakes basada en IA o son solo soluciones temporales?

Por el momento, no.

Además, no se trata realmente de detectar deepfakes, sino más bien de cómo los seres humanos perciben los deepfakes.

Aunque la mayoría de las plataformas que cumplen la ley marcarán adecuadamente el contenido generado por IA como tal, las personas que quieran creer en él seguirán creyendo.

Se trata de psicología humana, no de IA.

¿Qué tipo de incidente grave de IA podría desencadenar una regulación más estricta y cómo deberían prepararse las empresas ahora?

Una vez que se produzca un accidente que mate a cientos de personas, destruya miles de millones de dólares en valor bursátil o interfiera en elecciones legítimas, es probable que los políticos y legisladores se apresuren a regular la IA de forma draconiana.

Lamentablemente, probablemente ya será demasiado tarde, y la sobre-regulación podría ser el detonante del colapso de la burbuja de la IA, ya que los inversores seguramente se asustarán y comenzarán una venta masiva, creando finalmente un efecto dominó.

¿Qué consejo daría a las empresas hacia el futuro?

• La IA tiene un enorme potencial, pero no es más que una herramienta
• Use el pensamiento crítico al implementar, desarrollar o evaluar herramientas y tecnologías de IA
• Haz preguntas
• Tomé con reservas todo lo que los proveedores de IA o sus aliados le digan sobre el brillante futuro de la IA
• Utilice el sentido común, la razón y la lógica para tomar decisiones bien informadas
• Los seres humanos serenos e inteligentes están aquí para dirigir la IA

Leer el artículo completo