IA, autonomía y el mundo que estamos construyendo
Por Javier Grifaldo CPP, CICP, DES, DSI, Consultor en seguridad y Gestión de Riesgos
El verdadero riesgo tecnológico quizá no sea que las máquinas decidan conquistarnos, sino que los seres humanos terminemos entregándoles, poco a poco, las llaves de todo.
Cuanto más profundizo en estas disciplinas, más evidente resulta que estamos entrando en una transformación mucho mayor que la simple aparición de nuevas herramientas digitales.
Hace poco observé un vehículo desplazándose con un elevado nivel de automatización. Ver el volante moverse prácticamente sin intervención humana resulta sorprendente, pero el automóvil es solamente un ejemplo.
Porque mientras observamos fascinados cómo un vehículo puede asumir determinadas funciones de conducción, quizá no estamos prestando suficiente atención a algo mucho más profundo:
ya estamos entregando el control de miles de decisiones cotidianas a sistemas digitales.
Las puertas se abren electrónicamente.
Los edificios reconocen rostros.
Los elevadores pueden determinar a qué pisos tenemos autorización para llegar.
Las cámaras ya no solamente graban: algunos sistemas analizan comportamientos y generan alertas.
Los centros de control pueden encontrarse a cientos o miles de kilómetros del lugar que protegen.
Los videoporteros permiten autorizar remotamente el ingreso de una persona.
Las tarjetas bancarias existen dentro de ecosistemas digitales capaces de aprobar o rechazar una operación en segundos.
Los teléfonos contienen nuestra identidad, conversaciones, fotografías, cuentas bancarias, ubicación y credenciales.
Las fábricas dependen de sistemas industriales conectados.
Los hospitales utilizan infraestructura digital.
Las ciudades incorporan sensores, cámaras y sistemas inteligentes.
Y ahora llega una nueva capa capaz de relacionarlo todo:
la Inteligencia Artificial.
La pregunta ya no es si estamos entrando en un mundo autónomo.
La pregunta es:
¿cuánto control estamos dispuestos a entregar?
DE HERRAMIENTAS DIGITALES A UN ECOSISTEMA DE DECISIONES
Durante décadas utilizamos las computadoras principalmente para procesar información.
El ser humano daba la instrucción.
La máquina ejecutaba.
Pero ese modelo está cambiando.
Hoy los sistemas tecnológicos pueden detectar, analizar, comparar, recomendar y, en determinadas aplicaciones, ejecutar acciones automáticamente.
Una cámara puede detectar un comportamiento previamente definido como anómalo.
Un sistema financiero puede bloquear una transacción.
Un sistema de control de acceso puede negar la entrada.
Una plataforma puede suspender una cuenta.
Un sistema industrial puede detener una línea de producción.
Un algoritmo puede modificar una ruta logística.
Un edificio inteligente puede administrar iluminación, climatización, accesos y alarmas.
Un centro remoto puede abrir una puerta ubicada a cientos de kilómetros.
Individualmente parecen funciones sencillas.
Pero cuando las conectamos aparece algo diferente:
un ecosistema digital con capacidad de intervenir sobre el mundo físico.
Y ése es el verdadero cambio.
EL DÍA EN QUE UNA PUERTA DEJÓ DE SER SOLAMENTE UNA PUERTA
Tomemos un ejemplo aparentemente insignificante.
Una puerta.
Durante miles de años su funcionamiento fue sencillo:
llave, cerradura y persona.
Hoy esa misma puerta puede involucrar:
biometría, reconocimiento facial, tarjeta RFID, aplicación móvil, códigos QR, bases de datos, servidores, conectividad, controladores electrónicos, registros de acceso, servicios en la nube e incluso algoritmos de análisis.
La puerta sigue pareciendo una puerta.
Pero detrás de ella existe una infraestructura tecnológica completa.
Esto significa que la persona que controla físicamente la puerta ya no necesariamente controla realmente el acceso.
El control puede encontrarse en otro edificio, otra ciudad, otro país o incluso en una plataforma en la nube.
Y entonces aparece una pregunta fundamental para la seguridad contemporánea:
¿Quién tiene realmente las llaves?
EL NUEVO GUARDIA PUEDE ESTAR A MIL KILÓMETROS
La seguridad física también está cambiando.
Tradicionalmente, un guardia observaba una cámara, recibía una llamada o verificaba personalmente una identificación.
Hoy podemos centralizar cientos o miles de cámaras en centros de monitoreo remoto.
Videoanalítica e inteligencia artificial pueden identificar determinadas anomalías y dirigir la atención del operador.
Un videoportero puede atender instalaciones situadas en diferentes ciudades.
Sensores pueden detectar aperturas, movimiento, temperatura, humo o vibraciones.
Una instalación puede ser administrada parcialmente desde otra parte del mundo.
Esto puede generar enormes ventajas:
mayor capacidad de supervisión, reducción de determinados tiempos de respuesta, trazabilidad, eficiencia operativa y análisis simultáneo de grandes cantidades de información.
Pero también genera una consecuencia:
centralizamos el control.
Y centralizar genera eficiencia, pero también puede concentrar riesgo.
Si un sistema administra una puerta y falla, tenemos un problema.
Si administra diez mil puertas, el problema adquiere otra dimensión.
EL BANCO YA NO ESTÁ EN EL BANCO
Algo similar ocurrió con nuestro dinero.
Durante generaciones el concepto de banco estuvo asociado con un edificio físico.
Hoy podemos llevar prácticamente nuestra vida financiera dentro de un teléfono.
Transferencias.
Tarjetas digitales.
Créditos.
Inversiones.
Pagos.
Compras.
Identificación.
Autenticación biométrica.
Todo puede realizarse desde una pantalla.
Esto representa una comodidad extraordinaria.
Pero también significa que una enorme parte de nuestra capacidad económica depende de infraestructura tecnológica que la mayoría de nosotros nunca ha visto.
Un sistema puede determinar en segundos si una operación continúa o se detiene.
Y nosotros hemos normalizado completamente esa realidad.
NUESTRA IDENTIDAD TAMBIÉN SE ESTÁ DIGITALIZANDO
Existe algo todavía más valioso que nuestro dinero:
nuestra identidad.
Rostro.
Huella.
Voz.
Contraseñas.
Correo electrónico.
Número telefónico.
Historial.
Ubicación.
Credenciales.
Comportamientos.
Preferencias.
Dispositivos.
La inteligencia artificial aumenta considerablemente nuestra capacidad para relacionar y analizar esta información.
Esto abre posibilidades extraordinarias para prevención de fraude, autenticación, investigación y seguridad.
Pero también obliga a formular una pregunta incómoda:
¿qué sucede cuando alguien logra convencer al sistema de que él es usted?
En el mundo físico alguien podía robar una llave.
En el mundo digital puede intentar robar una identidad.
Y con inteligencia artificial generativa aparecen nuevas posibilidades de suplantación mediante voz, imagen o video sintético.
Por ello, el futuro de la seguridad probablemente no consistirá solamente en comprobar:
“¿Tiene la contraseña correcta?”
Tendremos que determinar:
“¿Realmente es quien afirma ser?”
CUANDO TODO ESTÁ CONECTADO, TODO PUEDE CONVERTIRSE EN SUPERFICIE DE ATAQUE
Aquí aparece una de las grandes paradojas de nuestra época.
Conectamos para controlar mejor.
Pero cada conexión puede generar una nueva superficie de exposición.
Cámaras.
Cerraduras.
Vehículos.
Teléfonos.
Servidores.
Nube.
Cajeros.
Terminales bancarias.
Sistemas biométricos.
Elevadores.
Alarmas.
Sensores.
Drones.
Robots.
Sistemas industriales.
Dispositivos IoT.
Centros de monitoreo.
Individualmente representan tecnología.
Interconectados representan infraestructura.
Y la infraestructura digital requiere protección permanente.
LA IA SERÁ EL CEREBRO DE ESE ECOSISTEMA
Hasta ahora hemos conectado dispositivos.
La siguiente revolución será dotarlos de una capa creciente de inteligencia.
La IA puede analizar simultáneamente cantidades de información imposibles para una persona.
Puede correlacionar imágenes, movimientos, horarios, accesos, transacciones, comportamientos y anomalías.
Puede identificar patrones.
Puede priorizar alertas.
Puede recomendar respuestas.
Y, cuando está autorizada, puede iniciar determinadas acciones.
Ésa es la frontera verdaderamente importante:
pasar de una IA que observa a una IA que actúa.
Porque una cosa es que una inteligencia artificial diga:
“Detecté una anomalía.”
Otra muy diferente es:
“Detecté una anomalía y ya tomé una decisión.”
¿PODRÍA LA INTELIGENCIA ARTIFICIAL TOMAR EL CONTROL?
Ésta es probablemente la pregunta más provocadora.
Pero debemos responderla sin caer en ciencia ficción.
Actualmente no existe evidencia de que los sistemas de IA disponibles tengan consciencia, deseos propios o una intención autónoma de conquistar o dominar a los seres humanos.
Sin embargo, ésa quizá sea la pregunta equivocada.
Una IA no necesita tener consciencia para provocar un problema serio.
Tampoco necesita odiarnos.
Ni siquiera necesita querer algo.
Puede bastar con que tenga:
un objetivo mal definido, acceso suficiente, autonomía para actuar y controles humanos insuficientes.
Y aquí cambia completamente la discusión.
El peligro más plausible no es necesariamente:
“La máquina decidió atacarnos.”
Puede ser:
“La máquina hizo exactamente aquello para lo que fue programada, pero nadie anticipó todas las consecuencias.”
EL PROBLEMA NO ES LA INTELIGENCIA. ES EL PERMISO.
Imaginemos una IA extraordinariamente poderosa, pero sin conexión con ningún sistema externo.
Puede analizar.
Puede recomendar.
Puede escribir.
Puede calcular.
Pero su capacidad de producir consecuencias físicas directas es limitada.
Ahora conectemos esa misma inteligencia con:
sistemas financieros, edificios, telecomunicaciones, vehículos, fábricas, drones, logística, cámaras, redes eléctricas, infraestructura crítica y robots.
La inteligencia puede ser exactamente la misma.
Lo que cambió fue el nivel de acceso que nosotros le otorgamos.
Por eso considero que una de las frases que debería acompañar el desarrollo tecnológico durante las próximas décadas es:
El riesgo de una IA no depende solamente de cuánto sabe, sino de cuánto le permitimos hacer.
HUMAN IN THE LOOP
Existe un concepto fundamental para este futuro:
Human in the Loop.
La máquina analiza.
La máquina recomienda.
Pero determinadas decisiones críticas permanecen bajo autoridad humana.
Sin embargo, estamos evolucionando hacia otros modelos.
Human on the Loop:
la máquina actúa mientras una persona supervisa.
Y finalmente podemos llegar a:
Human out of the Loop:
la máquina detecta, decide y ejecuta sin intervención humana inmediata.
En ciertas aplicaciones esta autonomía puede ser indispensable.
Pero en sistemas críticos debe existir una pregunta previa:
¿Qué decisiones jamás deberíamos delegar completamente?
EL RIESGO QUE CASI NADIE VE: LA COMODIDAD
Quizá el mayor enemigo no sea un hacker.
Ni una inteligencia artificial rebelde.
Puede ser algo mucho más humano:
la comodidad.
Cuando una tecnología funciona extraordinariamente bien dejamos de cuestionarla.
Primero utilizamos la navegación GPS como apoyo.
Después dejamos de memorizar rutas.
Primero almacenamos algunos teléfonos.
Después dejamos de recordar números.
Primero utilizamos sistemas automáticos como asistentes.
Después comenzamos a confiar en ellos.
Y finalmente podemos llegar al punto más peligroso:
dejamos de saber cómo operar sin ellos.
Eso genera dependencia tecnológica.
Y dependencia significa que una falla ya no solamente causa molestias.
Puede paralizar operaciones.
¿QUÉ PASARÍA SI MAÑANA TODO SE APAGARA?
Hagamos un ejercicio.
Imagine durante 24 horas:
sin banca electrónica.
Sin tarjetas.
Sin internet.
Sin telefonía móvil.
Sin GPS.
Sin sistemas de control de acceso.
Sin cámaras IP.
Sin plataformas en la nube.
Sin sistemas remotos.
Sin aplicaciones corporativas.
Sin sistemas logísticos.
Sin determinados servicios digitales gubernamentales.
Probablemente descubriríamos algo sorprendente:
no solamente utilizamos tecnología; dependemos de ella.
Ésta debería convertirse en una pregunta obligatoria para cualquier organización:
¿podemos seguir operando cuando nuestra tecnología principal deja de funcionar?
Porque ciberseguridad no significa únicamente evitar que alguien entre.
También significa garantizar que la organización pueda continuar cuando algo falle.
DE LA CIBERSEGURIDAD A LA CIBERRESILIENCIA
Durante años preguntamos:
¿Cómo impedimos un ataque?
La pregunta moderna debe ampliarse:
¿Cómo seguimos funcionando durante un ataque?
Eso es resiliencia.
Respaldos.
Redundancia.
Segmentación.
Planes de continuidad.
Autenticación robusta.
Mínimo privilegio.
Monitoreo.
Respuesta a incidentes.
Procedimientos manuales alternativos.
Recuperación.
Y algo fundamental:
capacidad humana.
Porque el objetivo no debería ser construir sistemas que nunca fallen.
Eso probablemente sea imposible.
Debemos construir sistemas capaces de fallar de manera segura y recuperarse rápidamente.
SEGURIDAD FÍSICA + CIBERSEGURIDAD + IA
Aquí encuentro uno de los cambios profesionales más interesantes de los próximos años.
Las fronteras desaparecerán.
Durante décadas tuvimos:
Seguridad física.
Tecnología.
Informática.
Ciberseguridad.
Inteligencia.
Operaciones.
Cada área trabajando parcialmente separada.
Eso será cada vez menos sostenible.
Una puerta física puede depender de software.
Una cámara física puede utilizar inteligencia artificial.
Un centro de monitoreo puede operar en la nube.
Una identidad física puede validarse biométricamente.
Una intrusión digital puede abrir una puerta real.
Y una intrusión física puede permitir acceder a infraestructura digital.
Por eso el profesional de seguridad del futuro deberá comprender ambos mundos.
La seguridad física y la ciberseguridad ya no son disciplinas paralelas. Están convergiendo.
LOS BENEFICIOS SON ENORMES
Sería un error presentar esta transformación únicamente como una amenaza.
La tecnología puede permitirnos construir sociedades más seguras y eficientes.
IA capaz de anticipar fallas.
Detección temprana de incendios.
Prevención de fraudes.
Mejor diagnóstico médico.
Ciudades inteligentes.
Movilidad autónoma.
Automatización de trabajos peligrosos.
Sistemas de alerta temprana.
Protección de infraestructura.
Optimización energética.
Respuesta inmediata ante incidentes.
Accesibilidad para millones de personas.
La humanidad puede beneficiarse extraordinariamente.
Por eso el debate no debe ser:
tecnología sí o tecnología no.
Debe ser:
tecnología bajo qué controles, con qué límites y con qué capacidad humana de recuperación.
EL FUTURO NO NECESITA UN TERMINATOR
Durante décadas Hollywood nos enseñó a imaginar el riesgo tecnológico como robots atacando a la humanidad.
Quizá eso nos distrajo del escenario verdaderamente interesante.
No necesitamos una máquina consciente que conquiste el planeta.
Podría ser suficiente con construir una sociedad en la que progresivamente entreguemos a sistemas digitales el control de:
nuestro dinero,
nuestra identidad,
nuestros accesos,
nuestras comunicaciones,
nuestros vehículos,
nuestros edificios,
nuestras empresas,
nuestra infraestructura
y parte de nuestras decisiones.
Y después descubrir que ya no sabemos funcionar sin ellos.
LA ÚLTIMA LLAVE
Regresemos al vehículo que originó esta reflexión.
Ver un volante moverse prácticamente solo puede sorprendernos.
Pero el volante es solamente un símbolo.
La verdadera transformación ocurre alrededor de nosotros todos los días.
Una puerta que se abre desde otra ciudad.
Una cámara que analiza una conducta.
Una transferencia aprobada por un algoritmo.
Un rostro convertido en contraseña.
Un centro de seguridad operado remotamente.
Una fábrica administrada digitalmente.
Un sistema de inteligencia artificial tomando miles de microdecisiones.
Poco a poco estamos entregando las llaves.
No necesariamente porque alguien nos obligue.
Lo hacemos porque funciona.
Porque es rápido.
Porque resulta económico.
Porque es cómodo.
Porque muchas veces es mejor.
Y precisamente por eso debemos hacerlo correctamente.
No debemos detener la innovación.
Debemos aprender a gobernarla.
Porque probablemente la gran discusión tecnológica del siglo XXI no será si la Inteligencia Artificial llegará a controlarlo todo.
Será mucho más profunda:
¿Cuánto control decidiremos entregarle nosotros?
Y quizá exista una regla sencilla que nunca deberíamos olvidar:
Podemos entregar a la tecnología las llaves de nuestras puertas, nuestros vehículos, nuestras ciudades e incluso parte de nuestras decisiones.
Pero siempre debemos conservar una última llave.
La que nos permita recuperar el control.
