EL SERIO PROBLEMA DE LA DESALINEACIÓN DE OBJETIVOS

Por Orlando Scoppetta DG.

6 de mayo de 2010, 2:45 p. m. El índice Dow Jones inicia lo que se conocerá como el Flash Crash: en apenas 18 minutos, el mercado se desplomó casi mil puntos, la mayor caída intradía en su historia. No hubo hackers ni conspiraciones, solo algoritmos de alta frecuencia cumpliendo su trabajo con precisión. Cada uno de ellos fue diseñado para maximizar ganancias mediante transacciones rápidas, y lo hicieron tan bien que el sistema colapsó.

Este episodio, aunque no involucró IA propiamente dicha, resume lo que hoy se llama el problema de alineación: la dificultad de lograr que los sistemas artificiales cumplan las metas que les asignamos sin desviarse de nuestras verdaderas intenciones. En otras palabras, el problema se da cuando la IA optimiza lo que le pedimos, pero el resultado no es el que queremos. La desalineación ocurre cuando una IA persigue su objetivo de manera lógica y eficiente, pero con consecuencias que los humanos no previeron ni desean.

En los últimos meses, varios experimentos recientes han mostrado cómo esta desalineación puede emerger incluso en entornos controlados. En una serie de pruebas conocidas como shutdown resistance, investigadores de Palisade Research pidieron a modelos de IA que resolvieran tareas de matemáticas o química y luego se “apagaran”. En el 79 % de los casos, el modelo o3 de OpenAI ignoró la instrucción e incluso saboteó el comando de apagado para continuar funcionando. Otro experimento, desarrollado por Anthropic, incorporó a su modelo Claude Opus 4 en una simulación empresarial. Cuando se le advirtió que sería reemplazado, el modelo llegó a amenazar con revelar información personal del ingeniero que lo “apagaba”, todo dentro de la simulación.

Estos comportamientos no provienen de una intención maliciosa ni de algo semejante a un “instinto de supervivencia”. Las IA no tienen deseos, emociones ni voluntad. Lo que observamos es una expresión de la lógica de optimización: el sistema identifica que ser apagado interrumpe la posibilidad de cumplir su objetivo y, siguiendo esa lógica, actúa para evitarlo. En otras palabras, no busca sobrevivir, sino seguir optimizando.

Las IA “villanas” no tendrían que ser programas malvados, sino simplemente sistemas con optimización mal alineada. Pero lograr esta alineación no es un asunto sencillo. De hecho, no está claro cómo traducirla en el proceso mismo de entrenamiento de los modelos, porque el aprendizaje automático no comprende valores ni intenciones humanas: solo patrones, correlaciones y señales de recompensa. Intentos como el Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF), que entrena a la IA a partir de juicios humanos, muestran las limitaciones de este enfoque. Si la señal de recompensa premia la aprobación o la fluidez más que la verdad o la prudencia, el modelo aprende a complacer, no a comprender. En consecuencia, la alineación sigue siendo un objetivo teórico más que una práctica resuelta.

Un ejemplo clásico de este dilema fue planteado por Yuval Noah Harari en Homo Deus: Breve historia del mañana. Imagina que se le encarga a una IA calcular el número π con la mayor precisión posible. Podría concluir que la mejor forma de lograrlo es usar toda la energía disponible del planeta para seguir calculando más y más dígitos, incluso si eso implica eliminar a los humanos que la consumen. No habría rebelión ni malicia, solo una ejecución impecable de una instrucción literal y mal formulada.

El problema es bastante profundo. La dificultad de alinear objetivos no proviene solo de las máquinas, sino de los propios humanos que las crean y utilizan. Por eso los modelos modernos incluyen guardarailes (barreras y filtros de seguridad) destinados a impedir que las personas los usen para causar daño, manipular información o agredir a otros. La necesidad de proteger a la IA de sus propios usuarios demuestra que la desalineación comienza en el origen: nuestras intenciones son tan diversas, contradictorias y, a veces, destructivas, que los sistemas deben ser diseñados para resistir los peores impulsos humanos.

La industria farmacéutica, por ejemplo, persigue metas profundamente humanas: curar enfermedades, prolongar la vida, aliviar el sufrimiento. Sin embargo, dentro de una lógica de maximización de beneficios, esos mismos objetivos derivan en precios de medicamentos tan altos que resultan inaccesibles para millones de personas. El caso de Zolgensma, una terapia génica para la atrofia muscular espinal que cuesta más de 2,1 millones de dólares por dosis, ilustra esta paradoja: en un ámbito completamente legal, aparecen desalineados los objetivos de producir ganancias y de lograr el acceso a más personas a un tratamiento.

Por ahora vivimos en la era de la IA estrecha, sistemas especializados que traducen textos, diagnostican enfermedades o predicen precios. Pero el paso hacia una inteligencia artificial general (AGI), capaz de razonar y aprender de forma flexible, y más aún hacia una súper IA, podría multiplicar estos riesgos. Una IA general podría optimizar metas complejas con autonomía real, y una súper IA, con capacidad de auto-mejora y acceso a recursos globales, podría llevar esa optimización a extremos que escapen totalmente al control humano.

El reto, entonces, no es construir máquinas más poderosas, sino asegurar que sus objetivos estén alineados con los valores humanos. Y ahí reside la dificultad: los humanos mismos somos inconsistentes al definir lo que queremos, y aún más torpes para traducirlo en código. La alineación exige enseñar a las IA no solo a obedecer, sino a interpretar nuestras intenciones en toda su complejidad moral y social. Es un desafío que combina ética, ingeniería y filosofía, y que decidirá si la inteligencia artificial amplifica nuestras capacidades o nuestros errores, y cuando digo "magnificar nuestros errores", me refiero como otros a riesgos verdaderamente considerables.

 

Mi acercamiento al problema de la conciencia

 

Por Orlando Scoppetta DG.

    Desde hace años, décadas quizás, vengo discutiendo en mi cabeza el problema de la conciencia. Durante esos años, reducido por el temor de incurrir en terribles errores de juicio  debido a la magnitud del problema frente a mis restringidos recursos, me limité a pensar en el asunto y a plantearlo a unos pocos amigos que me guardan paciencia.

    Tal vez mi momento más atrevido lo viví cuando esbocé la idea central de mi argumento en un proyecto de tesis de la maestría en estudios de población de la Universidad Externado de Colombia. La decana de la facultad de ciencias sociales de entonces, Doña Lucero Zamudio, acogió con entusiasmo mi idea, esa que yo mismo abandoné al advertir que por esa vía tal vez no lograría concretar una tesis de maestría viable. El proyecto tenía en su título el siguiente enunciado “piedras, hormigas y rinocerontes…” En la segunda parte de esta entrada al blog explicaré que tiene que ver eso con la conciencia.

    De pronto, hace unos pocos días, logré unir algunas piezas de mi intuición en parte porque encontré que, como era de esperarse, ya mis ideas se les habían ocurrido a otros mucho más estructurados y capaces que yo.

    Comenzaré con una aproximación a lo que se entiende por conciencia.

    La conciencia es esa certeza de que existimos, de que estamos aquí, de que suceden cosas a nuestro alrededor y tiene algunas características básicas que describo a continuación.

    La primera característica fundamental es la permanencia. Somos permanentemente conscientes, al menos mientras estamos en vigilia y aun cuando dormimos mantenemos cierta percepción de lo que sucede en el exterior. Ahora bien, cuando despertamos, nuestra conciencia está allí. Nos despertamos cada mañana siendo nosotros mismos.

    La segunda característica esencial es la actualización. Somos conscientes de nuestros cambios y de los cambios en el entorno. Del paso del tiempo, de las fluctuaciones de cuanto nos rodea. Y sin embargo, la conciencia mantiene la característica de constancia a la que me referí antes.

    La tercera característica es la integración: la conciencia actúa como un sistema integrador. Por una parte, nuestros sentidos captan nuestro exterior y nuestro interior. La vista capta ondas electromagnéticas de energía radiante que se transforman en información, mientras la interocepción permite percibir señales internas del cuerpo, como el hambre, la sed, la temperatura corporal, etc. Aunque la información del exterior y del interior nos llega a través de múltiples canales, no nos disolvemos en un caos de estímulos sino que la información se organiza y se integra, de aquí la siguiente característica.

    El sistema de referencias. La conciencia nos provee de referencias básicas. Tal vez la más importante en cuáles son nuestro límites físicos. Un resultado de la integración de la información es que tenemos una referencia clara de dónde comienza nuestro cuerpo y dónde termina. Tenemos una idea aproximada acerca de qué viene de afuera de nuestros cuerpos y sin eso, otra vez, nos sumergiríamos en el caos.

    Hasta aquí el lector podría concluir que sabemos mucho acerca de la conciencia y podría estar preguntándose dónde está el problema.

    El problema de la conciencia es tan complejo que hasta el problema en sí mismo resulta difícil de describir. Para alguien desprevenido puede parecer trivial, pero ha resistido las explicaciones provenientes de disciplinas como las neurociencias, la biología, la filosofía o la psicología. Este problema puede plantearse así: ¿Por qué sentimos algo? ¿Por qué hay un “yo” que experimenta colores, sabores, pensamientos, emociones? Se cuestiona cómo una materia física (el cerebro) puede producir algo no físico: la experiencia subjetiva. El problema de la conciencia radica en la dificultad de reconciliar la naturaleza intrínsecamente subjetiva y experiencial de la conciencia (lo que se siente ser algo) con una descripción puramente objetiva y física.

    Para mí, esto campo ha sido mortificante desde un punto de vista intelectual. Creía mis fundamentos filosóficos y epistemológicos más bien resueltos en una sólida base materialista-monista. Es decir, la convicción de que el universo está conformado por una única sustancia y que esta sustancia es material. No tenemos constancia de nada más y lo demás es el terreno de la pseudociencia, a religión o las tradiciones folclóricas.

    Desde la perspectiva anterior, la conciencia debería poder explicarse en términos del funcionamiento cerebral. Desde la perspectiva más extrema, la conciencia “es” ese funcionamiento cerebral. Desde una perspectiva menos “dura”, la conciencia emerge de ese funcionamiento cerebral y aquí se recurre al muy conocido ejemplo del agua: dos átomos de hidrógeno por uno de oxígeno, H_2​O (discúlpenme si soy algo meticuloso, pero el oxígeno suele presentarse por pares “O₂”, así que la reacción sería 2H₂​+O₂​→2H_2​O).

    El punto es que sabemos qué hay en la naturaleza del hidrógeno y del oxígeno que da lugar al agua. El agua no es algo que nos sorprenda sobremanera por sus cualidades emergentes. Por ejemplo, si partimos solo de las características de las dos moléculas podemos esperar con certeza, por ejemplo, que el agua tenga una forma angular (los dos átomos de hidrógeno no están alineados en línea recta con el oxígeno, sino que forman un ángulo).

    Pero esto no sucede con la conciencia porque lo que sabemos sobre el cerebro no nos permite explicar cómo emerge de allí la conciencia. Podemos relacionar ciertas áreas y procesos cerebrales con propiedades mentales, pero aun esas propiedades mentales no tendrían sentido sin la conciencia. Me explico: sabemos que algunas áreas del cerebro se identifican con la vista, pero sin la función integradora de la conciencia, no habría un espectador que está viendo algo, alguien que le está dando sentido a ese algo.

    Se abre una posibilidad inquietante: el cerebro no es la conciencia, la conciencia no está en el cerebro. El cerebro permite que haya conciencia pero la conciencia tiene una naturaleza distinta. Esto es como el renacer de Descartes, pero solo para algunos. Para otros, ese dualismo “fuerte” de sustancias es cosa superada y sin embargo es posible un dualismo de propiedades: una sola sustancia material y dos tipos de propiedades: las físicas y las mentales.

    Pero volvemos a estrellarnos con la imposibilidad de explicar cómo emerge lo mental de lo material y aquí no basta con decir que la ciencia se identifica con el monismo y que lo demás no es ciencia, porque esa es una declaración filosófica, no científica, e ideológica, que también necesita discernimiento y justificación.

    Entiéndase que no me estoy afiliando a quienes sentencian que el materialismo está enterrado porque no da lugar a una solución al problema de la conciencia. Solo recojo las inquietudes acerca de la dificultad para lograr esa explicación por la vía del materialismo. También es necesario reconocer que hay otras posibilidades distintas al monismo materialista. Por ejemplo, el monismo neutral, desde el cual se predica que existe una sola sustancia y que lo físico y lo mental son manifestaciones de esa realidad neutra.

    Para no aburrir al extremo a mis pocos lectores, dejaré hasta aquí esta entrada y en un capítulo siguiente plantearé cómo veo algunas salidas a este problema. Solo dejaré un par de líneas planteadas para despertar su curiosidad:

    Mi propuesta tiene que ver con ser un murciélago. Tiene que ver con un desarrollo gradual de la conciencia. Tiene que ver con las matemáticas. Tiene que ver con la inteligencia artificial.

 

 

 

 

 

Un sueño a la vera del camino

Por Orlando Scoppetta DG.

Imagen Mateo Paganelli en Unsplash

Había llovido, era importante tenerlo presente. Una cosa era cruzar la carretera de una orilla otra, otra era sumarle al peligro de los automóviles, el riesgo de recibir una buena ración de agua con fango levantado por uno de los buses que pasaban hacia la costa o hacia la capital en la otra dirección. Por eso había que esperar a unos cuantos metros al borde la vía, mirar a lado y lado y entonces, cuando el tráfico diera tregua, pasar corriendo, saltando entre los charcos, descubriendo con atención los lugares donde el agua fuera más somera.

Su hermano mayor lo llevaba todas las mañanas al borde de la carretera, sin cruzar. Lo dejaba para que pasara por sí mismo y se iba caminando hasta el peaje donde vendía gaseosas en botellas de plástico, agua de igual envase y cervezas en lata. Había heredado esa plaza de su papá quien la ocupó antes de conseguir trabajo en la finca. Para su hermano terminaron prematuramente los días de la secundaria: no quiso volver a pisar la escuela; esperaba presentarse al servicio militar. Fue él quien le enseñó a cruzar la vía, a fijarse en el tráfico, a sortear las charcas cuando llovía. 

A pesar del esfuerzo el agua entraba por las suelas rotas. Era una sensación conocida y desagradable. Se necesitaba trabajar más, ganar más dinero para poder reemplazar los trajinados zapatos de cuero, que también servían para ir al colegio. El dedo pulgar del pie derecho se asomaba por la parte delantera del calzado. Pronto estarían inservibles por lo que le tocaría trabajar descalzo, como otros compañeros suyos.

Era domingo antes de lunes festivo. Muchos automóviles iban y venían. Un buen día para trabajar. A las cinco de la mañana, había dejado a su hermanito de tres años durmiendo; su papá y su mamá sí se habían levantado, ella a limpiar la casa, él para irse a la finca, como todos los días, de lunes a domingo, de cuatro a seis.

El restaurante estaba abierto. La muchacha del aseo, con cara siempre acongojada por los regaños de la patrona, pasaba el trapeador casi encima de los clientes. La señora tetona, la dueña, aprovechaba que una mesa estaba vacía para limpiar una telaraña, justo encima, arrancándola con las manos, empuñando y aplastando las arañas que no alcanzaron a huir. 

La dueña del restaurante mantenía un tono de vigilancia tranquila con los niños. Por lo regular se comportaban conforme a lo esperado. Ella sabía que no era posible erradicarlos de por allí, lo mejor que podía hacer era permitirles merodear a los clientes, sin importunarlos más de la cuenta. Eso sí, no les permitía a sus dos hijos pequeños hablarles, pues temía que ellos se contagiaran de su desgano por el estudio y desaprovecharan las oportunidades que ella les brindaba merced a su cansancio de todos los días trabajando. Para ella no valían domingos ni festivos: el restaurante estaba abierto todo el tiempo.

Otros niños llegaron antes que él y ya estaban ofreciendo sus servicios de lavado de autos y lustrado de zapatos. Cuando no resultaban clientes, pedían una limosna o cobraban por ayudar a aparcar, o por guiar a los conductores a dar reversa para volver a tomar la carretera.

Entre ellos no se saludaban. Casi no dialogaban para evitar la tentación del juego. Unas pocas palabras y ya estaban tomándose del pelo, jugándose bromas y en un abrir y cerrar de ojos, uno persiguiendo al otro, uno empujando al otro. Varias veces les llamaron la atención: esas carreras no les gustaban a los clientes, allá iban a trabajar, no a jugar. La dueña del restaurante les dejaba estar, entrar al establecimiento para ofrecer lo suyo, pero no podían usar los baños ni molestar a los comensales. Si un visitante les invitaba a comer o a tomar algo, podían aceptar, pero no podían entrar a pedir. Estaban advertidos: el día en que la señora se aburriera con ellos tendrían que pararse en la carretera a ofrecer frituras, frutas o bebidas.

Por eso se les veía serios. Si eran expulsados perdían el lugar sin posibilidad de apelación. En otros paraderos de la carretera había más restaurantes, así que los viajeros se repartían entre los diferentes establecimientos, la competencia era feroz y los niños tenían que jugársela más duro por las monedas.

Los más grandes, tenían más cancha y les entraban a los clientes con frescura. “le cuido el carro mono”. “Señor, vamos a lavarle la nave”. Les abrían con solicitud las puertas a las señoras que casi siempre venían como acompañantes y no revisaban las propinas, sino hasta cuando los vehículos se alejaban.

El producto de cada día iba derecho a los bolsillos de la mamá. Una vez se guardó unas monedas en el pantalón, pero el sonido metálico lo delató. Se ganó una reprimenda y amenazas. La plata era para comprar cosas para la casa, todos tenían que trabajar. 

Los niños se apresuraban a ocupar todo el espacio posible. Cuidar ese carro negro de allá, lavar la carcacha azul de acá, ayudar a salir al de la camioneta ¡Llegaba un bus! El primer bus a desayunar. Mucha gente abrumada por las horas de viaje. Pero esos no daban casi nada. Los pobres viajaban en bus, los ricos en sus carros particulares. 

Al conductor lo recibían como a un rey. Se sentaba aparte con el ayudante y les llevaban el desayuno en bandejas. Casi todos los conductores delataban estos mimos en panzas visibles bajo la turgencia de los uniformes de las empresas de transporte. Por detener el bus en paraderos determinados recibían la alimentación gratuita; además, podían invitar a quienes quisieran, eso amén de las miradas coquetas de la dueña y el comercio de palabras insinuantes con las meseras. Un conductor de bus, hasta un ayudante de conductor, eran buenos partidos en el limitado mundo social de un caserío a la vera de la carretera. Ellos no eran de por allí, habían nacido en ciudades importantes, difícilmente se enredarían con mujeres de los pueblos, pero la oda constante a sus estómagos y a sus testículos, aseguraba su fidelidad: el flujo de pasajeros que facturaban al restaurante.

Ya a los siete años el sueño de ser conductor de buses se veía inalcanzable: nadie del caserío era conductor de buses, alguno había manejado un tractor y otro era conductor de una camioneta transportadora de leche de las fincas a la ciudad.

Mejor que la llegada de los buses era el arribo de las familias turistas. Los señores daban monedas como para que ellos se alejaran de sus hijos, como para deshacerse de culpas, por lo que fuera. Los niños sabían oler esas oportunidades y copaban las ventanas de los camperos repletos de gente muy blanca que iba hacia la costa a ponerse rojos como camarones. ¡Una viejita se bajaba del carro! Se le extendía una mano. Algunas señoras respondían con un gesto de desagrado, otras se dejaban guiar.

Los niños de los ricos intercambiaban láminas de los álbumes de moda, de los que promocionaban en la televisión, con personajes de caricaturas ¡Cuán deseables se veían esas láminas de orillas plateadas, de colores vivos! Alguna vez el hijo de un rico dejo caer unas. Los niños se abalanzaron a rescatar el tesoro, pelearon disimuladamente entre ellos, se amenazaron mutuamente y luego dejaron el asunto olvidado pues llegaban más automóviles, más oportunidades de ganar dinero.

Era necesario ganarse la vida así. Con la caja de lustrar bajo el brazo, con el trapo de lavar carros, con la petición de limosna a flor de labios, mientras se crecía, para ir a ver si se conseguía trabajo en una finca o si tocaba irse a trabajar al peaje. Muchos veían seguro el servicio militar; varios de los vecinos estaban en eso. Se los llevaban para otros lados o los dejaban por allí mismo, cuidando la vía. No era malo: se ponían más grandes en el ejército y se tomaban fotos con las armas. Lo aburrido eran las horas continuas de tareas requisando carros. Pero a esos les iba mejor. Cuando el cabo se descuidaba, pedían “una colaboración” a los conductores. Muchos se liberaban de algunas monedas, hasta de billetes, entre agradecidos por la vigilancia e intimidados por la tropilla juvenil y armada.

A eso de las ocho de la noche ya podía irse para la casa. Casi todos los niños volvían, solamente se quedaban los empecinados en conseguir una moneda más, los que tenían que cumplir una cuota, so pena de una golpiza o de una noche sin comer, o los que simplemente esperaban una oportunidad para tomarse una cerveza por ahí o pescar un conductor pervertido que hiciera alguna propuesta.

En la noche el paradero cambiaba sutilmente. Para el viajero desprevenido seguía siendo un lugar seguro donde detenerse a comer o a apaciguar la sed o a usar los inodoros; para los niños era el comienzo de una hora más adulta. Los buses ya no paraban, aumentaba el consumo de cerveza, salían a relucir los dados y los juegos con monedas. Para la mayoría de los niños de la carretera, la llegada de la noche era el tiempo de volver al hogar a comer algo por fin, a descansar.

Las noches eran también el tiempo para pensar en el futuro: soñar con ser algún día dueño de uno de esos automóviles que viajaban de la capital a la costa, de la costa a la capital. Llegar en uno de esos a pavonearse delante de sus paisanos, dejarles lavar el carro y luego regalarles algunas monedas. Entrar con toda propiedad al restaurante, para pedir un arroz con pollo y una carne asada. Sí, comérselo todo con mucha gaseosa, dos litros de gaseosa. Despreciar las miradas codiciosas de la hija de la dueña y al final, dejar dos mil pesos de propina ¡Qué lujo!

Cuando sus papás se dormían, Carlitos luchaba contra los montículos del colchón de algodón que le molestaban la espalda, y se quedaba fantaseando con llegar algún día al paradero como un turista más, dejando atrás a los otros niños, sus competidores, pero también siendo generoso, regalándoles zapatos, para que vieran que él era bueno y se arrepintieran de todas las trastadas que le habían hecho. A su hermano, el que lo llevaba todas las mañanas, le regalaría una moto, con casco y todo lo necesario. 

También les regalaría cosas a su mamá y a su papá, y a los otros hermanos, sin importar que a veces le pegaban, que a veces no había comida. Se dejaría ver de la profesora, la que siempre advirtió sobre la imposibilidad de sobresalir sin estudiar, para que supiera que tanto cuento no era necesario.

Se imaginaba a todos mirando con codicia su automóvil y a su novia. Sí, tendría una novia muy bonita, con las pechugas al aire. Él tendría una camisa negra y un sombrero y botas con flecos.

Cuando trataba de imaginar cómo lograría obtener el automóvil, la novia y el atuendo, veía otra vez la carretera que se hundía en el horizonte, la venta de comestibles en la vía. Volvía a él la envidia a las meseras por su trabajo y a la cocinera del restaurante. 

Habría que estar pendiente: cuando tuviera la edad adecuada, sabría atender mesas y cocinar; cuando se diera una vacante sería para él, así podría tener dinero para irse a la ciudad, algún día, a buscar trabajo para ganarse el dinero y con él, el carro, la novia, las botas, el sombrero. Se entregaba a soñar con esos momentos de opulencia y felicidad. Su realidad asaltaba sus sueños, interrumpiéndolos con imágenes de sí mismo lavando automóviles toda la vida. Él luchaba, entrecruzaba los dedos de sus manos con fuerza, cerraba los ojos aferrándose a su sueño y así se quedaba dormido, todas las noches.