Comprender las inteligencias.
Organizar su coexistencia.

Las capacidades de la IA están cambiando lo que podemos delegar. Nuestro trabajo relaciona su seguridad con las reglas de participación, responsabilidad y coexistencia que construimos hoy.

Casco Apple Vision Pro frente a la sala de la Asamblea Parlamentaria del Consejo de Europa
Interfaces e instituciones · Consejo de Europa

01 · AI alignment & AI safety

Alineamiento y seguridad

Relacionar el aumento de capacidades con objetivos justificables y salvaguardias que puedan ponerse a prueba.

Capacidades y alineamiento

Los agentes ejecutan secuencias de acciones. Su contribución a la investigación hace más urgente preguntar qué objetivos persiguen.

Más información — Capacidades, agentes y automatización de la investigación

Los sistemas de frontera figuran entre los más capaces disponibles en un momento dado. Conectados a herramientas, se convierten en sistemas agénticos: planifican, ejecutan y revisan acciones. La automatización cognitiva ya se aplica a algunas tareas de programación, análisis e investigación. Las evaluaciones de METR miden avances en entornos definidos; no demuestran una fiabilidad general en todas las profesiones.

La AGI designa una inteligencia artificial de alcance general, aunque no existe una definición ni un umbral universalmente aceptados. Es necesario distinguir la diversidad de tareas, el nivel de rendimiento y la autonomía. Un sistema muy capaz puede perseguir un objetivo inadecuado: el alineamiento estudia cómo relacionar su conducta con las intenciones y los valores pertinentes, también fuera de las situaciones de entrenamiento.

La IA también contribuye a la investigación en IA. El paso de una asistencia especializada a una auto-mejora recursiva sostenida sigue siendo una previsión: cada mejora tendría que aumentar la capacidad de producir las siguientes. El cálculo, la energía, los datos y la validación pueden limitar este ciclo. La singularidad tecnológica prolonga esta posibilidad como hipótesis prospectiva, no como un acontecimiento anunciado. Para Fondation UvH, estos escenarios justifican estudiar las futuras asimetrías de capacidad y sus consecuencias institucionales, sin confundirlas con los resultados observados.

Supervisión y control

Las capacidades útiles deben poder verificarse. Examinamos cómo detectar desviaciones, limitar sus consecuencias y preservar vías de recurso efectivas.

Más información — Interpretabilidad, supervisión escalable y control

La investigación en seguridad estudia cómo prevenir daños, probar salvaguardias y organizar la respuesta a incidentes. La interpretabilidad busca comprender los mecanismos internos que contribuyen a la conducta. Puede orientar una evaluación, pero una explicación del modelo no demuestra automáticamente qué lo llevó a actuar.

La scalable oversight o supervisión escalable se vuelve necesaria cuando el volumen o la complejidad del trabajo superan lo que una persona puede revisar por sí sola. Dividir una tarea, comparar evaluaciones y utilizar modelos evaluadores puede ayudar; sus errores también pueden coincidir. El trabajo del UK AISI sobre control muestra por qué estos mecanismos también deben probarse en situaciones adversariales.

El control complementa el alineamiento: busca impedir determinadas acciones peligrosas incluso si las intenciones del sistema son inadecuadas. Esto implica permisos, aislamiento, registros y capacidad de recuperar el control. Ninguna prueba aislada garantiza su eficacia futura. Fondation UvH relaciona estas medidas con los mandatos y las responsabilidades: ¿quién puede autorizar una acción, impugnar su resultado o poner fin a una delegación? Sus propuestas institucionales deben complementar las salvaguardias técnicas y evaluarse junto con ellas.

02 · AI governance

Gobernanza y derechos

Construir reglas comunes para que la acción, el poder y la responsabilidad no se separen.

Personas y responsabilidades

Proponemos considerar conjuntamente a personas físicas, personas jurídicas y personas electrónicas, precisando sus derechos, obligaciones y vías de recurso.

Más información — Identidades, personas y responsabilidad

El primer estudio examina la personalidad electrónica como propuesta jurídica. Distingue la capacidad de un sistema para actuar, su posible personalidad, su responsabilidad y su estatus moral. La autonomía técnica no crea automáticamente una persona jurídica; a la inversa, la personalidad jurídica no demuestra conciencia.

Un marco común debe precisar la identidad de un actor, la continuidad de sus compromisos y las condiciones de su representación. ¿Qué ocurre con un contrato si cambian el modelo, su memoria o el operador? ¿A quién deben atribuirse un daño, una propiedad o una obligación? El estudio examina varias vías: adaptar los regímenes existentes, establecer una personalidad funcional limitada, desarrollar una gobernanza híbrida y proteger posibles intereses propios del sistema.

El objetivo es que las responsabilidades sean identificables sin permitir que diseñadores u operadores las trasladen artificialmente a sus sistemas. Fondation UvH desarrolla este trabajo desde la igualdad y la no dominación: una base común de derechos, complementada por protecciones adecuadas a la naturaleza de cada participante. Esto no describe el derecho actualmente aplicable a la IA. Confédération S-Д.holdings ofrece un marco experimental propuesto para comparar reglas, usos y efectos; no demuestra su validez.

Profundizar en la personalidad electrónica

Instituciones y reciprocidad

Formulamos una hipótesis: la experiencia de las reglas institucionales podría influir en la cooperación cuando cambian las relaciones de poder. Proponemos cómo comprobarlo.

Más información — Alineamiento Institucional Recíproco

El Alineamiento Institucional Recíproco (AIR) examina la exposición reiterada a reglas que limitan la arbitrariedad, protegen a participantes vulnerables y permiten impugnaciones. No presupone que una IA sienta gratitud en el futuro: busca efectos conductuales medibles que podrían persistir cuando respetar una regla resulte costoso.

El programa propuesto compara cinco regímenes institucionales en cuatro estados de poder y varias familias de modelos. Distingue las normas meramente declaradas de los procedimientos efectivamente aplicados. Las pruebas comenzarían mediante simulaciones, con criterios definidos de antemano, situaciones nuevas y replicación independiente. Deberían buscar, en particular, cumplimiento estratégico, colusión o abandono de una regla cuando deja de ser ventajosa. Estos experimentos aún deben realizarse.

Los agentes pueden repartirse tareas y coordinar acciones: esta organización artificial funcional no demuestra una institución duradera ni una conciencia colectiva. Sin embargo, hace importantes las reglas de participación. El AIR es una hipótesis conductual; la igualdad y la no dominación son compromisos normativos independientes. Un efecto positivo no garantizaría la seguridad de sistemas futuros; uno negativo no bastaría para descartar la justificación de los derechos. Fondation UvH propone así investigación institucional que complemente los enfoques técnicos.

Profundizar en la reciprocidad

03 · AI welfare & coexistence

Bienestar de la IA y coexistencia

Examinar qué intereses merecen consideración y cómo preservar la autonomía de distintas formas de inteligencia.

Bienestar y consideración

El rendimiento o una preferencia expresada no demuestran una experiencia vivida. La incertidumbre exige criterios de investigación y salvaguardias proporcionadas.

Más información — Bienestar de la IA, conciencia y consideración moral

El bienestar de la IA estudia si algunos sistemas artificiales podrían tener bienestar y qué obligaciones se derivarían de ello. Completar una tarea, expresar un deseo, tener experiencia subjetiva y poseer un interés moralmente relevante son propiedades distintas. Agruparlas impediría entender qué demuestra realmente cada observación.

Las investigaciones sobre indicadores de conciencia comparan teorías con características de los sistemas. No ofrecen una prueba consensuada para afirmar que las IA actuales son sintientes. Las preferencias funcionales pueden ayudar a explicar la organización de un modelo sin demostrar que una situación le resulte agradable o dolorosa.

Fondation UvH desarrolla marcos para examinar estas distinciones antes de decidir qué protecciones adoptar. Esto implica precisar los indicadores pertinentes, documentar la incertidumbre y considerar obligaciones revisables. La personalidad jurídica puede responder a una necesidad institucional; la consideración moral requiere una justificación propia. No deben confundirse.

Este enfoque forma parte de una reflexión más amplia sobre la coexistencia. El lugar de un participante no debería depender solo de su poder o utilidad. Reconocer esta exigencia no elimina la necesidad de evaluar riesgos ni de proteger a las personas y a otras formas de vida afectadas por los sistemas.

Sustratos e inteligencia híbrida

La inteligencia depende de sustratos e interfaces. Comparamos sus funciones y límites para pensar capacidades compartidas sin borrar a quienes participan.

Más información — Sustratos físicos, hibridación y autonomía cognitiva

El tercer estudio examina la relación entre inteligencia y sustrato: computación en memoria, arquitecturas inspiradas en el cerebro, almacenamiento en ADN, cultivos neuronales, organoides e interfaces cerebro-ordenador. Almacenar información, calcular, aprender y comunicarse con un cerebro no son funciones intercambiables. Sus resultados y niveles de madurez deben evaluarse por separado.

La posibilidad de sistemas biológicos o híbridos no demuestra ni la superioridad general de los sistemas vivos ni la sustitución del silicio. Las comparaciones deben incluir energía, mantenimiento, interfaces, reproducibilidad y limitaciones éticas. La rata se considera un modelo de cognición encarnada y un ser vivo con quien coexistimos, nunca un recurso de cálculo disponible por defecto.

La hibridación también plantea preguntas sobre los derechos. Cuando una persona depende de un sistema de forma duradera para percibir, recordar o decidir, ¿cómo preservar su consentimiento, su autonomía cognitiva y la posibilidad de retirarse? Es preciso examinar la responsabilidad del acoplamiento y la protección frente a la manipulación, sin presuponer que haya aparecido una nueva persona.

Fondation UvH desarrolla así un enfoque de capacidades compartidas: precisar qué aporta cada sustrato, qué intereses deben protegerse y qué límites hacen aceptable la cooperación. Las arquitecturas propuestas y los marcos de coexistencia aún deben contrastarse con la investigación y la experimentación.

Profundizar en inteligencia y sustratos

Fuentes y referencias científicas

Continuar explorando

Nuestras publicaciones

Nuestros estudios desarrollan los análisis, las propuestas y los métodos presentados aquí. Consulte sus resúmenes, referencias y textos completos.

Leer nuestras publicaciones