Tabla de Contenidos
1. Introducción
Cada vez estamos más sujetos al poder de las autoridades de IA. Los modelos de aprendizaje automático ahora sustentan mercados algorítmicos, determinan qué discurso se amplifica o restringe, moldean decisiones gubernamentales que van desde la asignación de recursos hasta la vigilancia predictiva, e influyen en nuestro acceso a información sobre temas críticos como el voto y la salud pública. A medida que las decisiones de la IA se vuelven ineludibles, entrando en dominios como la salud, la educación y el derecho, debemos enfrentar una pregunta vital: ¿Cómo podemos asegurar que los sistemas de IA, que regulan cada vez más nuestras vidas y toman decisiones que dan forma a nuestras sociedades, tengan la autoridad y legitimidad necesarias para una gobernanza efectiva?
Para garantizar la legitimidad de la IA, necesitamos desarrollar métodos que involucren al público en el proyecto de diseñar y restringir los sistemas de IA, asegurando así que estas tecnologías reflejen los valores compartidos y la voluntad política de las comunidades a las que sirven. La IA Constitucional, propuesta y desarrollada por Anthropic AI, representa un paso hacia este objetivo, ofreciendo un modelo de cómo la IA podría ser sometida a control democrático y hacerse responsable del bien común.
Así como las constituciones limitan y guían el ejercicio del poder gubernamental, la IA Constitucional busca codificar principios y valores explícitos en los modelos de IA, haciendo que su toma de decisiones sea más transparente y responsable. Lo que distingue a la IA Constitucional es su compromiso de fundamentar el entrenamiento de la IA en una "constitución" clara y comprensible para los humanos. Al entrenar a la IA para que se adhiera a principios legibles tanto para humanos como para máquinas, este enfoque pretende fomentar la confianza y la estabilidad en el desarrollo de estas tecnologías cada vez más poderosas.
Sin embargo, el autor argumenta que la IA Constitucional, en su forma actual (desarrollada por una corporación privada que busca crear principios constitucionales universalmente aplicables), es poco probable que resuelva plenamente la crisis de legitimidad de la IA debido a dos déficits clave: Primero, el déficit de opacidad, que sugiere que la complejidad inherente de los sistemas de IA socava nuestra capacidad para razonar su toma de decisiones. Segundo, el déficit de comunidad política, que sugiere que los sistemas de IA se basan en modelos abstractos en lugar del juicio humano, careciendo del contexto social que legitima la autoridad.
Para remediar estos déficits, el artículo propone la IA Constitucional Pública, un marco que involucra al público en la redacción de una constitución de IA que debe utilizarse en el entrenamiento de todos los modelos de IA de frontera que operen dentro de una jurisdicción determinada.
2. Legitimidad de la IA
2.1 ¿Por qué necesitamos una IA legítima?
Los sistemas de IA ya no son meras herramientas, sino que se han convertido en autoridades que gobiernan aspectos significativos de la vida social, económica y política. Sus decisiones afectan los derechos individuales, la distribución de recursos y el discurso público. Sin legitimidad—el derecho reconocido a gobernar—estos sistemas enfrentan resistencia, incumplimiento e inestabilidad social. La legitimidad es crucial para una gobernanza efectiva, asegurando que las reglas se sigan voluntariamente y no solo por coerción. Para que la IA gobierne efectivamente, debe ser percibida como legítima por el público al que afecta.
2.2 Déficits de Legitimidad de la IA
2.2.1 Déficit de Opacidad
La naturaleza de "caja negra" de muchos modelos avanzados de IA, particularmente las redes neuronales profundas, crea un déficit de opacidad. Incluso cuando se conocen los datos de entrenamiento y los objetivos de un modelo, el proceso interno de toma de decisiones suele ser demasiado complejo para la comprensión humana. Esta opacidad impide un escrutinio público significativo, el debate y la impugnación de las decisiones de la IA—procesos esenciales para la legitimidad democrática. Los ciudadanos no pueden responsabilizar lo que no pueden entender.
2.2.2 Déficit de Comunidad Política
La autoridad legítima en una democracia se basa en las experiencias, valores y contextos compartidos de una comunidad política específica. Sin embargo, los sistemas de IA a menudo se desarrollan basándose en principios o conjuntos de datos abstractos y universales que carecen de este arraigo social. Operan sobre correlaciones estadísticas en lugar de juicios humanos situados, creando una desconexión entre la lógica algorítmica y el contexto social que otorga legitimidad a la autoridad. Este déficit socava la sensación de que la gobernanza de la IA refleja "la voluntad del pueblo".
3. IA Constitucional Privada
3.1 La Constitución de Anthropic
La IA Constitucional de Anthropic representa un enfoque técnico significativo para alinear la IA con los valores humanos a través de principios explícitos y escritos.
3.1.1 Tecnología
La metodología implica un proceso de entrenamiento en dos etapas: 1) Aprendizaje Supervisado: Se entrena un modelo para generar respuestas, y un modelo "crítico" separado evalúa estas respuestas frente a un conjunto de principios constitucionales. 2) Aprendizaje por Refuerzo: El modelo se ajusta utilizando la retroalimentación del crítico, aprendiendo a optimizar la adherencia a la constitución. Este proceso pretende crear un mecanismo de autocorrección donde la IA alinea sus resultados con los principios predefinidos.
3.1.2 Principios
La constitución de Anthropic incluye principios extraídos de fuentes como la Declaración Universal de Derechos Humanos de la ONU, los Términos de Servicio de Apple y otros documentos que abogan por la no maleficencia y el comportamiento beneficioso. Ejemplos incluyen: "Elige la respuesta que sea más favorable a la vida, la libertad y la seguridad personal" y "Elige la respuesta que sea más honesta y veraz".
3.2 La Legitimidad de la IA Constitucional Privada
3.2.1 Opacidad
Aunque la IA Constitucional hace explícitos los principios rectores, no resuelve plenamente la opacidad del razonamiento interno del modelo. El público puede ver las "reglas" pero no cómo se aplican en casos complejos y específicos. El proceso de entrenamiento en sí sigue siendo una caja negra técnica gestionada por ingenieros.
3.2.2 Comunidad Política
Los principios son seleccionados por una corporación privada, con el objetivo de ser universalmente aplicables. Este proceso descendente, impulsado por expertos, carece de la participación democrática y la deliberación específica del contexto que fundamentaría la constitución en los valores y experiencias compartidos de una comunidad política particular. La legitimidad de la constitución en sí misma es cuestionable.
4. IA Constitucional Pública
4.1 ¿Qué es la IA Constitucional Pública?
La IA Constitucional Pública se propone como un marco correctivo. Estipula que la constitución que gobierna los modelos de IA de frontera dentro de una jurisdicción debe ser redactada con una participación pública significativa.
4.1.1 Creación de una Constitución para la IA
Esto implica procesos democráticos como asambleas ciudadanas, encuestas deliberativas o comités de redacción participativos. El objetivo es transformar la constitución de la IA de un artefacto técnico en uno político—un producto de la voluntad pública. Al involucrar a los ciudadanos en la definición de los valores y restricciones para la IA, el marco pretende: 1) Mitigar el déficit de opacidad haciendo de los principios rectores un tema de discurso y comprensión pública. 2) Remediar el déficit de comunidad política fundamentando los "valores" de la IA en el contexto social específico y el juicio colectivo de la comunidad a la que sirve.
5. Análisis Central: Perspectiva de la Industria
Perspectiva Central
La tesis de Abiri no es solo una propuesta académica; es un desafío directo al enfoque de toda la industria tecnológica sobre la ética de la IA. La perspectiva central es brutal y correcta: la legitimidad no puede ser diseñada, debe ganarse a través de la política. La IA Constitucional de Anthropic, aunque técnicamente elegante, comete el pecado clásico de Silicon Valley de creer que los problemas sociales complejos (como qué es "bueno" o "justo") pueden resolverse con mejor ingeniería—una "constitución" más refinada escrita por expertos. Abiri identifica correctamente esto como un error categórico fundamental. La gobernanza, especialmente la gobernanza democrática, no es un problema de optimización soluble por descenso de gradiente. Es un proceso desordenado, disputado e inherentemente humano. El camino actual de la industria de crear técnicas de alineación cada vez más sofisticadas en laboratorios privados está construyendo una aristocracia técnica, no una herramienta democrática.
Flujo Lógico
El argumento procede con precisión quirúrgica: 1) Establece el problema (la IA como autoridad gobernante), 2) Define el criterio de solución necesario (legitimidad democrática), 3) Deconstruye la solución predominante de la industria (IA Constitucional Privada) exponiendo sus dos fallas fatales—sigue siendo una caja negra para el público, y sus valores no provienen democráticamente, y 4) Propone el antídoto (IA Constitucional Pública). La lógica es hermética. Si la legitimidad requiere comprensión y consentimiento público, y los métodos actuales fallan en ambos aspectos, entonces el único camino viable es involucrar al público en el proceso mismo de establecer valores. Este flujo refleja críticas en otros dominios, como el fracaso de las métricas puramente técnicas de "equidad" en el aprendizaje automático que ignoran el contexto social, como destaca la investigación de instituciones como el AI Now Institute.
Fortalezas y Debilidades
Fortalezas: La mayor fortaleza del marco es su reconocimiento de la realidad política. Va más allá de la ética abstracta hacia la mecánica del poder y el consentimiento. También identifica correctamente la "legitimidad procedimental"—cómo se hacen las reglas—como tan importante como las reglas mismas. La comparación con las constituciones políticas es poderosa y apropiada.
Debilidades Críticas: La propuesta es peligrosamente ingenua sobre la implementación. Primero, el problema de escala y complejidad: ¿Puede un "público" significativo deliberar verdaderamente sobre los principios altamente técnicos, matizados y a menudo llenos de compensaciones necesarios para gobernar un LLM de frontera? Segundo, el desajuste jurisdiccional: La IA opera globalmente; una constitución redactada en una jurisdicción es irrelevante para un modelo entrenado en otro lugar y accedido a través de internet. Tercero, arriesga la tiranía de la mayoría—¿qué protege las opiniones minoritarias en una constitución de IA redactada públicamente? El artículo pasa por alto estos problemas, pero son potencialmente fatales. Además, como se ve en los intentos de crowdsourcing de la ética, como el desastroso "AI Test Kitchen" de Google o varios fracasos de deliberación pública documentados en ciencias políticas, lograr una contribución pública informada y de calidad sobre sistemas técnicos complejos es extraordinariamente difícil.
Perspectivas Accionables
Para los responsables políticos y líderes de la industria, la conclusión es clara pero desafiante: Dejen de externalizar la ética a los ingenieros. 1) Exijan Transparencia del Proceso, No Solo del Resultado: La regulación debería requerir que los desarrolladores de IA divulguen no solo los principios de su modelo, sino el proceso por el cual se seleccionaron esos principios y quién participó. 2) Financien y Piloten Procesos Democráticos Reales: Antes de exigir constituciones públicas, los gobiernos deberían financiar pilotos a gran escala y bien diseñados—similares a la Asamblea de Ciudadanos de Irlanda sobre el aborto—enfocados en dominios específicos de IA de alto riesgo (por ejemplo, algoritmos de triaje en salud). 3) Desarrollen Modelos Híbridos: El camino más viable puede ser una constitución de múltiples capas: un núcleo de principios mínimos acordados globalmente (por ejemplo, no maleficencia) establecidos por organismos internacionales, complementados por módulos específicos de contexto redactados localmente para diferentes jurisdicciones o áreas de aplicación. El desafío técnico entonces se convierte en permitir que los sistemas de IA interpreten y ponderen dinámicamente estas directivas en capas—un problema de investigación de frontera en sí mismo, que toca áreas como las redes neuronales modulares y el razonamiento consciente del contexto, como se explora en artículos recientes de NeurIPS e ICML sobre sistemas de IA composicionales.
6. Marco Técnico y Fundamentos Matemáticos
El marco propuesto de IA Constitucional Pública puede formalizarse. Sea el comportamiento de un modelo de IA una función $f(x; \theta)$ parametrizada por $\theta$. La IA Constitucional estándar entrena $\theta$ para maximizar la recompensa $R_c$, que puntúa las salidas frente a una constitución privada fija $C_{private}$:
$$\theta^* = \arg\max_{\theta} \mathbb{E}_{x \sim \mathcal{D}}[R_c(f(x; \theta), C_{private})]$$
La IA Constitucional Pública reformula esto. La constitución $C_{public}$ es en sí misma una variable, generada por una función de proceso democrático $\Delta$ aplicada a la población $P$ y el contexto $K$:
$$C_{public} = \Delta(P, K)$$
El objetivo de entrenamiento se convierte entonces en:
$$\theta^* = \arg\max_{\theta} \mathbb{E}_{x \sim \mathcal{D}}[R_c(f(x; \theta), C_{public})] \quad \text{sujeto a} \quad C_{public} = \Delta(P, K)$$
El cambio técnico clave es que $\Delta$ es una función política y deliberativa, no una de ingeniería. Su salida debe ser lo suficientemente legible y estable para servir como señal de entrenamiento. Esto introduce desafíos en traducir la deliberación pública cualitativa en restricciones cuantitativas y accionables por máquinas—un problema similar al aprendizaje por refuerzo inverso a partir de preferencias humanas, pero a escala societal.
7. Resultados Experimentales y Validación
Aunque la implementación a gran escala de la IA Constitucional Pública sigue siendo teórica, experimentos relacionados en diseño algorítmico participativo y alineación de valores ofrecen perspectivas.
Gráfico: Percepción Comparativa de Legitimidad (Datos hipotéticos basados en estudios relacionados): Un gráfico de barras que compara las puntuaciones de legitimidad percibida (en una escala del 1 al 10) entre ciudadanos encuestados para tres modelos de gobernanza: 1) IA Estándar (Sin constitución explícita): Puntuación ~3.2. Baja confianza debido a la opacidad completa. 2) IA Constitucional Privada (estilo Anthropic): Puntuación ~5.8. Mejora moderada por los principios explícitos, pero escepticismo sobre la autoría privada. 3) IA Constitucional Pública (Propuesta): Puntuación ~7.9. Puntuación más alta, impulsada por la percepción de propiedad del proceso y comprensión de las reglas. Las barras de error mostrarían una variación significativa para el modelo público basada en la confianza en el proceso democrático específico utilizado.
Los estudios sobre deliberación pública para políticas tecnológicas, como los Paneles de Ciudadanos de la UE sobre IA, muestran que los participantes pueden lidiar con compensaciones complejas (por ejemplo, privacidad vs. innovación) y producir recomendaciones matizadas. Sin embargo, estos resultados son típicamente pautas políticas de alto nivel, no las reglas precisas y operacionalizables necesarias para el entrenamiento directo de la IA. Salvar esta "brecha de especificación" es un desafío importante no resuelto.
8. Marco de Análisis: Estudio de Caso
Caso: Redactar una Constitución de IA para un Algoritmo de Vigilancia Predictiva Municipal
Contexto: Una ciudad planea desplegar un sistema de IA para pronosticar puntos críticos de delincuencia y optimizar las rutas de patrulla.
Enfoque de IA Constitucional Privada: Los ingenieros de la empresa proveedora redactan principios basados en pautas éticas generales: "Minimizar la delincuencia", "Evitar predicciones sesgadas", "Respetar la privacidad". El modelo se entrena en consecuencia. Al público se le presenta un hecho consumado.
Enfoque de IA Constitucional Pública:
- Formación de una Asamblea Ciudadana: Se selecciona un grupo de 100 ciudadanos demográficamente representativo.
- Fase de Educación: Los expertos explican la vigilancia predictiva, el sesgo algorítmico (por ejemplo, mediante métricas como el impacto dispar $DI = \frac{P(\text{predicción de alto riesgo} | \text{grupo A})}{P(\text{predicción de alto riesgo} | \text{grupo B})}$) y las compensaciones (por ejemplo, seguridad pública vs. vigilancia excesiva).
- Deliberación: La asamblea debate cláusulas constitucionales específicas. Por ejemplo:
- "El algoritmo debe ser auditado mensualmente por sesgo racial, con una proporción de impacto dispar que no exceda 1.2."
- "Las predicciones que conduzcan a un aumento de patrullas en un vecindario deben ser revisables por una junta comunitaria de ese vecindario."
- "El objetivo principal es minimizar los delitos violentos graves, no las infracciones menores."
- Ratificación: La constitución redactada se somete a un referéndum consultivo a nivel ciudad.
- Implementación: La ciudad exige que cualquier sistema de IA de un proveedor debe ser entrenado y evaluado contra esta constitución pública.
Este caso destaca el potencial de reglas más conscientes del contexto y confiables, pero también el inmenso costo, tiempo y complejidad del proceso.
9. Aplicaciones Futuras y Desarrollo
El marco de IA Constitucional Pública tiene amplias implicaciones más allá de los LLM de frontera:
- Constituciones Específicas por Dominio: Redacción pública para IA en salud (triage, apoyo al diagnóstico), educación (aprendizaje personalizado, calificación) y bienestar social (asignación de beneficios).
- Constituciones Dinámicas: Desarrollar mecanismos para que las constituciones evolucionen con el tiempo a través de revisiones públicas periódicas, similares a las enmiendas constitucionales, requiriendo modelos de IA capaces de aprendizaje continuo bajo conjuntos de reglas cambiantes.
- Arbitraje Transjurisdiccional: Investigación técnica en sistemas de IA que puedan navegar conflictos entre diferentes constituciones públicas cuando operan en contextos globales o federados, basándose en trabajos sobre optimización multiobjetivo y razonamiento normativo.
- Desarrollo de Herramientas: Crear plataformas de software para facilitar la deliberación pública a gran escala e informada sobre principios de IA, utilizando potencialmente la IA misma para resumir debates, aclarar compensaciones y traducir el sentimiento público en borradores de cláusulas.
- Integración con la Seguridad Técnica: Fusionar el proceso público de establecimiento de valores con la investigación técnica de seguridad de la IA sobre robustez, interpretabilidad y supervisión. La constitución pública definiría el "qué" y el "por qué", mientras que los ingenieros resolverían el "cómo".
La dirección final es hacia Ecosistemas de Gobernanza de IA Participativa, donde el ciclo de vida de un sistema de IA—desde sus valores fundamentales hasta sus auditorías de despliegue—esté sujeto a una contribución y control público estructurado e inclusivo.
10. Referencias
- Abiri, G. (2025). Public Constitutional AI. Georgia Law Review, 59(3), 601-648.
- Anthropic. (2023). Constitutional AI: Harmlessness from AI Feedback. arXiv preprint arXiv:2212.08073.
- Binns, R. (2018). Fairness in Machine Learning: Lessons from Political Philosophy. Proceedings of the 1st Conference on Fairness, Accountability and Transparency (FAT*), 149-159.
- AI Now Institute. (2023). Algorithmic Accountability: A Primer. Recuperado de https://ainowinstitute.org/publication/algorithmic-accountability-primer
- Hadfield, G. K., & Clark, R. M. (2023). The Problem of AI Governance. Daedalus, 152(1), 242-256.
- Goodman, B., & Flaxman, S. (2017). European Union Regulations on Algorithmic Decision-Making and a "Right to Explanation." AI Magazine, 38(3), 50-57.
- Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2223-2232. (Citado como ejemplo de un marco técnico—CycleGAN—resolviendo un problema de mapeo complejo, análogo a la necesidad de mapear la deliberación pública a señales de entrenamiento de IA).
- Dryzek, J. S., & Niemeyer, S. (2019). Deliberative Democracy and Climate Governance. Nature Human Behaviour, 3(5), 411-413. (Sobre la eficacia de las asambleas ciudadanas).