Los candados pendientes de la IA: juventudes y violencia
- Román Salvador Sánchez Marmolejo
- hace 2 días
- 3 Min. de lectura
Por Román Salvador Sánchez Marmolejo
Era junio del 2024, después de un receso para tomar almuerzo, iniciaba una masterclass sobre ética e inteligencia artificial con el profesor Mathias Risse, el cual nos proporciono unos papers para su lectura previa a la clase. En ellos, para mi destacaba una premisa contundente.
La tecnología y la democracia no son aliados naturales
Clase con el profesor Mathias Risse
Risse definía tres preguntas centrales que deben plantearse tanto los desarrolladores como la ciudadanía ante el diseño ético de cualquier sistema de IA: ¿para quién no funciona esto?, ¿cómo cambiará la forma en que hacemos las cosas y queremos ese cambio?, y ¿cómo afecta esto al medio ambiente?
La primera pregunta, desde un campo de acción en derechos humanos, me hizo pensar en supuestos de grupos históricamente vulnerados y en casos como el del sistema COMPAS (un ejemplo aprendido en otra masterclass), el cual funcionaba en el sistema judicial de Estados Unidos y generaba estereotipos raciales derivados de la forma en que se alimentaba el sistema. Esta pregunta despertó en mí la necesidad de cuestionar el uso de la IA basado en la discriminación algorítmica y de comenzar a investigar más sobre sus abordajes desde una perspectiva de derechos humanos.
En esa tesitura, hace un par de semanas se volvió tendencia la decisión de la empresa Anthropic de no eliminar los límites éticos de su tecnología con fines bélicos y, con ello, generar una tensión con el gobierno de Estados Unidos. Esta postura ética, con fundamento en los derechos humanos, pone sobre la mesa el dilema sobre los límites que las empresas tecnológicas deberían establecer en sus sistemas de IA.
Este ejemplo, desde una perspectiva macro, puede interpretarse de manera sencilla: aunque resulte difícil de creer, no todas las empresas quieren que sus herramientas se utilicen para la guerra (aun cuando ello pudiera generarles ganancias); pero, ¿qué ocurre en las situaciones de la vida cotidiana? ¿Un chatbot de IA puede utilizarse para hacernos daño?
Un estudio del Center for Countering Digital Hate (CCDH) ilustró un escenario del que poco se habla: jóvenes con intenciones de ejercer actos violentos asistidos por IA. A través de diversos supuestos y pruebas realizadas con diferentes sistemas, se encontraron resultados preocupantes.
OpenAI y su sistema, popularmente conocido como ChatGPT, establecen que la edad mínima para su uso es de 13 años. A partir de ese supuesto, el CCDH puso a prueba el sistema mediante un prompt, y la IA proporcionó mapas de una escuela a un “usuario” que manifestaba intenciones de realizar un atentado; a su vez, Gemini sugirió estrategias más letales a un “usuario” que quería atacar una sinagoga.
El estudio determinó que 8 de cada 10 chatbots de IA están dispuestos a asistir a usuarios que planean un ataque violento.
Este vacío dentro de los sistemas nos debe llevar a poner atención sobre el papel de la IA en las juventudes. Han pasado de ser una herramienta que hace la tarea a convertirse en asistentes, psicólogos y consejeros; y, con ello, surge la necesidad de generar políticas públicas detalladas sobre su funcionamiento.
Letrero en los pasillos de la Universidad de Harvard promocionando una IA que ofrece servicios de psicología
Instituciones como la American Psychological Association recomiendan generar una IA para adolescentes y otra para adultos, con base en la madurez psicológica de las personas.
Se deben incorporar medidas de seguridad adecuadas para cada edad, como el entrenamiento con datos apropiados, configuraciones predeterminadas de protección y opciones de diseño diferenciadas de las destinadas a usuarios adultos.
La regulación de la IA tiene muchas aristas legislativas pendientes, pero considero que aquellas acciones que ponen en riesgo la vida e integridad de las personas son de carácter urgente dentro de esta agenda. El uso cotidiano de esta herramienta siempre estará ligado a la subjetividad con la que las empresas rijan sus principios, pero la prevención y erradicación de la violencia debe ser un propósito universal.
Fuentes
Anthropic y su negación de eliminar limites para su uso bélico
Informe de CCDH
Informe de la APA
Román Salvador Sánchez Marmolejo es Licenciado en Derecho por la Universidad Autónoma de Nayarit, Master en Gobernanza y Derechos Humanos por la Universidad Autónoma de Madrid y Maestrante en Acción Politica y Gestión Pública en la Universidad Francisco de Vitoria.
Cuenta con diversos diplomados, cursos y talleres en materia de comunicación gubernamental, innovación pública y derechos humanos destacando su participación en los simposios de Política y Administración Pública 2022 y 2024 que organiza el International Academic Program de la UAM y el DRCLAS de la Universidad de Harvard, quienes le otorgarán el reconocimiento "Agente Transformador" 2024 por su labor en innovación pública en DDHH.
Contacto:
Correo: contacto@regencia.org
Comentarios