Como indican las entidades organizadoras, las II Jornadas DAR se celebran en un momento crucial en que se debate el nuevo reglamento europeo sobre IA (AI Act). Desde el 1 de julio del 2023, el gobierno de España tiene la Presidencia rotatoria del Consejo europeo y ha mostrado un gran interés por liderar la carrera de la Inteligencia Artificial a Europa. El adelanto electoral español sitúa el país en un momento de convulsión política pero las organizaciones sociales remarcan que el papel del gobierno español, sea cual sea, tiene que ser decisivo para impulsar esta regulación con el objeto de garantizar los derechos fundamentales y revertir los sesgos de discriminación, segregación y exclusión que a menudo estas tecnologías perpetúan. Las II Jornadas DAR, celebradas el junio de 2023, contaron con la participación de activistas y expertas de todo el mundo sobre el despliegue de la IA y sus resistencias.

En este artículo podéis ver el video del primer día de las DAR (el segundo día eran talleres) y leer un resumen de las intervenciones de los diferentes paneles. Algunas de las ideas destacadas que podréis leer en detalle más abajo son:

• “La IA está empezando a aplicarse sobre los colectivos más vulnerables pero es una dinámica que después nos llegará a todos.” (Ismail El Majdou)
• “Si las infraestructuras más básicas que hacen posible la IA se basan en un sistema racista, es imposible lograr IA feminista y antirracista.” (Ainhoa Nadia Douhaibi Arrazola)
• “La raza y el racismo han sido elementos constitutivos de la propia existencia de las infraestructuras tecnológicas: desde los recursos naturales para configurar los hardwares y los cableados hasta la mano de obra para la fabricación o los propios procesos de acumulación y clasificación de datos, en todas estas fases, el capitalismo racial está en el centro.” (Ainhoa Nadia Douhaibi Arrazola)
• “La pregunta de la que conviene partir siempre no es “para qué sirve una herramienta o aplicación de IA” sino “para quien sirve.” (Carolina Matos)
• “El ‘conocimiento’ tal como lo concebimos actualmente —científico, humanista, artístico— es una formación moderna colonial que nace en el momento de expansión europea y que se funda a partir de la ansiedad por controlar y dominar: controlar los recursos naturales, las plantas, los animales y los humanos.” (Anyeli Marin)
• “La manera fundamental de ejercer un control sobre el bio humano fue la implantación de la idea de raza, perfectamente adecuada para la dominación del norte global hacia el sur global.” (Anyeli Marin)
• “La tecnología se piensa como una solución que le evitará al ser humano la tarea de tomar decisiones a través de un sistema mucho más racional y limpio (porque “la tecnología —la tecnología blanca, algorítmica, racional, matemática— no se equivoca”) y precisamente esta tecnología reproduce con una violencia todavía más grande las categorías de raza, de género y otras formas de exclusión que son más dificiles de combatir porque están automatizadas.” (Anyeli Marin)
• “No está claro que tenga sentido prestar tanta atención a los sesgos (el sesgo algorítmico, el sesgo de datos, el sesgo de género…). Es una discusión que distrae porque en realidad estamos denominando sesgos a la estructura y no podemos luchar contra la estructura corrigiendo sesgos.” (Anyeli Marin)
• “Pensar que descolonizar el conocimiento implica incluir más voces, más lenguas, más información sobre los pueblos excluidos, más información sobre aquello que todavía no se sabe… es una falsa ilusión y muy errónea. Porque esto en el fondo es aumentar la racionalidad del norte global para que conozca aquello que todavía no conoce.” (Anyeli Marin)

–

II Jornadas DAR. Democracia, Algoritmos y Resistencias
Fecha: ju-vi01-02/06/2023
Hora: tardes 17.30 h- 20.30 h
Lugar: online (streaming) + Espacio Ecooo.
Dirección: c/ de la Escuedra, 11 (Madrid).
Organizan: La Fede, Algorights y AlgoRace.
Web: https://jornadasdar.org/

–

Jueves 1/06/2023

17:30 – 17:40 Presentación de las II Jornadas DAR (video minuto 11:58)
Judith Membrives de Lafede.cat, Youssef Ouled y Paula Guerra Cáceres de Algorace, Lucía Errandonea de Algorights, presentan las jornadas.

17:40 – 18:25 Sesión 1: Democratizar la Inteligencia Artificial mediante la participación de la sociedad civil (vídeo minut 17:34)
El objetivo de esta mesa era mostrar prácticas alternativas de regulación de la IA o de otras tecnologías mediante la participación de la sociedad civil. Para ello, Nina da Hora, hacker antiracista, científica e investigadora, explicó procesos y formas en las que la sociedad civil brasileña está participando en la regulación de la IA y qué posicionamientos e ideas se ha conseguido trasponer a la agenda política.

Panelista principal: Nina da Hora (video minut 20:00).
Panelistes: Ismail El Majdoubi (video minuto 35:25) y Nadia Nadesan (video minuto 43:15).
Moderadora: Lucia Errandonea de Algorights.

• Nina da Hora (video minuto 20:00): es una ingeniera informática (Cientista da Computação), investigadora y hacker antirracista brasileña. Es fundadora de la Instituto da Hora, organización formada por mujeres negras e indígenas que tiene como objetivo descentralizar el conocimiento científico y potenciar el antirracismo. Web: ninadahora.dev. Su intervención se centra en una IA responsable, donde se prioricen la ética y la responsabilidad y que descentralice la mirada desde países occidentales y la focalice, en su caso, en Brasil y América Latina. A partir de aquí repasa una serie de principios clave y consideraciones que habría que tener en cuenta como: justicia y eliminación de sesgos, explicación transparente de la toma de decisiones y la emisión de recomendaciones, protección de la privacidad y los datos y, finalmente, la asunción de responsabilidades de desarrolladores y organizaciones y la garantía de la solidez y fiabilidad de los sistemas.
• Ismail El Majdoubi (video minuto 35:25): es un activista defensor de los derechos de la infancia y la juventud migrante. Forma parte del colectivo Exmenas y trabaja como mediador cultural en la Cruz Roja. TW: @ismajdoubi. En su intervención indica que la IA está empezando a aplicarse sobre los colectivos más vulnerables pero es una dinámica que después nos llegará a todos. En concreto, en Europa, se está aplicando sobre el control migratorio para impedir que unos colectivos entren en Europa. Como ejemplo, podemos destacar el proyecto de Frontera Inteligente de Ceuta y Melilla, que está en proceso de desarrollo y que pretende aplicar funcionalidades “inteligentes” para intensificar el control de algunos permisos y, de ser necesario, crear un nuevo CIE de retención de personas. Otro caso es la aplicación de máquinas para determinar la edad de las criaturas que cruzan la frontera, máquinas de las que no sabemos qué criterios han sido establecidos para que decidan una edad u otra.
• Nadia Nadesan (video minuto 43:15): es una investigadora, autora y directora de proyectos sobre gobernanza y participación social en el ámbito digital y de la IA. Trabaja en la fundación Platoniq. Respecto a las prácticas, en primer lugar destaca que ha habido una especie de boom mundial en la creación de principios y guías para la ética de la IA. El problema de los registros y los principios de IA es que no inciden en cómo y por qué se ha implementado la IA en las ciudades, en contextos determinados. La elaboración de principios puede distraer de la creación de estructuras de gobernanza materiales y reales. En este sentido, otras iniciativas que considera más útiles son, por ejemplo, las auditorías o aquel movimiento open knowledge que quiere evitar el parasitismo de las empresas privadas.

18:30 – 19:15 Sesión 2: Hacia un futuro con Algoritmos Feministas Antiracistas (vídeo minuto 1:12:52)
El objetivo de esta sesión es debatir acerca de qué aporta la creación de tecnología con perspectiva de género y qué impacto tiene ello en la consecución de objetivos de justicia de género. Por un lado, DataGénero, a través de una corta explicación, transmite su mirada hacia la Inteligencia Artificial Feminista y explica su experiencia a través de la conceptualización y diseño de un sistema de Inteligencia Artificial Feminista. El resto de panelistas aportan opiniones y visiones acerca de qué cambios e impacto social podría tener la tecnología con estas perspectivas.

Panelista principal: Ivana Felderber (DataGenero) (video minuto 1:15:40).
Panelistes: Ainhoa Nadia Douhaibi Arrazola (video minuto 1:32:50) y Paula Santamaría (video minuto 1:27:34).
Moderadora: Judith Membrives de Lafede.cat.

• Ivana Felderber (DataGénero) (video minuto 1:15:40): es una especialista en ciencia de datos con perspectiva de género, cofundadora y directora ejecutiva de DataGénero, primer Observatorio de Datos de Género de América Latina. La falta de datos alrededor de la violencia de género es importante y una de las fuentes de datos sobre la misma son los fondos administrativos. En esta confluencia de hechos es donde entra el proyecto de IA en el que trabaja DataGénero (datagenero.org): “Feminismos en IA”. Últimamente y en esta línea han iniciado un proyecto con el Juzgado número 10 de la ciudad de Buenos Aires (Juzgado Penal Contravencional y Faltas N° 10 Ciudad de Buenos Aires, TW: @jpcyf10) que hace años que tiene una política de datos abiertos: todas las sentencias del juez son anonimizadas y subidas a un espacio abierto [uno Google Drive…]. No hay nombres propios, ni lugares, ni marcas de coches… Pero sí las sentencias. Desde DataGènero crearon AymurAI (aymurai.info), un software que recolecta, procesa y pone a disposición datos sobre violencia de género a partir de las sentencias, de manera que las procesa y estructura.
• Paula Santamaría (video minuto 1:27:34): es una científica de datos que trabaja desarrollando modelos. En su intervención explica que considera que mantener un marco feminista y antirracista en el trabajo con la IA es posible, pero hay que plantearlo siempre como un tema social. Hay dos mecanismos importantes que destacaría: en primer lugar, hacer explícito cómo trabajan los modelos automatizados, que su diseño y comportamiento sea transparente; y, en segundo lugar, que las personas que trabajan con modelos tengan un posicionamiento ético y que se hagan responsables del trabajo que hacen.
• Ainhoa Nadia Douhaibi Arrazola (video minuto 1:32:50): es profesora asociada de Sociología de la Exclusión a la UOC y técnica de investigación en la UPF en el proyecto REACT sobre racismo institucional en las escuelas. TW: @ainhoa_nadia. Su intervención hace una enmienda a la totalidad del planteamiento de una IA en clave feminista y antirracista incidiendo en el hecho de que, si las infraestructuras más básicas que hacen posible la IA se basan en un sistema racista, es imposible lograr una IA feminista y antirracista. Los estudios críticos de raza y de data nos indican que, si analizamos las infraestructuras tecnológicas (no solo lo que hacen o aquello para lo que han estado pensadas a hacer) desde las vertientes más materiales e ideológicas, vemos que la raza y el racismo han sido elementos constitutivos de su propia existencia: desde los recursos naturales para configurar los hardwares y los cableados hasta la mano de obra para la fabricación o los propios procesos de acumulación y clasificación de datos, en todas estas fases, el capitalismo racial está en el centro. No podrían desarrollarse sin una lógica racial en origen.

19:20 – 20:05 Sesión 3: Descolonizar internet mediante el conocimiento colectivo (video minuto 2:24:48)
El objetivo de esta sesión es reflexionar sobre las coordenadas de un internet con perspectiva de conocimiento abierto y decolonial. Para ello, contaron con dos panelistaa internacionalea que, desde una perspectiva global, explicaron los retos y aprendizajes de sus proyectos en los países del Sur Global para fomentar las prácticas feministas y decoloniales en internet mediante el conocimiento abierto. Patricia Horrillo explicó la experiencia de generar conocimiento colectivo en la red y Anyely Marín introdujo las claves para la decolonización del saber.

Panelistas principales: Priscila Bellini (video minuto 2:28:09) y Carolina Matos (video minuto 2:37:38).
Panelistas: Patricia Horrillo (video minuto 2:47:02) y Anyely Marin (video minuto 2:55:50).
Moderadora: Paula Guerra Cáceres de Algorace.

• Priscila Bellini (video minuto 2:28:09): periodista, feminista y coordinadora de comunicación en Whose Knowledge? (whoseknowledge.org). En su intervención destaca que, mientras el sur global representa a la mayor parte de personas conectadas en el mundo, por el contrario, la mayoría del conocimiento público disponible en internet ha sido creado por hombres blancos de Europa y de Norteamérica, un contexto muy local que se proyecta y considera global hacia el resto del mundo. Desde Whose Knowledge? trabajan con las comunidades históricamente marginadas para revertir este hecho que han etiquetado como “injusticia de conocimiento o epistémica”. Entre sus acciones se encuentran el cuestionamiento de cuáles son las personas que crean conocimiento en internet, qué se considera conocimiento y cómo se considera conocimiento. El propio diseño de las plataformas o la representación lingüística en internet ya denotan estas injusticias del conocimiento.
• Carolina Matos (video minuto 2:37:38): gestora de proyectos en Open Knowledge (okn.org) y doctora en Historia del Arte por la *Universidad Complutense de Madrid. En su intervención destaca que la pregunta de la cual conviene partir siempre no es “para qué sirve una herramienta o aplicación de IA” sino “para quién sirve”. Open Knowledge nació en 2003 y trabaja en diferentes propuestas y proyectos vinculados a la cultura y el conocimiento libres. Entre sus proyectos se encuentran, por ejemplo, la School of Data (schoolofdata.org), un proyecto de alfabetización digital de referencia. Una de las tareas que han hecho desde los oríegenes de Open Knowledge es la de definir (y redefinir periódicamente) qué se entiende por conocimiento abierto. En los últimos tiempos, los modelos de negocio de las grandes tecnológicas de Sillicon Valley han hecho movimientos contrarios al conocimiento abierto con el cercamiento de la información a través del extractivismo de datos, el colonialismo, las desigualdades, etc.
• Patricia Horrillo (video minuto 2:47:02): periodista y fundadora de Wikisfera (wikiesfera.org). Respecto a qué rol juegan las mujeres para lograr un internet más democrático, Horrillo considera que las mujeres tenemos una relación con internet muy vinculada al trabajo y los estudios, y que parte casi siempre del miedo. Desde el ámbito femenino, hay una falta de atrevimiento y de enfoque lúdico hacia el mundo digital muy clara. Las mujeres nos autoimponemos toda una serie de exigencias que hay que desterrar, como la idea de falta de conocimiento o de falta de legitimidad. Es desde este enfoque desde donde trabaja Wikisfera, una propuesta para romper la brecha de género en Wikipedia y dar visibilidad a las mujeres.
• Anyely Marin (video minuto 2:55:50): es investigadora especializada en historia de la ciencia y docente a la UAB. Dinamiza espacios de formación sobre metodologías decoloniales, feminismos negros y estrategias antirracistas. En cuanto a la descolonización del saber y su relación con las tecnologías, Marin empieza por especificar que el “conocimiento” tal como lo concebimos actualmente —científico, humanista, artístico— es una formación moderna colonial que nace en el momento de expansión europea y que se funda a partir de la ansiedad por controlar y dominar: controlar los recursos naturales, las plantas, los animales y los humanos. La manera fundamental de ejercer un control sobre el bio humano fue con la implantación de la idea de raza, perfectamente adecuada para la dominación del norte global hacia el sur global. El conocimiento científico y humanista está fundado sobre una idea racial de control de los blancos y sobre una idea de control y explotación de plantas, animales, minerales y personas. Si repasamos el nacimiento de cualquier ciencia, todos los nacimientos están vinculados a un afán o ansiedad de control, dominación, vigilancia, hiperdisección de cada aspecto de la naturaleza para ejercer un control sobre ella. En consecuencia, lo que entendemos como conocimiento y aquello que se nos enseña y se nos perpetúa en secundaria y en las universidades está atravesado por estas dos ideas de dominación/explotación y raza. Descolonizar el conocimiento es, por lo tanto, un cambio radical del punto de vista: desde dónde vemos aquello que se conoce, quién conoce y para qué se conoce. A la vez, cualquier principio descolonizador es un principio básicamente violento puesto que cuando descolonizamos —cuando tenemos una aproximación diferente al conocimiento, a la historia o a cualquier ciencia— implica que arrancarnos nuestras creencias como sujetos modernos e implica ir a las raíces de cómo vemos y creemos el mundo. La masculinidad, evidentemente, es el lugar desde donde se funda quién tiene legitimidad para explicar la historia y está, por lo tanto, en el centro de esta construcción: descolonizar es también una herramienta feminista. 
• Cuando se piensa en la tecnología se piensa en ella como una solución que por fin le evitará al ser humano la tarea de tomar decisiones a través de un sistema mucho más racional y limpio (porque “la tecnología —la tecnología blanca, algorítmica, racional, matemática— no se equivoca”) y precisamente esta tecnología reproduce con una violencia todavía más grande las categorías de raza, de género y otras formas de exclusión que son más difíciles de combatir porque están automatizadas. Respecto a la relación entre tecnología y conocimiento, Anyeli destaca dos ideas clave: en primer lugar, no está claro que tenga sentido prestar tanta atención a los sesgos (el sesgo algorítmico, el sesgo de datos, el sesgo de género…). Es una discusión que distrae porque en realidad estamos denominando sesgos a la estructura y no podemos luchar contra la estructura corrigiendo sesgos. La otra idea que destaca Anyeli es que pensar que descolonizar el conocimiento implica incluir más voces, más lenguas, más información sobre los pueblos excluidos, más información sobre aquello que todavía no se sabe… es una falsa ilusión y muy errónea. Porque esto en el fondo es aumentar la racionalidad del norte global para que conozca aquello que todavía no conoce. No está segura de que sea la internet que queremos: “Tenemos derecho a la opacidad” dice Édouard Glissant, tenemos el derecho a que no se sepa todo de nosotros como pueblos. La descolonización de internet pasaría, por lo tanto, por una democratización de las herramientas y una democratización de las críticas que se hacen sobre las herramientas y que las colectividades las usen cómo quieran. Ampliar el conocimiento en internet, incluir más nombres, más mapas… dar más señales de aquello que todavía no se sabe es entrar y alimentar la racionalidad capitalista y no está claro que sea una herramienta que nos sirva.

Viernes 2/06/2023

17:30 Bienvenida
Judith Membrives de Lafede.cat, Youssef Ouled y Paula Guerra Cáceres de Algorace, Lucia Errandonea y Thais Ruiz de Alda de Algorights, presentan las sesiones de talleres de las Jornadas.

17:45 Workshops presenciales simultáneos

WORKSHOP 1: Decolonizando internet a través de la Wikipedia
Anyely Marin y Patricia Horrillo
El objetivo de la sesión era fomentar la reflexión sobre la necesidad de visibilizar perspectiva abierta, intercultural y multisaberes en la creación de tecnología y conocimiento, mediante un ejercicio práctico consistente en la revisión y edición de contenidos de la Wikipedia con el fin de descolonizar una de las fuentes de datos e información más relevantes de internet. Las asistentes no sólo aprenderán a editar la Wikipedia, sino también a descolonizarla.

WORKSHOP 2: Violencias machistas y datos para visibilizarlas
Paula Santamaría y Ainhoa Nadia Douhaibi Arrazola
Durante el taller se llevó a cabo un mapeo de tipología de datos para entender la violencia machista sexual, qué datos se recogen actualmente y qué datos deberían estar recogidos en las denuncias y/o sentencias, qué elementos racistas y machistas existen en la recolección y procesamiento de datos, y qué aspectos deberían tener en cuenta las instituciones para visibilizar y activar políticas preventivas.

WORKSHOP 3: Consejo ciudadano de Inteligencia Artificial
Nadia Nadesan
A partir de la simulación de un consejo ciudadano, las personas asistentes analizaron las diferentes afectaciones que la Inteligencia Artificial de reconocimiento facial genera en cuanto a derechos fundamentales como el derecho a la intimidad, privacidad o el anonimato. Las personas asistentes simularon un debate parlamentario donde presentaron sus conclusiones acerca de cómo deberían interpretarse las normas para tener un enfoque centrado en los derechos de las comunidades afectadas.

–

Lafede.cat es una asociación de 124 organizaciones federadas vinculadas a la defensa de los derechos humanos, el desarrollo y la paz.

Algorights es una red colaborativa que promueve la participación de la sociedad civil en el ámbito de las tecnologías de la IA con un enfoque centrado en los Derechos Humanos.

AlgoRace es un colectivo y espacio de análisis y propuestas sobre el impacto de la IA en las poblaciones racializadas.