Nuevo caso de IA racista

Países Bajos veta un algoritmo acusado de estigmatizar a los más desfavorecidos

El Gobierno usaba el programa SyRI para determinar que ciudadanos son supuestamente más proclives a defraudar al Estado

Un tribunal neerlandés ha decidido que SyRI (acrónimo de System Risk Indication), un sistema de análisis para rastrear posibles fraudes al Estado utilizado por el Gobierno, “no respeta la privacidad del ciudadano y vulnera el artículo 8 de la Convención Europea de Derechos Humanos”, relativo al derecho a la vida privada. Con SyRI —no confundir con Siri, el asistente de Apple— el Ministerio de Asuntos Sociales y Empleo estudia desde 2014 datos sobre ingresos, pensiones, seguros, tipo de casa, impuestos, multas, integración, educación, deudas o subsidio de desempleo de los contribuyentes para calcular luego a base de algoritmos quién tiene más probabilidades de defraudar a la Administración. En octubre, el australiano Philip Alston, relator especial de la ONU sobre pobreza y derechos humanos, remitió un informe al tribunal criticando que SyRI “señala a los ciudadanos con menos renta y a grupos de población de origen inmigrante”.

Esta sentencia, inédita en Europa contra el uso por un Gobierno de algoritmos predictivos, es también un intento más de parar los pies a unas tecnologías cada vez más presentes en la toma de decisiones sobre las vidas de los ciudadanos cuyos datos escrutan: desde los contenidos que consumen hasta su aptitud para recibir un préstamo hipotecario. En Filadelfia y otras ciudades estadounidenses, un algoritmo lleva un lustro calculando posibilidades de reincidencia de delincuentes. A lo largo y ancho de EE UU y Europa, las autoridades recurren a estos sistemas para distribuir patrullas policiales y dictar sentencias de cárcel. Bristol tiene su propio sistema para identificar a los jóvenes más propensos a delinquir, recoge The New York Times .

El fallo sobre SyRI sienta un precedente legal que puede tener repercusiones en el exterior y supone una gran victoria para los demandantes, una coalición de ocho grupos civiles locales, entre ellos organizaciones de abogados, activistas de derechos humanos y el sindicato mayoritario FNV. SyRI se ha usado hasta la fecha en las ciudades de Róterdam, Eindhoven, Haarlem y Capelle aan den Ijssel.

El Tribunal de Distrito de La Haya (de primera instancia) anunció el día 5 de febrero su fallo, en el que reconoce “el objetivo legítimo y de gran relevancia social de evitar un delito”. Sin embargo, añade que “el modelo de riesgo elaborado en estos momentos por SyRI puede tener efectos no deseados, como estigmatizar y discriminar a la ciudadanía, por la ingente cantidad de información que recoge”. El caso retrata dos caras que se enfrentan constantemente en el debate de si es lícito depositar nuestra confianza en algoritmos que por su diseño o entrenamiento pueden presentar sesgos ocultos.

Sobre el papel, estas herramientas están llamadas a reducir la presión sobre departamentos cuyas cargas de trabajo parecen inversamente proporcionales al personal que tienen disponible para abordarlas. Se reducen así los costes para el Gobierno y, en el extremo más optimista, se eliminan de la ecuación los sesgos inherentes a la naturaleza humana. Sobre los ciudadanos, los algoritmos se vuelven armas de doble filo de cuyos riesgos advierte hasta la ONU. “Los Estados de Bienestar digitales se arriesgan a convertirse en caballos de Troya para la hostilidad neoliberal hacia la protección social y la regulación”, señalaba recientemente Philip Alston, relator especial sobre pobreza extrema y derechos humanos en la organización.

Potenciales sospechosos

SyRI se utilizaba en especial en barrios que el Ejecutivo considera problemáticos. Para calcular posibles irregularidades, los algoritmos enlazan todos los datos personales de sus residentes almacenados por instancias gubernamentales. Esos datos se comparan luego con el perfil de riesgo creado a partir de la información de otros ciudadanos que sí han delinquido. Observadas las similitudes, se confecciona una lista de nombres que las autoridades pueden conservar hasta dos años.

Los municipios deben pedir permiso al citado ministerio si sospechan del posible abuso de las ayudas económicas, u otras actuaciones ilegales, para poder analizar la información. La Agencia Tributaria, la inspección de Asuntos Sociales y Empleo, o el Banco de la Seguridad Social disponen de acceso a SyRI, y el ciudadano puede consultar el informe a su nombre. Pero no es informado de forma automática de la investigación, según explica la coalición demandante en la web que creó para trabajar en el caso.

El ministerio alegó al tribunal que “el sistema solo liga datos que el Estado ya posee, y dibuja con ellos un árbol de decisión [un modelo de predicción], de modo que no se usa la inteligencia artificial ni tampoco algoritmos de autoaprendizaje”. Por el contrario, el fallo señala que dicha afirmación “no se puede comprobar, porque la legislación que permite el uso de SyRI no es lo bastante transparente”. Los jueces señalaron que no habían recibido suficiente información sobre el sistema, “ya que el Estado mantiene en secreto la forma de calcular la posibilidad de fraude”.

En su reacción oficial al fallo, el ministerio hace hincapié en la necesidad “de comprobar si los servicios y prestaciones de la seguridad social acaban en las manos adecuadas”, para evitar abusos. En un comunicado, añade que el fallo será “estudiado a fondo” para ver si cabe un recurso de apelación. Maxim Februari, un conocido columnista holandés que figuraba entre los demandantes, ha señalado: “El Parlamento deberá pensarlo mejor a partir de ahora, porque si aplicas una nueva tecnología debes fijarte bien en la protección legal del ciudadano”.

2 Me gusta

Un verdad incómoda?

12 Me gusta

No es mejor aceptar la realidad?

4 Me gusta

Es como la noticia del año pasado de “la policía presenta un algoritmo para detectar patrones de denuncias falsas. Also avisan de que no lo van a usar con la viogen” :joy:

11 Me gusta

Joder… Seguro que si el algoritmo hubiera señalado a los empresarios y los banqueros esas asociaciones de “activistas humanos” no hubieran dicho ni pío.

El problema de este tipo de “IA” o algoritmos es que simplemente se dedican a analizar datos y contrastarlos… Decir que la IA es racista es un poco chorra (la IA está confirmando ciertos prejuicios y esa realidad no gusta a algunos).

5 Me gusta

Algoritmo=/=IA

Por otro lado, la IA o el algoritmo no es racista. Es considerar la raza en los parametros comparativos en todo caso.

Hasta el universo parece un algoritmo. Como para no serlo una IA xD

A ver como ejemplo (de lo que conozco) un sistema GAN (generative adversarial network) para hacer una red neuronal normalmente consta de dos partes y se parece mucho a lo que haría un trabajador y un supervisor.

La parte del trabajador intenta “imitar” algo (basada en algorítmos trata de imitar un modelo, una imagen, música… lo que sea) y pasa esa imitación al “supervisor” que compara con el original y entonces el supervisor analiza el trabajo y le dice al trabajador “esta parte esta bien pero esta otra la tienes que desechar y hacer de nuevo porque no se parece una mierda a los modelos originales que tenemos”.

Bueno, pues este proceso se repite millones de veces hasta que los modelos imitados encajan y se pueden hacer pasar por los modelos originales.

En este caso SyRI es una “IA” (lo pongo entre comillas porque aún queda mucho para tener una IA real que piense aprenda y haga y deshaga a su antojo).

PD: Es mas que probable que los datos estén bien (desde luego mucho mejores y más imparciales que los de cualquier ser humano)… El caso es que no gustan los resultados que arrojan.

2 Me gusta

Puede ocurrir que se convierta en una profecía autocumplida. Imagina que un algoritmo decide que eres un criminal en potencia, aunque no hayas hecho nada, y no paran de cerrársete puertas en la vida. Hasta que un día, harto de la situación, decides empezar a delinquir, para salir adelante, y porque ya te han condenado previamente

Se nos esta yendo de las manos lo de las IA racistas.

8 Me gusta

Nah, estoy prevenido, vivo mi vida haciendole caso a un generador de números aleatorios cuántico.

Pero el hecho de que mires los numeros altera el resultado.

What?

Chiste por lo de cuantico. No tiene mas.

Las redes neuronales en las que se basan muchas IAs en la actualidad son algoritmos. Algoritmos que aprenden a clasificar rasgos automáticamente. Otras algoritmos de control o Machine Learning (como Fuzzy Logic, la lógica difusa, muy importante en teoría de control) yo no los consideraría IAs ya que no pueden realizar el proceso de aprendizaje de forma automática a diferencia de una red neuronal.

También depende de la definición de algoritmo que tengas, pero mi entendimiento es que una IA es un algoritmo capaz de clasificar rasgos por si mismo de manera automática (y allí ya lo podemos dividir en supervisado/con ayuda de un ser humano o no-supervisado).

2 Me gusta

El GAN es en mi opinión el algoritmo de Machine Learning más interesante en la actualidad y creo que la investigación en inteligencia artificial debería ir en esa dirección.

Pueden ser muy útiles para campos como la ciberseguridad; para detectar datos falsos inyectados en el sistema informático por un gobierno enemigo y así desestabilizar y dañar infraestructuras críticas (redes eléctricas que incluyen renovables y nucleares y que dependen muchísimo de compartir datos a través de redes de computadoras para mantener estabilidad en el sistema).

Recomiendo leer el articulo de Stuxnet en Wikipedia, que habla sobre los gusanos informáticos que han corrompido sistemas de control iraníes (lo mas probable es que haya sido Israel la responsable):

Stuxnet es un gusano informático que afecta a equipos con Windows, descubierto en junio de 2010 por VirusBlokAda, una empresa de seguridad ubicada en Bielorrusia. Es el primer gusano conocido que espía y reprograma sistemas industriales, en concreto sistemas SCADA de control y monitorización de procesos, pudiendo afectar a infraestructuras críticas como centrales nucleares.

Stuxnet es capaz de reprogramar controladores lógicos programables y ocultar los cambios realizados.​ También es el primer gusano conocido que incluye un [rootkit] para sistemas reprogramables PLC.

La compañía rusa de seguridad digital Kaspersky Lab describía a Stuxnet en una nota de prensa como “un prototipo funcional y aterrador de un arma cibernética que conducirá a la creación de una nueva carrera armamentística mundial”. Kevin Hogan, un ejecutivo de Symantec, advirtió que el 60% de los ordenadores contaminados por el gusano se encuentran en Irán, sugiriendo que sus instalaciones industriales podrían ser su objetivo. Kaspersky concluye que los ataques sólo pudieron producirse “con el apoyo de una nación soberana”, convirtiendo a Irán en el primer objetivo de una guerra cibernética real.​

El objetivo más probable del gusano, según corroboran medios como BBC o el Daily Telegraph, pudieron ser infraestructuras de alto valor pertenecientes a [Irán] y con sistemas de control de Siemens. Medios como India Times apuntan que el ataque pudo haber retrasado la puesta en marcha de la planta nuclear de Bushehr Fuentes iraníes han calificado el ataque como “guerra electrónica” aunque minimizan el impacto de los daños en sus instalaciones. Algunos medios como el norteamericano New York Times han atribuido su autoría a los servicios secretos estadounidenses e israelíes.

El GAN puede servir para detectar y clasificar como falsos datos sintéticos con características reales creados a propósito por un gobierno enemigo para comprometer la infraestructura crítica del país. Estados Unidos actualmente esta invirtiendo mucho en esa área.

1 me gusta

El problema es que también puede servir para lo contrario y crear cosas falsas que parezcan verdaderas :joy:

1 me gusta

Si, básicamente ese es el problema. Aunque también es algo interesante y útil porque el GAN permite a los investigadores entender mejor las propiedades matemáticas detrás de, por ejemplo, la foto de un ser humano.

Aquí un ejemplo, cada cara de persona que se genera al actualizar la página es el completo invento de una red neuronal…

https://www.thispersondoesnotexist.com/

Yo me informé un poco (lo básico) de como funcionan la GAN antes de hacer el par de deepfakes que hice y la verdad es que es muy interesante y sus aplicaciones prácticas abarcan gran cantidad de campos (medicina, seguridad, imagen, sonido, datos, etc).

El futuro tengo claro que va a estar dominado en gran parte por estas tecnologías (que además mejorarán con el tiempo) y no es difícil imaginar como será ese futuro y como cambiaran muchas cosas.

2 Me gusta

Si yo tuviera suficiente conocimiento en finanzas para poder invertir en empresas de tecnología, definitivamente lo haría en empresas que trabajen con IA (empresas que estén trabajando con GAN, por ejemplo) o computación cuántica, con mucha suerte invierto en la próxima Google o Amazon, suena la flauta y me retiro tempranito :joy:, sin tener que trabajar por el resto de mi vida. :joy:

Pero de finanzas soy extremadamente ignorante, tengo en Udemy unos cursos que tengo que completar pronto.

1 me gusta