Abran las cajas negras

Creer que por sí mismas las máquinas van a tomar decisiones justas es el equivalente hoy al clásico error liberal de pensar que los mercados se regulan solos

En el Senado francés se está debatiendo estos días si se debe exigir por ley que la Administración explique los algoritmos que utiliza en sus aplicaciones. Miles de estudiantes se quejan de que la plataforma que gestiona su admisión en la enseñanza superior, Parcoursup, ha sido programada con criterios sesgados. Supuestamente, favorece a los estudiantes con más información y, en definitiva, con más recursos. Y, aunque hace dos años que la Ley Digital exige la transparencia algorítmica en Francia, esta no se da ni por parte del Gobierno ni de las empresas.

Omnipresentes e invisibles, los algoritmos determinan cada vez más nuestro día: qué películas nos propone Netflix o cuánto nos cuesta una reserva de hotel. Gracias a ellos se pueden gestionar cantidades enormes de información de manera más eficiente. Pero también pueden terminar discriminando por cómo han sido programados. Un ejemplo que da Marta Peirano en El enemigo conoce el sistema es el de David Dao, un pasajero al que sacaron a rastras de un avión en abril de 2017. Había pasado todos los controles de seguridad en el aeropuerto de Chicago y estaba esperando el despegue cuando las azafatas llegaron a echarle. Se negó y los agentes de seguridad terminaron sacándolo por la fuerza. United Airlines había vendido demasiados billetes y sobraba alguien. Un algoritmo había determinado que fuera Dao y no otro el expulsado. Él no era tan valioso para la aerolínea como un titular de la tarjeta de viajero frecuente. ¿Usaron también datos socioeconómicos, religiosos o raciales? Se desconoce, porque el algoritmo es secreto.

Los sistemas de decisión algorítmica que tengan un impacto en los derechos de las personas deberían ser transparentes.

Problema: la transparencia siempre suena bien como valor exigible, pero habrá situaciones en las que no se pueda explicar un algoritmo. Para empezar, no es sencillo obligar a las empresas a poner su código a disposición del público; sería violar su propiedad intelectual y aniquilar la innovación. Pero, además, algunos son árboles de decisión sencillos, basados en reglas ordenadas. Otros son redes neuronales que no controlan ni quienes los han programado. Sus autores solo pueden probarlos una y otra vez hasta que entienden que las máquinas están haciendo lo que deben hacer.

Una de las posibles soluciones es pedir que se rindan cuentas, no ante los ciudadanos, sino ante una autoridad independiente, quizá supranacional, sin ánimo de lucro y formada por expertos. Están naciendo iniciativas como OdiseIA en España para analizar el impacto de la inteligencia artificial y asesorar al sector público y privado. Pretenden crear un sello de calidad para quienes cumplan ciertos estándares de transparencia. Es el momento de poner la ética en la agenda. Creer que por sí mismas las máquinas van a tomar decisiones justas es el equivalente hoy al clásico error liberal de pensar que los mercados se regulan solos.