Antes de adentrarme al tema, debo confesar que estoy sorprendida con la poca cantidad de artículos que hay respecto a situaciones que ocurrieron en la pandemia de las cuales podríamos aprender muchas lecciones, desde mi percepción, hay un cierto nivel de negacionismo, como si quisiéramos hacer de cuenta que nada nos pasó.
En fin, lo que te contaré a continuación ocurrió en Reino Unido. La pandemia les obligó a tomar una drástica decisión: la cancelación de los exámenes finales de secundaria, denominados A-Levels. En su lugar, un algoritmo fue el encargado de evaluar a los alumnos y poner las notas finales, una alternativa que generó polémica, críticas e incluso protestas estudiantiles.
El motivo de la controversia es que dicho algoritmo no solo tuvo en cuenta para la evaluación el historial individual del estudiante o las notas de los profesores, sino también otros factores externos como las escuelas de donde provenían, lo que por supuesto, creó mayores desigualdades entre el alumnado más vulnerable.
De acuerdo con un informe de Wired, el 60% de las calificaciones de los exámenes A-Level de ese año se basaron en modelos estadísticos en lugar de evaluaciones realizadas por los profesores. Esto implicó que algunos estudiantes sobresalientes de una escuela con bajo rendimiento vieron afectada su calificación debido a que los estudiantes del año anterior no obtuvieron buenos resultados en sus exámenes.
Finalmente, todo eso llevó a la Oficina de Regulación de Calificaciones y Exámenes a cambiar de opinión y permitir elegir entre la calificación evaluada por el maestro, el resultado del examen simulado o hacer una repetición más adelante en caso de que no estuvieran de acuerdo con la calificación que el sistema les dio inicialmente.
Lo anterior es solo un ejemplo de las muchas formas en que los algoritmos gobiernan cada vez más nuestras vidas y por ahora, dado que mi carrera profesional se centra principalmente en tomar en serio ciertos tipos de críticas sobre la tecnología y los impactos que puede tener, he decidido escribir sobre lo que se conoce como gobernanza algorítmica usando el ejemplo anterior como introducción al cuestionamiento de un argumento: ¿Podríamos usar cada vez más algoritmos para asumir las funciones del gobierno?
Breve historia de la algocracia
Comencemos explorando el término «algocracia» y su contexto histórico. En 1962, Alexander Kharkevich, director del Instituto de Problemas de Transmisión de Información de la Academia de Ciencias de Rusia, publicó un artículo en la revista «Comunista». En él, propuso una red informática para procesar información y controlar la economía, similar a la Internet moderna. Esta propuesta generó inquietud entre los analistas de la CIA, como Arthur M. Schlesinger Jr., quien advirtió sobre la posibilidad de una tecnología de producción radicalmente nueva en la Unión Soviética para 1970, utilizando retroalimentación de circuito cerrado y computadoras de autoaprendizaje.
Más adelante, durante la presidencia de Salvador Allende en Chile, se llevó a cabo el “Proyecto Cybersyn” entre 1971 y 1973. Este proyecto buscaba mejorar la gestión de la economía nacional mediante un sistema distribuido de apoyo a la toma de decisiones. En 1972, los elementos del proyecto demostraron su eficacia al superar el colapso del tráfico durante una huelga de camioneros auspiciada por la CIA.
Del mismo modo, en las décadas de 1960 y 1970, Herbert A. Simon abogó por los “sistemas expertos” como herramientas para racionalizar y evaluar el comportamiento administrativo. Las agencias tributarias también buscaban automatizar los procesos basados en reglas, aunque los resultados variaban. Proyectos influyentes de esa época incluyeron el proyecto TAXMAN de Thorne McCarty en Estados Unidos y el proyecto LEGOL de Ronald Stamper en el Reino Unido. En 1993, Paul Cockshott y Allin Cottrell publicaron el libro «Towards a New Socialism (Hacia un nuevo socialismo)», explorando la viabilidad de una economía planificada democráticamente basada en la tecnología informática moderna.
El juez Michael Kirby expresó su optimismo en 1998 sobre cómo las tecnologías informáticas, como los sistemas expertos legales, podrían evolucionar y tener un impacto significativo en la práctica judicial. En 2006, Lawrence Lessig, conocido por su lema «El código es ley», destacó que la arquitectura del ciberespacio estaba siendo moldeada por fuerzas gubernamentales y comerciales, perfeccionando el control y permitiendo una regulación altamente eficiente.
A partir de la década de 2000, los algoritmos han sido utilizados para el análisis automático de videos de vigilancia. En su libro «Virtual Migration (Migración virtual)» de 2006, A. Aneesh desarrolló el concepto de algocracia, que se refiere a cómo las tecnologías de la información limitan la participación humana en la toma de decisiones públicas. Aneesh distinguió los sistemas algocráticos de los sistemas burocráticos y basados en el mercado.
En 2013, Tim O’Reilly, fundador y CEO de O’Reilly Media Inc., acuñó el término «regulación algorítmica». O’Reilly argumentó que las leyes deben establecer objetivos, derechos, resultados, autoridades y límites, y que las regulaciones deben ser consideradas como herramientas en constante actualización para lograr los resultados establecidos. Además, destacó la importancia de que el gobierno aproveche el potencial de los grandes datos y adopte la regulación algorítmica.
En 2016, John Danaher escribió un artículo llamado “The Threat of Algocracy: Reality, Resistance and Accommodation (La amenaza de la algocracia: realidad, resistencia y adaptación)”, en el que destacaba que una de las tendencias más notables en los últimos años ha sido la creciente dependencia de los procesos de toma de decisiones públicas en algoritmos, es decir, instrucciones paso a paso programadas por computadora para tomar un conjunto dado de entradas y producir una salida.
La pregunta que plantea este artículo es si el surgimiento de dicha gobernanza algorítmica crea problemas para la legitimidad moral o política de nuestros procesos públicos de toma de decisiones. Ignorando las preocupaciones comunes con la protección de datos y la privacidad, se argumenta que el gobierno algorítmico representa una amenaza significativa para la legitimidad de tales procesos.
El artículo aclara la naturaleza de esta amenaza y aborda dos posibles soluciones. Se argumenta que es probable que ninguna solución tenga éxito, al menos no sin arriesgar muchas otras cosas que valoramos sobre la toma de decisiones sociales. El resultado es una conclusión algo pesimista en la que confrontamos la posibilidad de que estemos creando procesos de toma de decisiones que restringen y limitan las oportunidades para la participación humana.
En 2017, el Ministerio de Justicia de Ucrania llevó a cabo subastas gubernamentales experimentales utilizando tecnología blockchain para garantizar la transparencia y prevenir la corrupción. En la conferencia Data for Policy 2017 en Londres, se exploró el tema central de «¿Gobierno por algoritmo?»
Todo este recorrido histórico nos permite ver que ser gobernado por algoritmos se relaciona con una gran cantidad de ansiedades contemporáneas con las que estamos lidiando. Dichas ansiedades giran, sobre todo, en torno a la vigilancia ubicua que se está popularizando en muchos lugares del mundo, lo cual es curioso porque no es nada distinta a la vigilancia algorítmica que ejercen las marcas y plataformas sobre los llamados consumidores.
Lo que es un hecho, es que nos preocupa el uso de algoritmos en situaciones que oscurecen la toma de decisiones políticas, por ejemplo, los algoritmos de sentencia, algoritmos para determinar cuándo alguien debe ser liberado de prisión. También, nos preocupa el desplazamiento de la toma de decisiones humanas en muchos casos, por ejemplo, en el uso de drones autónomos letales, ya que, los algoritmos que se utilizan en equipos militares y en el campo de batalla pueden tener consecuencias letales y, a veces, los humanos pueden no estar involucrados.
Del mismo modo, nos preocupan los escenarios extremos en los que los algoritmos puedan despertar y tener intenciones propias y que todo termine en un escenario tan distópico como Skynet o Terminator.
La pregunta aquí es ¿es algo de esto realmente diferente a los problemas que hemos tenido antes? Así que permítanme comenzar con esta observación que ya he hecho en otros artículos. Los algoritmos en términos muy simples no son más que un montón de reglas de if… then (si… entonces) y las burocracias también son reglas de si…entonces en su mayor parte, es decir, son estructuras de toma de decisiones sobre quién debe tomar decisiones y bajo qué tipo de reglas.
Analizándolo, hemos tenido burocracia durante mucho tiempo. La primera ley algorítmica de la que hemo tenido ejemplo escrito es el código de Hammurabi, básicamente es un conjunto de reglas sobre sentencias, si un hombre destruye el ojo de otro hombre, destruirán su ojo. Si rompe el hueso de otro hombre, entonces le romperán el hueso, un algoritmo bastante claro, con muchos sesgos, por supuesto, ya que también dice que, si un hombre destruye el ojo de un hombre libre o rompe el hueso de un hombre libre, deberá pagar una mina de oro, pero si destruye el ojo de un esclavo o rompe el hueso de un esclavo, puede pagar solo la mitad de este precio, por lo que está muy clara la distinción entre dañar a un hombre libre y a un esclavo.
Así que, desde tiempos inmemoriales nuestros algoritmos han tenido sesgos, lo que demuestra que pueden ser buenos en la medida en que sistematizan cómo lidiamos con situaciones en el mundo, sin embargo, dependen del contexto y de quien los crea.
Por lo tanto, si seguimos esa idea de que los gobiernos ya son algorítmicos, de lo que realmente estamos hablando con la gobernanza algorítmica es la traducción de esas leyes, las reglas trasladadas al silicio y al código, con la intención de hacerlas más rápidas, más transparentes, más confiables, sin embargo, también hay un riesgo de que se vuelvan más difíciles de acceder para muchas personas, en lugar de algo escrito en papel que teóricamente podrías descifrar con mayor facilidad, a menos que seas alguien alfabetizado en materia digital, por lo que tiene algunas ventajas y desventajas.
Aunque como dije al inicio, esto no está lejos de lo que hoy ocurre cuando nos sentamos a ver Netflix, YouTube o cualquier algoritmo que pueda darnos información sobre lo que nos ha gustado en el pasado. Por lo que hay todo tipo de aplicaciones de asesoramiento y orientación algorítmica en nuestro mundo que nos guían en ciertas direcciones.
Así que, de cierto modo, ya hay una gobernanza algorítmica que de manera consciente o inconsciente nos aplicamos a nosotros mismos cuando usamos redes sociales o plataformas como Amazon, YouTube o Netflix.
Algoritmos en la política y el estado
Ahora bien, para retroceder un poco en la historia, la idea de que el estado debería guiarse por reglas impersonales y que sería ideal que los políticos fueran reemplazados por algo más racional, por un algoritmo o incluso por un robot, tiene al menos 250 años, de hecho, la idea ya había comenzado a ganar algo de popularidad gracias a la Ilustración, por ejemplo, la gente de la Ilustración británica que era muy crítica con la pretensión de gobernar por monarcas y que el gobierno de reyes fuera por mandato divino, así que comenzaron a argumentar que la razón era la que debería gobernar y que las leyes y burocracias deberían ser racionales, que deberían tener una base en la conversación humana y en el voluntariado, que los seres humanos deberían entregar voluntariamente su poder a un estado que representara sus intereses, que debería haber consentimiento por parte de los gobernados.
Por lo que exploraron todas estas ideas sobre la democracia y el papel del estado, pero también hubo monarcas en ese momento como Catalina la Grande, quien pensó que esa era la oportunidad perfecta para racionalizar las leyes, limpiar todas las leyes tontas y contradictorias y hacer del estado una burocracia racional. Del mismo modo, filósofos como Hegel pensaron que ese proceso estaba llegando a buen término donde el estado burocrático prusiano podría ser la expresión más alta en el siglo 19 de lo racional.
Por su lado, movimientos socialistas tempranos argumentaron que el capitalismo era irracional que muchas de las formas en que gobernamos nuestros asuntos sociales son irracionales, tomando como ejemplo la forma en la que las mujeres son reprimidas, argumentando que una nueva sociedad construida sobre la racionalidad podría eliminar la propiedad y la propiedad privada al menos en las grandes corporaciones y comenzaron a argumentar nuevas visiones del socialismo.
Incluso, hubo quienes literalmente recurrieron al pasado, analizando Looking Backward, un libro escrito en 1888 en el que Edward Bellamy proyectaba un futuro en el año 2000, en Boston. Era una sociedad utópica donde todos tendrían un trabajo porque serían probados de tal forma que se determinaría cuáles eran sus aptitudes y se les asignaría un trabajo. Todos tendrían una tarjeta en la que se almacenarían sus créditos de trabajo y podrían comprar lo que necesitaran.
Pero Bellamy también se dio la oportunidad de colocar otras cosas fantasiosas allí, como que todos tendrían un teléfono en su apartamento donde podrían escuchar la ópera local, por lo que había algunos elementos tecnológicos en esta novela y la novela tuvo un gran éxito en los Estados Unidos. Había cientos de clubes nacionalistas que se fundaron para tratar de traer a su presente la versión de Edward Bellamy del socialismo.
Más adelante en los Estados Unidos, el leninismo marxista se apoderó del movimiento socialista después de la Segunda Guerra Mundial. La visión marxista leninista era el tipo de visión tecnocrática dominante, argumentaba que la única forma racional de gobernar los asuntos era tener un partido y un estado centralizados que dirigieran la economía. Argumentaron a favor de tipos similares de abolición del capitalismo lo que condujo también a un movimiento de tecnocracia que argumentaba que podríamos tener una economía planificada dirigida por computadoras de algún tipo que eliminarían las irracionalidades del capitalismo.
Max Weber, argumentó hace más de 100 años que la tendencia de todas las sociedades es hacia la burocratización de las reglas irracionales y, por lo tanto, algunos ven esto como el futuro inevitable, el cambio de todas las irracionalidades de los mercados y los asuntos humanos en instituciones burocráticas basadas en reglas, pero entremos entonces en algunos de los inconvenientes.
Anteriormente comenté que los algoritmos pueden hacer las cosas más transparentes y una de las formas de pensar en eso es la libertad de información. Hoy en día, algunos gobiernos tienen leyes que dictan que los ciudadanos pueden solicitar información sobre el funcionamiento del gobierno, incluso información personal de ciertos tipos de funcionarios gubernamentales.
La pregunta es, ¿qué tipo de transparencia aplicada a un gobierno algorítmico podría permitirnos acceder a todo tipo de información? Porque, de hecho, uno de los problemas es que en la medida en que nuestra gobernanza esté dirigida por regímenes totalitarios o por entidades comerciales privadas, esos algoritmos se vuelven inaccesibles para los ciudadanos.
Sin embargo, en una circunstancia deberían ser accesibles y, en una circunstancia ideal, habría personas del lado de los ciudadanos que podrían entender lo que realmente están haciendo, al igual que siempre ha habido ciudadanos que aprendieron lo suficiente sobre la ley y la burocracia para señalar cuándo es injusto y para presionar por mejores leyes e instituciones burocráticas.
Y así es como llegamos al planteamiento de la extinción del estado. Pero para hablar de esto tenemos que necesariamente abordar el creciente de desempleo tecnológico.
El desempleo tecnológico es diferente de la constante rotación de ocupaciones que hemos visto a lo largo de cientos de años, a medida que las nuevas tecnologías como el arado permitieron u obligaron a las personas salir de la granja e ir a las ciudades y luego las nuevas tecnologías en las ciudades los obligaron a cambiar de un tipo de ocupación a otro, hemos tenido el crecimiento de ocupaciones de cuello blanco en todo el mundo industrializado y cada vez más en el mundo “en desarrollo” reemplazando ocupaciones industriales, pero la pregunta es, después de que cedimos de manera voluntaria o forzada nuestro trabajo en la agricultura y luego en una industria y luego comenzamos a vender nuestro trabajo intelectual humano en profesiones de cuello blanco desde profesiones de servicios humanos como enfermería o enseñanza, hasta profesiones altamente intelectuales, cuando dejemos de ser capaces de ceder incluso nuestro trabajo intelectual, ¿qué nos quedará por ceder?
Las próximas dos décadas veremos la rápida introducción de nuevos algoritmos e inteligencia artificial y robótica que reducirán las oportunidades de empleo humano, entonces podemos comenzar a ver el crecimiento del desempleo y justamente una de las situaciones en las que ya se puede ver el fenómeno del desempleo tecnológico está en el tamaño cada vez menor personas en los gobiernos, al menos en Estados Unidos, a raíz de la crisis del 2008, hubo una reducción del empleo federal, estatal y local.
Una de las razones fue que muchas de las funciones de gobierno estaban muy atrasadas en su aplicación de la tecnología, así que esto no es exactamente el marchitamiento del estado que Marx tenía en mente, Marx pensó que la extinción del estado se produciría una vez que elimináramos las distinciones de clase en una sociedad socialista. Habría más conflicto sobre las cosas y, por lo tanto, todas las funciones administrativas del estado serían relativamente suaves y sin fricciones y ya no necesitaríamos policía, etc., esa fue la extinción del estado que Marx y Engels imaginaron, pero creo que estamos viendo un desgaste diferente del estado, que es el marchitamiento de las funciones del estado.
Estamos en un contexto en el que ha habido un aumento global del autoritarismo, diría que también el fascismo, Putin, Duterte, Orban, Bolsonaro, Obrador, hay todo tipo de ejemplos de gobiernos autoritarios que intentan usar las nuevas herramientas de la computación al servicio de su fascismo.
No es que por sí solas las computadoras causen fascismo y este es un punto importante. Las computadoras como cualquier otra herramienta pueden ser utilizadas por los fascistas, el Tercer Reich en Alemania no fue causado por las vías del ferrocarril o por Zyklon B, fue causado por quienes usaron esas herramientas como parte de su gobierno fascista, así que de la misma manera tenemos que estar muy atentos a las formas en que los gobiernos autoritarios están utilizando estas herramientas para vigilar y restringir la libertad en todo el mundo.
Posiblemente hoy en día, el gobierno chino es el ejemplo más extremo, así que hablemos por un segundo sobre ellos, el sistema de crédito social chino, pero recordemos que China ha estado construyendo sobre un sistema de puntaje de deuda que muchos países ya usan. Hoy en día tenemos compañías privadas que hacen esto o si no cómo crees que evalúan tus créditos o tus seguros.
La diferencia es que en China han ampliado esta idea e incluido otras cosas en el algoritmo que se llama puntaje de crédito social, algunas de las cosas que han incluido son cómo pasas tu tiempo, por ejemplo, ¿pasas mucho tiempo jugando juegos de computadora? En ese caso tu puntaje de crédito social disminuye. ¿Gastas mucho de tu tiempo con tus hijos y luego subes una crítica contra Xi Jinping en WeChat? Entonces, el puntaje de crédito baja. ¿Tus amigos critican a Xi Jinping en WeChat? Tu puntaje de crédito también baja.
Es decir, se incluyen todo tipo de cosas en el puntaje de crédito, si caminas imprudentemente, si rompes ciertos tipos de leyes, si te atrapan siendo malo con los animales, hay todo tipo de cosas que pueden afectar tu puntaje de crédito y el problema con eso es que un puntaje muy bajo te impide por ejemplo ir a la universidad u obtener una visa, algo irrelevante hasta este punto, pero en el pasado obtener una visa para viajar internamente dentro de China, podía ser restringido.
Muchas de estas cosas, muchas de estas aplicaciones de algoritmos para determinar quién es un buen ciudadano y quién es malo se pueden ver en formas rudimentarias y más descentralizadas. Como dije antes, en Occidente tenemos sistemas de puntuación de deuda, tenemos cultura de cancelación si has entrado en conflicto con las normas sociales, pero de eso a que un gobierno lo sistematice en un número que determine muchas cosas sobre lo que puedes hacer como ciudadano, es relativamente aterrador.
Es la gamificación del capitalismo y del totalitarismo y si combinas esto con el avance de China en los sistemas de reconocimiento facial; las cámaras de seguridad ubicuas en toda China, en particular en la provincia Uigur, donde han encerrado a un millón de uigures por el delito de ser musulmanes y los han puesto en campos de reeducación, obligando a los funcionarios del Partido Comunista Chino a vivir con familias en algunos casos para monitorear su comportamiento, para determinar quién va a dónde y cuándo, quién va a la mezquita, etc., este tipo de vigilancia se está implementando en toda China, así que creo que la aplicación china de la gobernanza algorítmica es particularmente aterradora, pero es porque China es un estado totalitario, no porque tengan acceso a los algoritmos.
Los algoritmos y la guerra
Luego está el tema de la guerra, este es uno de los temas que también provoca nerviosismo, que pasaría si pudiéramos poner las reglas de la guerra, es decir “la lógica” de la guerra en una máquina, ¿sería mejor obedecer esas reglas de guerra que las de un ser humano? Así que, si pudieras decirle, por ejemplo, a un robot letal nunca dispares a un no combatiente o a un niño y entrenarlo para reconocer a los no combatientes y niños, porque a veces los niños son combatientes, así que ¿qué haces si un niño sostiene un arma, pero es un niño que ya has decidido que no vas a matar? ¿Eventualmente sería más fácil para un robot obedecer esa regla que para un soldado en la misma situación que podría verse amenazado por eso? ¿Eso significaría que no solo morirán menos soldados, sino también, con suerte, menos víctimas civiles colaterales o conflictos?
Ahora bien, también podrían pasar cosas horribles si nos vamos por esta dirección, una de las cuales podría ser que sería mucho más fácil comenzar guerras porque los gobernantes que de otro modo tendrían que explicar y disculparse por las bajas de los soldados. Al regresar del campo no tendrían que pedir las mismas disculpas, no tendrían que disculparse por las escenas de devastación causadas por su guerra en el país en el que están librando una guerra.
El punto es que no creo que el riesgo esté en sacar a los humanos del circuito en términos de decidir quién debe disparar un tiro, hemos tenido armas letales que son autónomas durante mucho tiempo. Hemos tenido, por ejemplo, minas en puertos y como sabemos, las minas terrestres matan a todo tipo de civiles de muchas maneras, la ventaja de un arma autónoma letal, artificialmente inteligente sería que solo mataría a quien realmente quisieras que matara, pero esa es una dirección oscura para pensar.
Sin embargo, quizás esa es la forma en que tenemos que pensar hoy en día, una de las cosas que creo, por ejemplo, de un escenario tipo Terminator, es que ese escenario es en realidad, como en muchos de los casos de la ciencia ficción, una ansiedad desplazada sobre el mundo en el que vivimos hoy. Si te preocupa que las organizaciones suprahumanas con voluntades propias comiencen a determinar nuestros asuntos diciéndole a los seres humanos qué hacer. Bueno, ya existen y se llaman corporaciones y gobiernos, así que en muchos sentidos nuestras preocupaciones sobre la inteligencia artificial que despierta y tiene intenciones y propósitos propios y comienzan a destruir a la humanidad son reflejos de nuestras ansiedades sobre los gobiernos y las corporaciones de hoy.
Estos gobiernos, corporaciones e iglesias se reproducen a sí mismos con el tiempo. La Iglesia Católica es la organización más longeva. En el mundo, cuando un obispo muere, es reemplazado por otro al igual que un corpúsculo o un órgano en un cuerpo, por lo que hay formas en que podemos ver a las organizaciones humanas como superorganismos, al igual que una inteligencia artificial imperialista podría verse en el futuro, así que solo para continuar el paralelo sociológico sobre lo que la inteligencia artificial podría significar realmente y cómo podríamos lidiar con ella, quizás deberíamos pensar que para controlar a las corporaciones se necesita de una organización de poder, tamaño y capacidad similares, ya sea un gobierno, un sindicato o una organización ciudadana.
Si deseamos monitorear los brotes emergentes de la inteligencia artificial, necesitamos una “policía” de la inteligencia artificial, básicamente para monitorearla y asegurarnos de que, valga la redundancia, sea segura. Hoy ya lo hacemos con la forma en que lidiamos con gusanos y virus informáticos, cuando descargamos un software de virus informático en nuestras computadoras y se envía un informe a compañías como McAfee. Es un sistema inmunológico distribuido globalmente, que evolucionando, quizás con el tiempo también detectará los brotes de inteligencia artificial que podrían ser igualmente amenazantes.
Hay un libro bastante peculiar llamado The People’s Republic of Walmart: How the World’s Biggest corporations are Laying the Foundations for Socialism (La República Popular de Walmart: cómo las corporaciones más grandes del mundo están sentando las bases para el socialismo). En él, los autores básicamente señalan que Walmart ha sido pionero en sí mismo en todas las funciones que se necesitarían para la economía planificada. Descubrieron cómo etiquetar todo en su inventario con etiquetas RFID y saben exactamente dónde está cada pieza que tienen que vender en un momento determinado. Poseen algoritmos para determinar dónde se debe enviar cada cosa, de este modo, saben cuándo cierta parte del mundo necesita más papel higiénico, tienen un sistema de inventario que en muchos sentidos es el estado del arte del mundo, su economía es más grande que la mitad de los países del mundo, así que si uno mira a Walmart como un ejemplo del dicho de Marx de que el capitalismo construiría las semillas de su propia destrucción dentro de sí mismo.
Ahora, yo en lo particular, soy bastante descentralista cuando se trata de planificación económica, así que no estoy segura que el “método Walmart” sea la solución pero sí que hay decisiones sobre las que me cuestiono qué hubiera pasado si un algoritmo hubiera interferido, por ejemplo, tenemos el caso de lo positivo que resultó en algún momento para el mundo el tema de alargar vidas, de hecho, las vidas se estaban alargando tan rápidamente y la fertilidad estaba disminuyendo tan rápidamente que para la mayoría de las partes del mundo, no la mayoría, sino muchas partes del mundo, la escasez de nacimientos, la falta de bebés es un problema mayor hoy en día que la superpoblación.
Hay quienes no creen que la superpoblación sea realmente un problema y piensan que probablemente se estabilizará en nuestro pico alrededor de 2050 y luego disminuirá o se mantendrá estable después de eso, tal vez en alrededor de 10 mil millones de personas, pero una de las cosas que es segura es que estamos envejeciendo mucho y si estamos en una situación en la que estamos envejeciendo y las personas mayores son más longevas, entonces habrá mucha presión para aumentar las edades de jubilación, pero si la tecnología está quitando empleos, habrá menos empleos para tener, entonces, ¿dónde se supone que esas personas mayores deben encontrar esos trabajos?
La confluencia de estas dos cosas va a ser muy aguda en los próximos 20 años en el mundo industrializado. Italia, por ejemplo, tiene una tasa de reemplazo de muy baja, por lo que los italianos ya se están reduciendo. Por su lado, los chinos tienen una escasez de mano de obra de jóvenes por lo que están invirtiendo fuertemente en robótica y automatización tecnológica.
A raíz de esta y otras variables, una de las soluciones que se han promovido es la idea del ingreso básico universal, creo que esto es más o menos una respuesta factible dada la disminución de las oportunidades de empleo y el crecimiento de una población de jubilados mayores.
Modelo algocrático
Pero volviendo al punto. ¿Es moralmente aceptable confiar en la automatización cuando se ven afectadas vidas humanas? Dado que los algoritmos son invisibles o incomprensibles para la mayoría de nosotros, ¿cómo podemos confiar en su legitimidad, incluso (y quizás más) si podemos confiar plenamente en su eficiencia?
En este sentido, Aneesh nos presenta un ejemplo sencillo sobre el control del tráfico y el comportamiento de los conductores. Explica que el control a través de semáforos requiere que los conductores cumplan ciertas reglas, como detenerse en un semáforo en rojo, y aquellos que no las obedezcan pueden ser detectados por la policía de tráfico. Este modelo funciona debido a dos razones: la internalización de las normas por parte de los conductores, quienes adaptan su comportamiento, y la amenaza de multas por mal comportamiento.
Este primer modelo representa una organización burocrática, donde cumplir con los semáforos equivale a obedecer las reglas de una empresa o de la sociedad civil. Sin embargo, Aneesh señala que muchos conductores no obedecen las señales de alto o los semáforos en rojo sin ser atrapados por la policía.
Luego existe un segundo método de control que utiliza cámaras de video para filmar el tráfico y registrar posibles infracciones de los conductores. Aneesh explica que las reglas son las mismas que en el modelo anterior, pero cada infracción observada se sanciona con una multa enviada al infractor, junto con una fotografía como prueba. Este sistema tecnológico puede registrar todas las infracciones, convirtiendo la multa en la consecuencia del incumplimiento de una regla. Este modelo organizativo se identifica como panóptico.
Finalmente, está el modelo algocrático que se basa en la construcción de las carreteras. Aneesh utiliza el ejemplo de una infraestructura vial que impide giros o estacionamientos en lugares no designados. En este modelo, no es necesario ser perseguido por la policía o recibir una multa, ya que violar el modelo resulta en un accidente y daño al automóvil.
Aneesh no expresa ninguna opinión personal sobre estos tres modelos de gobernanza, simplemente afirma que todos tienen ventajas y limitaciones, y funcionan de diferentes maneras. Los semáforos pueden fallar, las cámaras pueden tener problemas de legibilidad y algunos vehículos pueden superar las barreras físicas de control de tráfico.
Sin embargo, después de analizar el poder de los algoritmos, queda claro que el futuro de una posible sociedad algocrática captura la atención de Aneesh. Explica que mientras las burocracias guían nuestras acciones hacia normas específicas, las algocracias predeterminan la acción hacia resultados específicos.
Como ejemplo actual, menciona que desconocemos los algoritmos utilizados por Google o cualquier plataforma, pero estos algoritmos definen de antemano nuestro campo de acción. Este efecto de la algocracia también se aplica a nuestras identidades, como identidades financieras, identidades de compra e incluso identidades médicas, las cuales son construidas algorítmicamente por diferentes sistemas sin nuestro consentimiento o participación.
Desde mi perspectiva, no podemos depender de los algoritmos al cien por ciento. No tienen la capacidad de facilitar nuestras decisiones y, de hecho, pueden intensificar la polarización.
En última instancia, vivimos en una sociedad humana. Por lo que no deberíamos renunciar a nuestro lugar en la mesa para permitir que los algoritmos simplemente hagan su trabajo. Los datos que les permitimos utilizar y los modelos que les permitimos calcular deben ser áreas en las que los humanos tengan voz.
Es decir, cada proceso basado en datos debería permitir la intervención y el control humanos. “Esto protegería contra el problema de la opacidad y nos permitiría aprovechar los beneficios de los sistemas algocráticos”. (Danaher, J. 2016)
Así que quizás antes de pensar en una algocracia debemos replantear el sistema actual.