Carissa Velis, filósofa: «La IA presenta las predicciones como hechos, y esto tiene profundas implicaciones éticas» | Tecnología

En 2020, un filósofo latinoamericano de treinta años irrumpió en Debate global sobre el impacto de la tecnología.. en su libro La privacidad es poder (Destino), Carissa Velis (Ciudad de México, 40) describió por qué es inaceptable que el capitalismo de vigilancia implique una invasión constante de la privacidad. Su enfoque fresco y riguroso lo convierte en un ensayo de referencia sobre el tema. Seis años después, el profesor de filosofía de la Universidad de Oxford regresó a las librerías con Profecía (Profecíaque saldrá a la venta en España en junio durante el debate).

Su nuevo trabajo examina vívidamente cómo las estadísticas y los pronósticos, ahora ampliamente utilizados por la inteligencia artificial (IA), son herramientas de poder que dan forma al mundo. «Las previsiones muchas veces son órdenes disfrazadas de búsqueda de conocimiento. Toda la economía del dato se ha desplegado porque queremos predecir, de lo contrario no perderíamos tiempo y energía en ello», explica a EL PAÍS mientras conduce por Madrid.

Preguntar. ¿Qué tiene de atractivo la profecía?

Responder. En los últimos años, he notado una cultura emergente de adivinación relacionada con la inteligencia artificial. Él aprendizaje automático inspira el tipo de pensamiento probabilístico que surge simultáneamente con mercados de predicción y presenta las predicciones como hechos. Esto tiene profundas implicaciones éticas.

PAG. En el libro, sostiene que una de las perversiones de las predicciones es que pueden servir para dar forma al mundo, para hacerlas realidad.

r. Tendemos a ser muy ingenuos con las predicciones, y mi hipótesis es que esto es en parte una ilusión del lenguaje, porque las predicciones suenan como hechos, como si fueran descripciones del mundo, pero cuando las analizas filosóficamente, te das cuenta de que no lo son. En particular, las predicciones sobre las personas afectan a las personas porque influyen en nuestras expectativas, y las expectativas moldean en parte el mundo. Por tanto, tienen una fuerza de atracción magnética.

PAG. También dice que aunque la historia de las matemáticas se remonta a miles de años, el estudio de la probabilidad es un desarrollo muy reciente.

r. Sí. Los griegos, por ejemplo, estaban muy avanzados filosófica y matemáticamente, pero no desarrollaron las matemáticas de la probabilidad. No sabemos por qué, pero una hipótesis que me parece muy plausible es que es incompatible con pensar en los dioses y el destino. Si crees que el destino está escrito y que los dioses deciden, no tiene sentido pensar en la probabilidad como algo matemático.

PAG. Establece un paralelo entre el surgimiento de las matemáticas probabilísticas y los censos y cómo ambos fueron herramientas importantes del colonialismo.

r. Creo que es muy importante comprender las raíces del desarrollo de las estadísticas de población. Origen: Francis Galton. Esto es realmente sorprendente porque descubrimos la curva normal de dos maneras independientes: una es la forma de apostar, dar y apostar, y la otra es el estudio de las estrellas. Dado que es muy difícil medir el espacio entre estrellas debido a la presencia de nubes o al movimiento del cielo, surge una idea de la distribución de los errores de medición. Es sorprendente que alguien haya pensado en utilizar esta herramienta para resolver problemas sociales. Y no de cualquier manera, sino de una manera muy normativa, imponiendo cuestiones de normalidad a las personas. Si no encajas en la idea de normalidad, eres un desviado. De hecho, tiene que ver con el colonialismo, con el control primero de la población en la que menos confiamos y luego de la población en su conjunto.

PAG. Ésta es una de las ideas de su libro: los orígenes de la estadística tienen mucho que ver con el control social. Y son un instrumento de poder. ¿Porque?

r. Porque una predicción que suena como un hecho si convences a la gente de que es el futuro es en realidad una forma de crear el futuro que deseas. Hay afirmaciones que parecen describir la realidad, pero en realidad transmiten orden. Cuando escuchamos una predicción y la aceptamos como un hecho, en realidad la estamos obedeciendo.

PAG. Sostiene que categorizar a las personas destruye la idiosincrasia de las personas. Y esta IA lleva este proceso al extremo.

r. Exactamente. Ver a las personas como meros números es deshumanizarlas. Llega un momento en el que la gente tiene que adaptarse a estas categorías, y no al revés. Si nos fijamos en las profesiones en Francia antes de la llegada de las estadísticas, eran muy flexibles y cambiantes. La persona podría ser mitad carpintero, mitad herrero u otra cosa. Pero cuando el gobierno establece ciertas categorías y crea los subsidios correspondientes, si no encajas en esa categoría, empiezas a sufrir las consecuencias. Entonces el carpintero se convierte en simplemente un carpintero y las estadísticas funcionan mucho mejor, pero a costa de crear una realidad que hay que describir. Las estadísticas nunca son neutrales.

PAG. ¿Por qué surgió esta burocracia?

r. Confiamos en los números porque no confiamos en las personas y olvidamos que son las personas quienes deben elegir y crear los números. Por otro lado, una vez eliminada la realeza, cuya justificación era la gracia divina, los burócratas se sienten vulnerables porque tienen que demostrar que valen algo, que tienen una razón de existir. Se proporcionan números como justificación. El uso de procesos automatizados genera menos responsabilidad porque ya no sabes a quién contactar. Cuando algo sale mal, todos se esconden detrás del coche. Esta entidad impersonal que hemos construido se vuelve como un monstruo con vida propia que empuja a la gente de aquí para allá.

PAG. Criticas que una afirmación que tiene números detrás parece más válida que otra que no los tiene. ¿Porque?

r. Si quieres hacerte famoso en los círculos científicos, haz una predicción sobre algo y asígnale un número, no importa de dónde lo saques. En muchos casos tener un número no sólo no ayuda, también es confuso porque hace que parezca que estamos hablando de la realidad, y si es un número completamente fabricado, entonces lo que hace es confundir y confundir a la población.

PAG. La IA se basa en predicciones hechas a partir de datos que a menudo son en sí mismos una predicción. ¿Deberíamos ver la IA como un castillo de naipes gigante?

r. Completamente. Y cuantas más ilusiones tengamos de que todo es predecible y de que lo tenemos todo bajo control, más ciegos estaremos ante el hecho de que la IA también genera sus propios riesgos, y que estos riesgos son de naturaleza sistémica y no pueden cuantificarse.

PAG. ¿Cómo podemos salir de esta situación?

r. Necesitamos ser mucho más inteligentes en el uso de los pronósticos. No estoy diciendo que no debamos usarlo. Me gusta saber cómo estará el tiempo mañana, pero debemos ser conscientes de lo que se puede y lo que no se puede predecir. Necesitamos centrarnos más en construir una sociedad sostenible y menos en hacer previsiones. Por ejemplo, sabemos que tarde o temprano habrá otra pandemia. No sé por qué no hemos visto un aumento significativo en la ventilación de los edificios en los últimos años. En lugar de dedicar recursos a predecir cosas que no se pueden predecir, podríamos centrarnos en lo que ya sabemos que puede suceder.

PAG. ¿Una predicción dice algo sobre el mundo o lo que sabemos o no sabemos sobre él?

r. Cuando las predicciones varían enormemente, como es el caso del futuro de la IA, es señal de que no estamos diciendo nada, de que en realidad no tenemos idea. Otro punto importante: uno puede ser experto en algo, pero eso no le convierte en experto en el futuro de ese algo. ¡El futuro es desconocido, no está escrito! Yo, por mi parte, sé sobre privacidad, pero si me preguntas sobre el futuro de la privacidad, no sé más que nadie. No debemos caer en la trampa de que habrá expertos en el futuro, incluso si el orador es un premio Nobel.

PAG. También se describe el papel del utilitarismo y de los altruistas eficaces como mecanismo de burocracia.

r. Hace algún tiempo releí a Charles Dickens. En general, no le gustaban los utilitaristas por muy buenas razones. Han tenido un éxito increíble a la hora de persuadirnos a pensar en la moralidad de determinadas maneras. Tendemos a pensar así intuitivamente porque a lo largo de los siglos nos han adoctrinado exitosamente con la idea del análisis costo-beneficio, que los hábitos morales se pueden convertir en una suma. Criticar a los utilitaristas es importante porque tienen una larga historia de influencia en las políticas públicas. Los altruistas eficaces que argumentan que es éticamente aceptable hacerse inmensamente rico porque así pueden ayudar a más personas con sus donaciones están ahora un poco más tranquilos (uno de sus mayores partidarios). Era Sam Bankman-Fried, un criptomillonario. que cumple una condena de 25 años a partir de 2023 por defraudar a sus clientes por valor de 8.000 millones de dólares). Pero volverán. Ésta es la base perfecta para justificar por qué los multimillonarios hacen lo que hacen.