Por: Luis Felipe Navarrete Echeverría
-Sr. Marks, por la autoridad de la División de Precirmen está arrestado por el futuro asesinato de Sarah Msrks y Donald Dubin que se iba a realizar a las 8:04 am
– ¡No¡ Yo no hice nada…
Minority Report
I
En el año 2013 se presentó un caso clave en el cuál, los programas de I.A para prevención de crímenes fueron relevantes para la formalización de una condena. En la ciudad de La Crosse, fue arrestado Eric Loomis a causa de sospecha por estar involucrado en un tiroteo. Al momento de establecer la sentencia, la corte tuvo en cuenta el informe de resultados del programa de análisis Compas (Correctional Offender Managments Profiling for Alternative Sanctions) en el cual se señalaba que los registros de Loomis indicaban una posibilidad alta de reincidencia, dato que fue crucial para el aumento de la condena al momento de la emisión del fallo[1].
II
La compañía PredPol, señala los elementos y características de los programas de prevención de eventos críticos[2]:
- PredPol utiliza un algoritmo de aprendizaje automático para calcular predicciones
- En el cálculo de la predicción se utilizan 3 puntos de datos: tipo de delito, ubicación del delito y fecha / hora del delito.
- Cree sus propias cajas personalizadas utilizando el modelo de terreno de riesgo o la inteligencia única de su agencia
- PredPol utiliza un enfoque basado en datos para dirigir las operaciones de patrulla
- Predecir dónde y cuándo es más probable que ocurran delitos específicos
- Patrullar proactivamente para ayudar a reducir las tasas de criminalidad y victimización
Este tipo de programas se han introducido y enraizado en las narrativas maestras en pro de la justicia, la armonía social y la vitalidad del acompañamiento de tecnologías digitales para garantizar la paz. Big data como elemento nuclear de estas prácticas ha afianzado a su vez la idea de la matemática como sustento de neutralidad y cientificidad de estas herramientas de vigilancia; de hecho Jeff Brintingham –uno de los fundadores de PredPol- resalta la especificidad de los elementos desde los cuales se parametrizan y proyectan los niveles de probabilidad, así como los indicadores de discriminación y clasificación de datos. Terminan de ganar confiabilidad en relación a sus criterios de evaluación, siendo uno de ellos la eficiencia:
La Policía de Memphis, Estados Unidos, afirma que gracias al big data ha reducido los delitos serios en el 30 %, con un descenso del 15 % en sucesos violentos. En Richmond, la capital del estado de Virginia, la policía logró una caída de casi el 30 % en crímenes violentos y homicidios, para una determinada área y en un período de 12 meses. Ambos departamentos policiales utilizan sistemas de IBM para predecir los delitos También en Estados Unidos, la ciudad de Reading, en Pensilvania, registró una disminución de delitos tras instalar un software predictivo. En 14 meses los robos se redujeron en el 23 %, pese a que la policía contó con menos efectivos. La clave estuvo en el algoritmo de PredPol, una startup californiana que usa big data para predecir cómo se comportará la delincuencia. [3].
Estos “óptimos” indicadores hacen mella en las representaciones sociales que se forman a favor del uso de estos programas de I.A y la manera en que se pueden extender acciones objetivas por parte de las policías predictivas[4]. Y es que es precisamente la referencia al uso de elementos estadísticos lo que recrea el imaginario de confiabilidad y la pertinencia de estos insumos para la justicia, que resulta “claro” en la aplicación de sistemas inteligentes que se centran es en los acontecimientos y las posibilidades de reincidencia en estos (Romeo, 2018: 43) .
III
Ha sido tal el “éxito” de estas iniciativas, que en Colombia se ha acogido de manera festiva la ejecución de proyectos de este tipo.
Por ejemplo, en una columna de opinión para el diario la República[5] – Colombia- el abogado y político David Luna hace un llamado a acoger el usos de estos instrumentos de predicción que han sido fructíferos en Norteamérica, aludiendo a la disminución de los crímenes, volviendo a la “simpleza y facilidad” del procesamiento de la información, la confiabilidad de la acción de “machine learning” y su apoyo o potenciación a las “habilidades policiales” para configurar lo que él llama “un modelo de vigilancia inteligente” (por ejemplo, explica, resultaría clave la extensión de “cámaras públicas y privadas”).
Ya en su momento, la alcaldía de Bogotá contaba con alegría la adquisición de drones de última tecnología para reforzar la seguridad en la ciudad[6] (en una serie de proyectos que han contado con el auspicio del Banco Mundial). En uno de sus portales oficiales resaltan el avance y el “desarrollo” que estos instrumentos significan. Señalaba el por entonces alcalde de Bogotá, Enrique Peñalosa:
“Hoy estamos presentando estos drones para la Policía. Esto pone a Bogotá como una de las ciudades más avanzadas en todo el sistema de videovigilancia, estos equipos sirven para supervisar zonas de alta aglomeración, para identificar a los vándalos cuando se presentan manifestaciones[7], vigilar accesos en las estaciones de TransMilenio, será una vigilancia silenciosa, pero efectiva para la ciudad”,
[1] Para ampliar información sobre el caso y los debates surgidos, ver: https://www.bbc.com/mundo/noticias-37679463. También: https://www.lavanguardia.com/tecnologia/20190318/461013536935/inteligencia-artifical-vigilancia-predictiva-policia.html
[2] Ver: https://www.predpol.com/
[3] Tomado de: https://www.unidiversidad.com.ar/la-herramienta-que-permite-saber-cuando-y-donde-se-va-a-producir-un-delito
[4] Ver: https://www.bbc.com/mundo/noticias-39883234
[5] Ver: https://www.larepublica.co/analisis/david-luna-400682/policia-predictiva-2848252
[6] Ver: https://bogota.gov.co/mi-ciudad/seguridad/drones-para-la-seguridad-en-bogota
[7] El subrayado es propio. Lo uso para hacer énfasis en la delimitación de una acción que ya el alcalde considera delictiva : las manifestaciones, señalamiento que ya deja ver los prejuicios que se van enraizando en el uso de estos programas y herramientas.
Imagen tomada de: https://bogota.gov.co/mi-ciudad/seguridad/drones-para-la-seguridad-en-bogota
En este mismo informe se señala que los drones estarán operando de manera articulada con grupos antinarcóticos y que se han realizado procesos de entrenamiento a agentes de la policía para su funcionamiento. Se explicaba, en relación a su funcionamiento:
“estos drones disponen del sistema de transmisión de video integrado por las cámaras Zenmuse Z30 y la termo gráfica Zenmuse XT que, según su fabricante, tienen la capacidad de brindarle a sus operarios conciencia circunstancial de situaciones potencialmente peligrosas” [1]
[1] Información tomada de: https://www.infodefensa.com/latam/2019/06/21/noticia-colombia-refuerza-seguridad-ciudadana-cinco-drones.html#:~:text=Foto%3A%20Alcald%C3%ADa%20de%20Bogot%C3%A1.&text=La%20Polic%C3%ADa%20de%20Colombia%20ha,cercana%20a%20los%20553.000%20d%C3%B3lares.
Imagen tomada de: https://bogota.gov.co/mi-ciudad/seguridad/drones-para-la-seguridad-en-bogota
Imagen tomada de: https://bogota.gov.co/mi-ciudad/seguridad/drones-para-la-seguridad-en-bogota
Otra experiencia “paradigmática” en la ciudad se dio con la propuesta para la seguridad en Bogotá realizada por el candidato Miguel Uribe, quien se enfocaba en el uso de herramientas digitales de vigilancia concentradas en “ciertos barrios” y el uso de drones que contribuyeran a erradicar la economía informal y la explotación de “espacios públicos” (aquí no se precisa si es el micro tráfico o las personas que venden dulces o empanadas en las aceras). Enfatizaba entonces:
Imagen tomada de: http://www.ideaspaz.org/especiales/seguridad-candidatos/
IV
Esta serie de procesos de vigilancia y predicción basada en el funcionamiento de IA y clasificación por algoritmos debe ser revisada críticamente, pues los discursos de éxito (que se festejan desde perspectivas conservadoras – y desde las derechas políticas, por ejemplo, en Colombia) suelen omitir (algunas veces conscientemente) los problemas que representan estos sistemas predictivos.
- Borramiento de la privacidad y paradojas de la democracia: El crecimiento en los procesos de inversión económica para el desarrollo de tecnologías de vigilancia ha sido un rasgo característico de la política de nuestro tiempo. El problema se abre en relación a la democracia, cuando en razón de su defensa, se empiezan a borrar los linderos de la privacidad y la legitimidad de la intrusión en las vidas de los ciudadanos, lo que termina haciendo evidentes procesos de opresión; ya Armand Mattelart (2009) , señalaba como en acciones como el USA Patriot Act, se hacían evidentes los procesos de mejora tecnológica para garantizar una vigilancia cada vez más profunda , que además, a partir de sus resultados, terminaba por fortalecer acciones de intolerancia.
- Panóptico digital: La I.A y la Big Data se hacen centrarles en los procesos de administración de la sociedad y hace de la predicción y el control, los lineamientos nucleares de la gubernamentalidad. Byung Chul-Han señala: “Frente al mensaje de Apple, el año 1984 no marca el fin del Estado vigilante de Orwell, sino el comienzo de una nueva sociedad de control que lo supera con creces en eficiencia. Comunicación y control coinciden totalmente” (2014).
- ¿Quiénes operan estos sistemas? En el anuncio del exalcalde Enrique Peñalosa, resulta curioso el señalamiento de la operación de los drones sobre las manifestaciones, al igual que en el proyecto de Miguel Uribe de centrarse en algunos barrios (los drones generaban imágenes de posibles delincuentes, a partir del registro en los sistemas de imágenes de jóvenes de barrios pobres de Bogotá). En este punto es crucial cuestiona la alabada “objetividad” de estos programas y revisar las matrices ideológicas y los prejuicios que vienen enraizados en los protocolos, programación en interfaces de éstos.
Volviendo al caso Loomis, uno de los cuestionamientos que se expresó para apelar al error del fallo, estuvo relacionado con el manejo de los datos, pues no suelen conocerse los criterios de clasificación y, los puntajes, suelen ser secretos.
- Ensanchamiento de la discriminación: La proyección de los algoritmos de estos programas, pueden estar concentrados sobre ciertas capas sociales y reproducir formas de discriminación ya existente. Por ejemplo,O’Neill (2016) muestra como hay una concentración en los barrios pobres, una persecución constante sobre los “posibles” reincidentes y la omisión de los delitos de las clases altas. Esto da cuenta de cómo estos programas suelen ser el sueño o ideal para algunos y la pesadilla para pobres, negros, etc. Esta problemática se amplía cuando se empieza a establecer procesos de eugenesia o distribución que permite la eliminación de la vida de algunas personas “peligrosas” para el sistema (volviendo al homo-sacer planteado por Agamben).
- El retorno de las pseudo ciencias: Los niveles de “objetividad” y “cientificidad” suelen actualizar elementos que la misma ciencia ha deslegitimado como la frenología; recordemos las tipologías elaboras por C. Lombroso y la apelación a las medidas de los cráneos para determinar la propensión al delito. Esto fortalece la revisión sobre cuán smarts son estas formas de acción policial.
- Revisión: El análisis de las imparcialidad, imprecisión y otros problemas de herramientas vendidas por compañías como PredPol, ha generado movimientos de resistencia comoStop LAPD –un colectivo que rechaza formas de espionaje en algunos estados de Norteamérica- y que ha expuesto como estos programas se centran en la persecución de minorías, generando formas de segregación.
En esta revisión se abre la posibilidad de pensar cómo estos sistemas de Inteligencia Artificial y predicción basada en algoritmos genera nuevas formas de violencia, discriminación y abuso en nombre de la justicia, es decir, fomenta del lado de la institucionalidad, un problema social que se pretende corregir, haciendo que estos sistemas sirvan como justificación a formas de abuso en nombre de la institucionalidad.
Referencias
Chul-Han, Byung (2014): Psicopolítica. Neoliberalismo y nuevas técnicas de poder. Barcelona: Herder
Mattelart, A. (2009) Un Mundo Vigilado. Editorial Paidós
.
O’Neil, C. (2017) , ARMAS DE DESTRUCCIÓN MATEMÁTICA. CÓMO EL BIG DATA AUMENTA LA DESIGUALDAD Y AMENAZA LA DEMOCRACIA, Editorial Capitán Swing, Madrid,
Romeo, C. (2018) Riesgo, procedimientos actuariales basados en Inteligencia Artificial y medidas de seguridad. R.E.D.S núm, 13.