Marta García Aller nos lleva a 2014, a Florida, donde un juez, junto a un algoritmo decidía sobre las sentencias que debía aplicar a dos personas por robos que a priori parecían menores. Una joven de 18 años era juzgada por robar un patinete, y un hombre de 41, por robar unas herramientas. El resultado del algoritmo concluía que la joven iba a reincidir, por lo que fue condenada, mientras que el hombre no daba indicios de que fuera a reincidir, por lo que fue absuelto. Sin embargo, dos años después, la joven no había cometido delitos, mientras que el hombre fue condenador a ocho años por robar material electrónico en grandes almacenes.
ProPublica publicó una famosa investigación sobre cómo funcionan estos algoritmos. Llegó a la conclusión de que el error no era inocente ni el sistema de inteligencia artificial tan neutral como parecía. La joven era negra, y el hombre era blanco. El algoritmo resultó ser racista. Y sin que se hubiera programado para ello. Al aprender de centenares de miles de sentencias que procesa el algoritmo para determinar posibilidad de reincidencia, resulta que aprendió sesgos racistas de los jueces racistas anteriores. Y sin que fueran conscientes, tipificaba ser negro como agravante. Algo, claro, totalmente ilegal pero que también muchos jueces hacen inconscientemente.