Probablemente también necesitemos tools to detect tools that wrongly detect racism and sexism.

La herramienta de Amazon tenía la misión de decidir «where [Amazon] should offer free same-day delivery service to reach the greatest number of potential Prime customers». Es posible que los barrios con mayor potencial de usuarios de Prime sean mayoritariamente blancos (o mayoritariamente jóvenes, o mayoritariamente protestantes, etc). Esas tendencias no son discriminatorias per se. Son fenómenos demográficos que no decide Amazon. Si el sistema estaba diseñado para identificar esos barrios, y precisamente se excluyó información sobre la composición racial de los mismos como input a propósito, ¿qué herramienta podría ser menos racista que eso?