Robert Williams
Detroit, MI
Detenido 30 horas después de que el reconocimiento facial coincidiera su licencia de conducir vencida con imágenes de vigilancia. Era solo la novena mejor coincidencia. El acuerdo de junio de 2024 exige a la policía de Detroit auditar todos los casos desde 2017.
Brecha expuesta
La salida de un único algoritmo se trató como identificación. No hubo mecanismo para mostrar que era apenas la novena mejor coincidencia. Los investigadores nunca vieron el ranking de confianza.
Respuesta de Public Safety
El razonamiento en conjunto entre múltiples modelos habría mostrado un consenso débil, activando automáticamente requisitos de investigación adicional antes de cualquier acción de arresto.