Nueva York auditó su propia ley de contratación con IA. Y suspendió.
Un interventor municipal revisó cómo Nueva York aplica su ley de auditorías de sesgo en IA y halló un sistema apenas funcional. Qué significa esto para las empresas.
La ley de Nueva York sobre herramientas de IA en contratación tiene una teoría sencilla: auditar el algoritmo cada año, publicar los resultados, avisar a los candidatos cuando se use. La agencia encargada de aplicar esa teoría acaba de ser auditada, y el resultado no fue nada favorecedor. Esto importa incluso a empresas fuera de los cinco distritos de la ciudad. Otros estados han escrito sus propias versiones de esta ley mirando primero a Nueva York, y un historial de aplicación tan débil en el original no inspira demasiada confianza en las copias.
El propio interventor de la ciudad halló que el vigilante no vigilaba
Unos evaluadores llamaron a la línea 311 de Nueva York con quejas sobre IA en contratación para ver si llegaban a la agencia correcta. Tres de cada cuatro llamadas nunca llegaron al Departamento de Protección al Consumidor y al Trabajador. Las quejas que sí llegaron no corrieron mejor suerte: las propias instrucciones de la agencia eran confusas, y las quejas solían derivarse internamente al lugar equivocado. Incluso la parte del trabajo que debería haber sido más sencilla —leer las auditorías de sesgo que las empresas deben publicar— salió mal. El departamento revisó treinta y dos de esas auditorías y señaló solo una como no conforme. Cuando la oficina del interventor revisó ese mismo conjunto de auditorías, encontró al menos diecisiete problemas potenciales que la agencia había pasado por alto.
Esa brecha es toda la historia en un solo número. Diecisiete problemas a la vista, en documentos que la ley ya exige publicar, pasados por alto por la agencia cuyo único trabajo es leerlos.
Una aplicación débil no es lo mismo que ninguna ley
Nada de esto cambia lo que exige realmente la Ley Local 144, y es fácil leer la historia de un regulador con dificultades y concluir que las normas todavía no muerden. Esa lectura está al revés. Una agencia que acaba de quedar en evidencia ante su propio gobierno municipal tiene todos los incentivos para ponerse las pilas rápido, y ya se ha comprometido a aplicar la mayoría de las recomendaciones del interventor. Esas correcciones prometidas parecen una lista básica: formar al personal entre divisiones, escribir procedimientos claros y usar de una vez las herramientas de aplicación que ya tenía disponibles a la hora de decidir si una empresa cumple. Que un vigilante necesitara que se lo dijeran es justo la razón por la que la corrección probablemente será severa. Las exigencias nunca fueron opcionales: Nueva York obliga a notificar a los candidatos al menos diez días hábiles antes de usar una herramienta automatizada para evaluarlos, falle la aplicación o no.
Nueva York tampoco es la única jurisdicción vigilando este terreno, y algunas otras piden más que un simple aviso. Las normas de California exigen que las empresas que usan estas herramientas prueben el sesgo de forma proactiva y conserven registros detallados durante al menos cuatro años, sin importar cómo haya funcionado realmente la herramienta. Un negocio que opera en ambos estados no puede tratar ninguno de los dos requisitos como algo teórico solo porque un regulador esté hoy falto de personal y retrasado con su propio manual de trabajo. Hay un matiz fácil de pasar por alto si has externalizado por completo la fase de selección: varios de estos marcos estatales alcanzan también al proveedor que construyó la herramienta, así que la cómoda suposición de que la responsabilidad se queda en quien te vendió el software ya no es segura.
Qué hacer antes de que la fase de aplicación se ponga seria
Empieza por un inventario: enumera cada herramienta que filtra, puntúa o clasifica a un candidato o a una persona empleada, incluso las que nadie llama "IA" porque llevan años funcionando en silencio. Cualquier herramienta que influya realmente en quién avanza es del tipo que esta creciente normativa tiene en mente, la llame como la llame el proveedor.
Después revisa tu propio papeleo como lo hizo el interventor con el de Nueva York. No te limites a confirmar que existe una auditoría de sesgo en algún sitio. Léela, y pregúntate si alguien de fuera, al hojearla, la encontraría de verdad convincente. El estándar que aplica hoy una agencia municipal falta de recursos no es el estándar del que quieres que dependa tu propio cumplimiento. Las agencias van con retraso hoy. Ya han dicho que piensan ponerse al día, y un hallazgo de auditoría tan concreto no es el tipo de cosa que un regulador deja pasar en silencio. Un expediente de cumplimiento capaz de convencer hoy a alguien de fuera vale más que uno que solo habría convencido al revisor falto de recursos de ayer.
