Un software de inteligencia artificial para seleccionar personal rechazó a un mismo postulante en más de cien procesos de contratación en Estados Unidos. Cuando el afectado demandó, un tribunal le negó el acceso a las pruebas internas con que la empresa proveedora había medido los sesgos de su sistema.
El caso fue visto por Pedro Cea Saavedra, abogado e investigador del Núcleo Transdisciplinario de Regulación de la Convergencia Digital, quien investigó durante el último año el sesgo algorítmico. Su punto de partida es que estos sistemas aprenden de registros acumulados durante décadas de discriminación por raza, sexo u otras condiciones, y tienden a repetir esos patrones. “Pocos podemos negar la discriminación de los años cincuenta, sesenta u ochenta, y esos son los datos con los que se han entrenado los modelos de inteligencia artificial”, sostiene el investigador.
En Chile, la Ley 21.719 de protección de datos personales, publicada en diciembre de 2024, reconoce el derecho de las personas a oponerse a decisiones basadas en el tratamiento automatizado de sus datos cuando estas les producen efectos jurídicos o las afectan significativamente. La norma debía comenzar a regir el 1 de diciembre de 2026, pero un proyecto del Ejecutivo ingresado al Congreso a fines de agosto propone postergar esa fecha hasta el 1 de diciembre de 2027.
Mientras la reforma no entre en vigencia, se mantiene el régimen de la Ley 19.628, vigente desde 1999, advierte Cea.
Cómo filtra un algoritmo de contratación
Los sistemas de preselección ordenan y descartan currículos antes de que intervenga un reclutador. Si el modelo aprendió de contrataciones pasadas en que ciertos perfiles quedaban fuera, puede penalizar la edad, el origen o una condición de salud aunque nadie lo haya programado con ese fin. El postulante recibe solo el resultado, y la empresa que contrata tampoco conoce necesariamente qué variables pesaron en cada descarte.
Ante los cuestionamientos, las compañías tecnológicas suelen invocar el argumento de la caja negra, según el cual una decisión de la inteligencia artificial no puede explicarse porque su proceso interno es inaccesible. Un modelo de inteligencia artificial, sin embargo, es un procedimiento matemático, y existen técnicas de ingeniería inversa que permiten aproximar, a partir de los resultados, qué ocurrió cuando el algoritmo procesó los datos.
“Se asume que, porque no entendemos exactamente lo que hizo la inteligencia artificial, estamos viendo magia; eso parte de una falacia de base, y es una defensa muy débil”, explica Cea Saavedra. El académico distingue entre transparencia, que informa qué hizo un sistema, y explicabilidad, que da cuenta de por qué lo hizo y con qué criterios. Un reporte que indica cuántas solicitudes fueron descartadas cumple con la primera condición, pero deja sin respuesta la segunda.
Su propuesta mantiene en reserva el código de los programas y los secretos industriales de las empresas, y les pide explicar cómo se llegó a una decisión concreta. Cuando esa explicación exacta no sea posible, plantea recurrir a matemáticos que construyan modelos inversos capaces de aproximar la fórmula que produjo el resultado.
El caso Mobley contra Workday
Derek Mobley postuló a más de cien empleos y fue rechazado en todos, pese a cumplir con la formación y la experiencia que exigían los cargos. Según expuso el abogado Pedro Cea, el postulante reunía tres características que la legislación de Estados Unidos y de California protege frente a la discriminación laboral: era afrodescendiente, tenía 40 años y había sido diagnosticado con ansiedad y depresión antes de postular.
Las empresas a las que Mobley envió su currículo compartían un mismo sistema de preselección, provisto por la compañía Workday Inc. El postulante presentó una demanda individual ante una corte federal del norte de California, y cuando otras personas detectaron el mismo patrón en sus propias postulaciones, la causa se transformó en una acción colectiva contra la proveedora del software.
Antes del juicio, el sistema judicial estadounidense abre una etapa en la que cada parte solicita a la otra los documentos que podrán usarse como prueba. Los demandantes pidieron las auditorías con que Workday había medido posibles sesgos de su herramienta, y la empresa respondió que esos materiales eran confidenciales porque la revisión había sido conducida por sus abogados. En mayo de 2026, el tribunal aceptó ese argumento.
“Por un mero tecnicismo legal, porque hubo un abogado involucrado, el tribunal aceptó que se excluyera esa prueba, y no hubo acceso al proceso algorítmico”, precisa el investigador.
La defensa sumó un segundo argumento, que Pedro Cea describe como el “problema de la papa caliente”. La empresa que contrataba atribuía la selección al software, mientras la proveedora sostenía que la decisión final correspondía al empleador. Esa división de responsabilidades deja al postulante sin un interlocutor claro, y según el abogado reproduce la lógica que invocan las redes sociales cuando se presentan como simples intermediarias entre quien publica y quien resulta afectado.
Para el académico, el caso muestra un problema de diseño en el acceso a la información. Quien se siente discriminado debe acudir a tribunales y demostrar la responsabilidad del sistema antes de obtener los datos que le permitirían probarla. Esa exigencia se vuelve más difícil frente a compañías de escala global, con recursos legales que superan a los de cualquier postulante individual. “Estamos hablando de supercorporaciones frente a las que nuestros tribunales poco pueden hacer, e incluso los tribunales norteamericanos, supuestamente más fuertes, tienen problemas”, afirma el abogado.
