Evaluar las salvaguardas de IA es tan crucial como evaluar los modelos que protegen
From Evaluation to Guardrails: What We Brought to ACM FAccT 2026
En ACM FAccT 2026, Mozilla.ai demostró que las salvaguardas de IA requieren el mismo escrutinio que los modelos. Su tutorial mostró cómo las evaluaciones contextuales y específicas por idioma, combinadas con herramientas como búsqueda web, mejoran la fiabilidad de los guardarraíles agénticos. Con datos de 120 escenarios de asilo en cinco idiomas, revelaron que los juicios basados solo en texto fallan en verificar hechos, y que el comportamiento agéntico varía según el LLM subyacente. Proponen políticas dinámicas y herramientas abiertas como any-guardrail y Otari para implementar esta visión.
Evaluar las salvaguardas es tan importante como evaluar los LLM que protegen, y los resultados de evaluación específicos por contexto e idioma deberían informar salvaguardas que vayan más allá de taxonomías estáticas de daño hacia políticas dinámicas.