Los benchmarks de text-to-SQL ignoran la complejidad real de las bases de datos

Any text-to-SQL benchmark should address difficulties of real-world data stores

Los benchmarks actuales de text-to-SQL no reflejan los desafíos de las bases de datos del mundo real, como esquemas desordenados, datos incompletos y consultas ambiguas. Este artículo de CACM argumenta que los modelos entrenados en estos benchmarks fallan en entornos reales, y propone criterios para evaluar la robustez de los sistemas, incluyendo la diversidad de esquemas y la necesidad de entender el dominio.