GitHub acelera el plegado de mayúsculas en código: 45 GiB/s sin ramas

Don't stop early: Case-folding source code at memory speed

En el motor de búsqueda de código de GitHub, Blackbird, se indexan más de 180 millones de repositorios (480 TB de código). Para que búsquedas como 'café' coincidan con 'CAFÉ', se aplica un plegado de mayúsculas (case folding) a cada byte. El equipo descubrió que eliminar una optimización (la salida temprana al encontrar un byte no ASCII) y hacer el bucle completamente sin ramas permite vectorizarlo y alcanzar más de 45 GiB/s, la velocidad de la memoria. Publicaron el resultado como crate Rust llamado 'casefold'. Además, evitan asignaciones innecesarias y manejan los caracteres Unicode con una tabla compacta de 1776 bytes.