Rex - Parallel functional language for scientific workflows
Show HN: Rex, a parallel functional language for scientific workflows
Rex es un lenguaje funcional puro y tipado estáticamente, diseñado para flujos de trabajo científicos y procesamiento de datos. Combina un lenguaje de programación real con almacenamiento direccionable por contenido (BLAKE3), APIs de herramientas tipadas y ejecución aislada en Docker. Esto permite definir pipelines concisos, inspeccionables y paralelizables, donde los artefactos son inmutables y las herramientas se invocan de forma segura. Rex es ideal para análisis complejos, generación de workflows por LLMs y entornos donde la reproducibilidad y la seguridad son críticas.
Rex comienza con un pequeño lenguaje de propósito general en lugar de un DAG, ofreciendo un modelo funcional puro que hace que los flujos de trabajo sean concisos, inspeccionables y aptos para ejecución paralela.
- troelsSteegin
Me pregunto dónde encajaría async. Reconozco que el async distribuido está fuera del alcance de Rex. Dado el tratamiento del almacenamiento direccionable por contenido (CAS), se podrían especificar los estados del flujo de trabajo de forma declarativa, sondear los artefactos para el siguiente paso y enviar tareas a un delegado y luego avanzar. Sería bueno que un subsistema hiciera eso. Una pregunta es dónde es útil el paralelismo en tus flujos de trabajo científicos y dónde bloquea. Los casos de uso de química cuántica (QDX está detrás de Rex) están más allá de mí en este momento, así que no tengo idea.
Estoy pensando que los programas Rex están destinados a ser una salida de un lenguaje de especificación de flujo de trabajo de nivel superior. Sería interesante ver eso.
- lubitelpospat
¡Gran trabajo!
Tendré curiosidad por ver cómo compite con los lenguajes de flujo de trabajo existentes como Nextflow o Snakemake: ¿por casualidad tienes un discurso de "Por qué migrar de Nextflow/Snakemake a Rex" que pueda leer en algún lugar?
- cl3misch
Esperaba una referencia a Dex, pero parecen no estar relacionados.