Polars-Erweiterung: fenic schreibt neun Rust-Plugins für Textoperationen
Extending Polars with Rust Expression Plugins
fenic, eine semantische DataFrame-Bibliothek mit PySpark-API für KI- und LLM-Pipelines, nutzt Polars als Engine. Da Polars keine nativen Operationen für Textverarbeitung wie Chunking, Prompt-Templating, jq-Abfragen oder Fuzzy-Matching bietet, setzt fenic auf Polars-Expression-Plugins in Rust. Der Artikel erklärt, warum Python-UDFs zu langsam sind und die Komposition brechen, und zeigt anhand von echtem Code, wie Plugins mit pyo3-polars entwickelt werden. Neun Plugins erweitern Polars um native Ausdrücke, die im Engine laufen, Typen deklarieren und sich mit eingebauten Operationen kombinieren lassen.
Der Moment, in dem ein Schritt ein undurchsichtiger Python-Callback ist, kann die Engine nicht durchsehen – er wird zur Optimierungsbarriere, erzwingt eine Materialisierung und bricht die Single-Pass-Pipeline.