Polars에 Rust 표현식 플러그인을 추가한 이유와 방법

Extending Polars with Rust Expression Plugins

fenic은 AI 및 LLM 파이프라인을 위한 의미론적 DataFrame 라이브러리로, 로컬 엔진으로 Polars를 사용합니다. 이 글은 텍스트 처리 작업(청킹, 프롬프트 템플릿, jq, 퍼지 매칭 등)을 위해 Rust로 작성한 9개의 Polars 표현식 플러그인을 개발한 이유와 구현 방법을 실제 코드와 함께 설명합니다. Python UDF의 속도 저하, 구성성 저하, 타입 불명확성 문제를 해결하기 위해 플러그인을 선택했으며, 이를 통해 엔진 내에서 Arrow 메모리를 공유하며 기본 연산과 단일 표현식 트리로 합성할 수 있게 되었습니다.