NumPy, 자유 스레드 Python에서 확장 가능해지다
Scaling NumPy on Free-Threaded Python
Quansight 연구진이 자유 스레드(free-threaded) Python에서 NumPy의 성능을 확장하는 방법을 공개했다. 이 글은 GIL(Global Interpreter Lock) 제거에 따른 병렬 처리의 새로운 가능성과 도전 과제를 다루며, NumPy가 멀티스레드 환경에서 어떻게 최적화될 수 있는지에 대한 기술적 통찰을 제공한다. 핵심은 데이터 경합 없이 배열 연산을 병렬화하는 전략과, 이를 통해 얻을 수 있는 성능 향상이다.
자유 스레드 Python에서 NumPy의 확장은 단순히 성능 향상을 넘어, 병렬 컴퓨팅의 새로운 지평을 여는 도전이다.
- w-m
글이 잘 쓰였네요. 설정부터 병목 지점, 성능 버그 해결까지 아주 매끄럽게 따라갈 수 있었습니다. PR들도 읽기 매우 pleasant합니다: 대부분 몇 줄 변경에 테스트 추가와 약간의 문서화가 전부입니다.
잠시 놀랐던 점은 이 작업이 StackOverflow의 보고에서 시작되었다는 것입니다. SO가 사실상 죽었고 커뮤니티가 버렸다고 생각했었거든요. 하지만 제 경험을 모든 사람에게 투영해서는 안 될 것 같습니다.
- frollogaston
NumPy가 이미 GIL을 해제하고 있다고 생각했습니다. 일반적인 free-threaded가 아닌 Python에서도 스레드 병렬 NumPy 연산을 실행하면 여러 코어가 100% 사용되는 것을 본 적이 있고, 저는 그것에 의존해 왔습니다. 아마 이 기사에서 초점을 맞춘 연산(sin/cos)에서는 그렇지 않을 수도 있겠네요.
- tialaramex
> 플래그를 업데이트해야 할 때만 락을 획득한다
그 경우에도 왜 여전히 락이 필요한지 명확하지 않습니다. 이 플래그가 런타임 중에 업데이트될 수 있고 설정되면 소프트웨어 동작에 영향을 준다는 생각은, 이전에 relaxed(즉, 동기화되지 않는) 로드에서 플래그가 설정되지 않았다는 것을 확인하고 아무 조치도 취하지 않아도 된다는 생각과 충돌합니다.
이 내부 구조에 대해 제가 이해하지 못하는 무언가가 있을 수 있으며, 그것은 단순히 "그냥 권고 사항이라서 언제 추적해야 하는지 추적하지 않아도 큰 문제가 없다"는 것일 수도 있습니다.