네이버, Airflow 멀티프로세싱 fork 방식 문제 해결기

네이버 데이터 입수 플랫폼 팀이 Airflow 2.10.2에서 2025년 4월 출시된 Airflow 3.0으로 전환하기 위한 PoC를 진행하며 Python 멀티프로세싱 fork 방식에서 발생한 문제를 발견해 해결하고 기여한 과정을 시리즈로 공개했다. 1편에서는 Airflow가 task 실행 시 요구하는 병렬성과 격리성 조건을 설명하고, 이를 위해 채택한 Python의 fork와 spawn 멀티프로세싱 방식을 비교했다. 실험 결과 fork는 프로세스 생성과 모듈 재import 속도가 spawn보다 훨씬 빠르지만 Copy-on-Write 방식에 따른 한계가 있는 것으로 나타났다. 2편에서는 이 한계가 실제로 일으킨 문제와 원인, 해결 과정을 다룰 예정이다.