[메가존] [MZD] [제조AX] 데이터 엔지니어 채용

[이런 일을 해요!]

- SeaTunnel 기반 배치 수집과 DB·파일 커넥터를 구현해요

- Spark로 변환 로직과 개인정보 마스킹 처리를 구현해요

- Apache Iceberg 테이블에 데이터를 적재하고 Polaris 카탈로그에 등록되도록 구현해요

- Airflow 일정에 따라 파이프라인을 실행하고, Kubernetes 환경에서 실행 자원을 분리해요

- OpenLineage 이벤트로 데이터 흐름을 기록하고, Great Expectations로 기본 품질 규칙을 적용해요

- 화면에서 정의한 파이프라인을 실행 코드와 설정 파일로 바꾸는 기능을 만들어요

- 실행 모니터링과 역할 기반 권한(Keycloak, OPA) 연동 기능을 구현해요

[이런 분과 함께하고 싶어요!]

- Python과 SQL로 데이터 파이프라인을 직접 구현하고 운영해 보신 분

- Airflow로 배치 워크플로를 설계하고 장애 대응까지 해 보신 분

- Spark로 대용량 변환 작업을 작성하고 성능 문제를 다뤄 보신 분

- Docker와 Kubernetes 환경에 데이터 서비스를 배포해 보신 분

- 원천 시스템에서 데이터를 가져오는 커넥터를 만들거나 고쳐 본 경험이 있으신 분

- 여러 사용자가 이용하는 기능인 만큼 예외 상황과 실패 처리까지 꼼꼼하게 구현하시는 분

[이런 경험이 있으면 더! 좋아요]

- 제조업의 MES, ERP, SCM에서 데이터를 가져오는 연결 기능을 개발해 보신 분. 이 제품이 연결할 주요 원천 시스템이에요

- 원천 스키마가 예고 없이 바뀌어도 파이프라인이 중단되지 않도록 대응해 보신 분

- Apache Iceberg 등 테이블 포맷으로 스키마 진화, 파티셔닝, 컴팩션을 다뤄 보신 분

- DataHub, OpenMetadata 같은 데이터 카탈로그나 OpenLineage를 연동해 데이터 흐름을 추적해 보신 분

- Great Expectations 등으로 데이터 품질 규칙을 정의하고 운영해 보신 분

- 인터넷에 연결되지 않은 폐쇄망이나 온프레미스 환경에 오픈소스를 설치하고 운영해 보신 분

[합류 여정]

- 채용과정 : 지원서 제출(서류 전형) > 실무 면접(기술 인터뷰) > 최종 면접(임원 인터뷰) > 입사 조건 검토 > 최종 합격

- 직무에 따라 전형 절차는 달라질 수 있어요.