[카카오] LLM Research Engineer (Pre-training) (신입/경력)

◆ 업무내용

- 추론 및 학습에 효율적인 LLM 구조 탐색 및 최적화 (e.g. Mixture of Experts, Gated Delta Net, Kimi Linear)

- 비용 효율화를 위한 학습 최적화 및 데이터 최적화 (e.g., Fp-8 training, Dataset mixture search)

- 비용 효율적인 언어 모델 학습을 위한 알고리즘 연구 및 응용 (e.g., Pruning & Distillation, Hyperparameter transfer, Scaling law, Optimizer)

- LLM 학습을 위한 대규모 데이터 수집, 생성 및 메타 정보 부착기술 개발 및 연구 (e.g. Synthetic dataset generation)

◆ 지원자격

- CS/AI/ML 등 관련 전공 석사 이상 혹은 이에 준하는 관련 프로젝트 경험을 보유하신 분

- Data/Model/Pipeline/Context/Expert Parallel 등 Model parallel 기반의 모델 학습 경험

- 연구/개발에 대한 지속적인 관심과 새로운 기술/업무에 대한 도전 정신을 가지신 분

◆ 지원프로세스

- 서류전형(CV 첨부 필수) > 코딩테스트 > 사전인터뷰 > 1차 인터뷰(사전과제) > 2차 인터뷰 > 처우 협의 > 최종 합격 및 입사