LLM Research Engineer (Pre-training) (신입/경력)

Language Model Training팀은 카카오의 자체 Large Language Model인 Kanana를 A부터 Z까지 연구 및 개발하고, 이를 기반으로 카카오의 여러 서비스에 기여하고 있습니다. 자체 언어모델인 Kanana를 최고수준으로 개발하고싶은 분들의 지원을 기다립니다. 참고) 연구결과 * 논문 - Let's Scale Step by Step: Compute-Efficient Hyperparameter Transfer for Large-Scale Mixture-of-Experts - Mixture-Trained Merging for Unified Multi-Objective Models - No Pain, More Gain: Iterative Merging for Effective Multi-Teacher On-Policy Distillation * 블로그 - 더 작고 강해진 Kanana SLM 개발 [(link)](https://tech.kakao.com/posts/826) - Kanana-2 개발기 (1): Pre-training에서의 의사결정들을 중심으로 [(link)](https://tech.kakao.com/posts/807) - Kanana-2 개발기 (2): 개선된 post-training recipe를 중심으로 [(link)](https://tech.kakao.com/posts/808) - 데이터는 없지만 LLM은 학습하고 싶어 - Code, Math 데이터 개발기 [(link)](https://if.kakao.com/2025/session?tab=day2&sessionId=48) - 추론 및 학습에 효율적인 LLM 구조 탐색 및 최적화 (e.g. Mixture of Experts, Gated Delta Net, Kimi Linear) - 비용 효율화를 위한 학습 최적화 및 데이터 최적화 (e.g., Fp-8 training, Dataset mixture search) - 비용 효율적인 언어 모델 학습을 위한 알고리즘 연구 및 응용 (e.g., Pruning & Distillation, Hyperparameter transfer, Scaling law, Optimizer) - LLM 학습을 위한 대규모 데이터 수집, 생성 및 메타 정보 부착기술 개발 및 연구 (e.g. Synthetic dataset generation)