Foundation Model Evaluation Engineer

우리는 게이머의 로망을 실현하기 위해, 누구도 가지 않는 길을 갑니다.
예상을 뛰어넘는 과감한 상상력과 기술로, 전 세계 팬들이 잊지 못할 세상을 만들기 위해 담대하게 도전하고 개척합니다.  

We pioneer the path to players' dreams.
With bold imagination and breakthrough technology, we create unforgettable worlds for fans across the globe.

우리 팀(프로젝트)을 소개합니다. 

Foundation Model Evaluation 팀은 우리 파운데이션 모델과 글로벌 프론티어 LLM을 다각도로 진단하여, 모델 개발의 방향성을 데이터에 기반해 제시하는 역할을 합니다. 벤치마크는 측정 축이 다양하고 점수만으로는 모델의 실질 역량을 판별하기 어렵기 때문에, 우리는 모델이 실제로 어디서 강하고 약한지를 깊이 있게 분석하고 그 결과를 모델 개선으로 연결하는 평가 체계를 구축합니다.

글로벌 프론티어가 주목하는 표준 벤치마크와 실제 사용 맥락을 반영한 자체 평가셋을 함께 운영하며 모델 동향을 추적합니다.

평가 결과를 모델·데이터팀과 공유하여 기술 로드맵과 데이터 전략 수립에 직접 기여합니다.

우리 팀과 함께할 미션을 소개합니다.

Foundation Model Evaluation 팀의 Engineer로서 하게 될 일은 다음과 같습니다:

• 우리 모델이 집중해야 할 역량과 타겟을 정의하여 모델 개발 전체의 방향성을 제시합니다.
• 데이터 contamination에 영향을 받지 않고 모델의 실질 역량을 측정할 수 있는 신규 벤치마크를 설계·구축합니다.
• 프론티어 모델과 우리 모델을 진단하여, 새로운 모델이 등장할 때 적합성을 빠르게 판단하고 기술 의사결정을 지원합니다.
• 데이터·모델팀과 긴밀히 협업하여 데이터의 약점과 모델 설계의 개선점을 도출·전달합니다.
• 대규모 평가를 안정적으로 실행·관리하는 평가 파이프라인·플랫폼을 개발하고, 평가 결과와 인사이트를 중앙화합니다.
• 연구 성과를 Tech Report 또는 NeurIPS, ICLR, ICML, ACL, EMNLP 등 탑티어 학회에 논문·워크숍 형태로 발표합니다.

이런 경험을 가진 분과 함께 성장하고 싶습니다! (필수요건)

• 딥러닝 관련 분야 전공 석/박사 졸업 이상 혹은 이에 준하는 연구 경력
• AI 모델 평가·분석 또는 ML/NLP 토픽으로 AI/ML 탑티어 학회(NeurIPS, ICLR, ICML, ACL, EMNLP 등) 논문 작성을 경험하신 분
• 데이터를 하나하나 들여다보며 인사이트를 도출하는 집중력을 갖추신 분
• 복잡한 실험 설정, 결과 분석을 명확하게 문서화하고 공유할 수 있는 커뮤니케이션 능력을 갖추신 분
• 새로운 domain에 빠르게 적응할 수 있는 분
• 원활하게 업무 커뮤니케이션 하실 수 있는 분
• 해외 출장에 결격 사유가 없는 분

이런 경험들이 있다면 저희가 찾는 그 분입니다! (우대요건)

• AI/ML 탑티어 학회(NeurIPS, ICLR, ICML, ACL, EMNLP 등) 발표/수상 경험이 있으신 분
• AI 모델 평가를 위한 데이터 수집·생성·정제를 직접 수행해 보신 분
• 평가 벤치마크 또는 평가 툴킷을 직접 설계·구축해 보신 분
• Agentic flow를 설계·개발해 보신 분
• 대규모 평가 파이프라인·분산 실행 환경 등 평가 인프라를 구축·운영해 보신 분
• 여러 사이즈의 LLM등의 Foundation Model을 많이 써보신 경험이 있으신 분
• 레슨런을 효과적이고 효율적으로 전파·논의할 수 있는 의사소통 역량을 갖추신 분

크래프톤의 도전에 함께 하기 위해 아래의 전형 과정이 필요합니다.

• 서류 전형 > 전화 인터뷰 (Phone Interview) > 직무 테스트 (Pre-test, Take Home Test) > 직무면접 (Technical Fit Interview) > 합격 및 입사
• 상시 채용으로 채용 완료 시 조기 마감될 수 있습니다.
• 필요 시, 인터뷰 및 직무 테스트가 추가될 수 있습니다.
• 전형 일정 및 합격 또는 불합격 결과는 지원서에 등록하신 이메일 또는 유선으로 개별 안내 드립니다.

필요 서류를 확인해주세요!

• 입사지원서 (자유 양식), 자기소개서, 경력기술서, 성적증명서, 포트폴리오 (선택)
• 신입일 경우 자기소개서를, 경력일 경우 경력기술서를 중심으로 기술해 주시기 바랍니다.