새로운 플랫폼에서의 시작! Alignerr 한국어·일본어 온보딩 후기
최근 데이터 라벨링 업계에서 주목받고 있는 플랫폼, Alignerr로부터 첫 연락을 받았다. 단순한 데이터 분류가 아니라 AI 모델의 성능을 직접 평가하고 교정하는 수준 높은 테스크여서 더욱 흥미로웠다. 이번 포스팅에서는 Alignerr의 평가 테스트부터 온보딩 콜, 그리고 프로젝트 초대까지의 전 과정을 생생하게 기록했다.
1. 첫 테스트: AI 병원 어시스턴트 평가 (한국어 & 일본어)
Alignerr에서 처음 배정받은 업무는 한국어와 일본어 각각 5개의 라벨링 작업을 수행하는 평가 테스트였다. 병원에서 환자 정보를 파악하고 예약을 도와주는 AI Assistant를 평가하는 일로, 약간의 코딩 지식이 필요한 전문적인 작업이었다.
- 학습 과정: 제공된 Instruction 문서와 가이드 비디오를 통해 업무를 숙지했다.
- 시나리오 설정: 모델의 데이터베이스(환자 정보, 의사 일정)를 바탕으로 내가 환자가 되어 4~5분간 대화를 나눴다.
- 주요 과업: 신원 식별, 진료 예약, 병원 위치 및 주차 정보 문의 등 다양한 상황을 설정해 모델과 통화했다.
2. 핵심 작업: Function Call(FC) 및 Parameter 평가
이 프로젝트의 핵심은 모델의 답변뿐만 아니라 Function Call(FC)을 평가하는 것이었다.
- Function Call이란? 모델이 사용자의 요청을 처리하기 위해 내부적으로 “생각하는 과정”이다.
- 평가 방식: 예를 들어 “12월 15일 오전 9시 예약”을 요청했을 때, 모델이 올바른 파라미터(날짜, 시간 등)를 호출하는지 확인해야 했다.
- 교정 작업: 만약 모델이 스크립트상에서 잘못된 FC를 호출했다면, 리뷰란에 올바른 값을 직접 입력하여 수정했다. AI가 제대로 응답하기 위한 근본적인 코딩 기반 반응을 점검하는 고난도 작업이었다.
AI 모델의 ‘뇌’를 교정하는 Function Call 평가의 가치
일반적인 챗봇 응답 평가가 ‘말이 자연스러운가’를 보는 수준이라면, Alignerr에서 진행한 Function Call(FC) 평가는 AI의 ‘사고 체계’를 직접 수리하는 일에 가깝다.
AI가 환자의 예약 요청을 받고 나서 내부적으로 데이터베이스를 조회할 때, 날짜(Date)나 시간(Time)이라는 파라미터 값을 하나라도 잘못 추출하면 전체 예약 시스템은 붕괴된다. 작업자가 이 미세한 코드 오류를 찾아내어 직접 올바른 값으로 교정하는 과정은, AI 모델이 실제 서비스(Production) 환경에서 ‘실수하지 않는 지능’을 갖추도록 만드는 핵심 공정이다.
이러한 고도의 검증 작업이 수반되기 때문에 Alignerr가 다른 플랫폼보다 높은 전문성을 요구하며, 그만큼 작업자에게 강력한 동기를 부여하는 것이라고 생각한다.
3. 무급 테스트를 넘어 온보딩 콜까지
이번 테스트 세션은 첫 검증 단계였기에 무급으로 진행했다. 하지만 일본어 Assessment를 미리 통과해둔 덕분에 한국어와 일본어 프로젝트의 Evaluation(평가)를 동시에 진행할 수 있었던 점이 큰 수확이었다.
테스트 제출 후 약 일주일 뒤, 마침내 프로젝트 온보딩 콜(Onboarding Call) 초대 메일을 받았다. 새벽 1시에 진행된 미팅이었지만, 설레는 마음으로 운동과 샤워를 마친 뒤 알람까지 맞춰두고 참석했다. 독일(German) 프로젝트 팀과 합동으로 진행된 미팅에서는 QM들이 유의 사항과 자주 발생하는 오류(Common Errors)를 상세히 설명해 주었다.
4. 드디어 열린 24개의 프로젝트와 Payment Rate
온보딩 콜이 끝난 직후, 드디어 기다리던 Payment Rate(보상 수준)가 공개되었다. 이와 동시에 다음과 같은 프로젝트에 정식 초대되었다.
- 한국어 프로젝트: 12개
- 일본어 프로젝트: 12개
- 총합: 24개의 Production 프로젝트 초대
현재는 Instruction이 열린 상태이며, 실제 테스크가 활성화되기를 기다리고 있다. 도서관 캐셔 AI, 포켓몬 관련 테스크, 병원 리셉션 등 프로젝트의 스펙트럼이 매우 넓어 앞으로의 활동이 기대된다.
5. Alignerr만의 특징: 디스코드(Discord) 소통
Alignerr는 별도의 커뮤니티 대신 각 프로젝트별로 디스코드 채널을 운영한다.
- 직속 소통: 프로젝트 매니저(QM)와 프로젝트 코디네이터(PC)가 상주한다.
- 영어 기반: 모든 소통은 영어로 이루어지며, 궁금한 점을 즉각적으로 질문하고 피드백을 받을 수 있는 구조다.
마치며
언어적 강점을 살려 한국어뿐만 아니라 일본어 프로젝트까지 참여하게 되어 매우 뿌듯하다. Alignerr는 단순 반복 작업보다 AI의 논리 구조를 다루는 재미가 있는 플랫폼이다. 조만간 실제 프로젝트 수행 후기를 상세히 공유하겠다.
Alignerr 관련해서 궁금한 점이 있거나 온보딩 콜에 함께 참여하셨던 분이 있다면 댓글로 자유롭게 소통 환영합니다🤗