AI가 곧 인재 평가를 주도할 것이다, AI 채용 플랫폼 머코르(Mercor) 창업자와의 대화
저자: MD
제공: 밝은 회사
최근 미국의 벤처 캐피탈인 레드포인트 벤처스(Redpoint Ventures)의 파트너 제이콥 에프론(오른쪽), 패트릭 아카세(왼쪽)는 팟캐스트 '언서퍼바이즈드 러닝(Unsupervised Learning)'에서 AI 기반 채용 플랫폼 메르코르(Mercor)의 창업자이자 CEO 브렌던 푸디(가운데)와 대담을 나누었다. 이 자리에서 세 사람은 메르코르의 핵심 사업인 AI 채용의 변화뿐 아니라, 앞으로 AI와 인간이 직장에서 맺게 될 관계에 대해서도 논의했다.
메르코르는 2023년, 브렌던 푸디를 포함한 21세의 세 명의 틸 펠로우스(Thiel Fellows)가 공동으로 설립했다. 올해 2월, 회사는 1억 달러의 시리즈B 펀딩을 완료하며 20억 달러의 기업 가치를 인정받았다. 이번 펀딩은 Felicis가 주도했으며, Benchmark, General Catalyst, DST Global 등 유수의 투자사들이 참여했다. 메르코르는 AI 기술을 활용해 이력서 선별, 후보자 매칭, AI 면접, 급여 관리까지 자동화함으로써 채용 효율성을 높이고 인간의 편견을 줄이는 것을 목표로 하고 있다.
인터뷰에서 브렌던 푸디는 현재 메르코르가 이미 AI 모델 평가 및 데이터 어노테이션 분야에도 진출했다고 밝혔다. AI 모델의 능력이 향상됨에 따라, 복잡한 문제들은 더 이상 모델 자체나 일반 상식만으로 검증하기 어렵기 때문에, 개발자들은 전문 분야의 고도 교육 인력을 필요로 하게 되었다. 하지만 이러한 일자리는 종종 장기직이 아니며, ‘전문가 네트워크’와 유사하다. 따라서 그들의 플랫폼을 통해 다양한 AI 연구소에 해당 분야의 전문가를 연결하는 것이 "매우 자연스러운 수순"이라고 푸디는 말했다. 그는 "데이터 어노테이션 시장이 이제 대규모·저장벽의 크라우드소싱에서 고품질·전문가 중심의 어노테이션으로 전환되고 있다"고 강조했다.
핵심 사업인 ‘AI 채용’ 영역에서는, 브렌던 푸디는 AI가 텍스트 기반의 인재 평가에서 인간을 이미 거의 따라잡았거나 오히려 초월했다고 보았다. 특히 이력서 선별이나 면접 응답 분석 같은 부분에서는 그렇다. 그러나 감정이나 분위기 판단과 같은 다중 모달 작업에서는 여전히 AI가 부족하다고 지적했다.
또한 그는 다음과 같은 견해를 내놓았다: 앞으로 채용과 인재 평가는 점점 더 풍부한 컨텍스트 데이터에 의존하게 될 것이며, 피드백 메커니즘과 데이터 입력의 완전성이 모델의 평가 성능에 직접적인 영향을 미칠 것이다. 예를 들어, 한 투자자를 채용할 때, 그의 팟캐스트 발언, 회의록 등 다양한 데이터를 모델에 입력하여 컨텍스트를 형성하면, 후보자의 사고방식, 능력, 취업 선호도 등을 더욱 정확하게 판단할 수 있게 된다. 반면 전통적인 채용 방식에서는 이러한 데이터가 대부분 무시되거나 평가하려 해도 엄청난 시간과 노력이 필요했지만, AI는 이를 저비용·고효율로 해결할 수 있다는 것이다.
따라서 AI와 인간의 역할 분담은 다음과 같이 될 가능성이 크다. 즉, AI는 곧 인재 평가 단계를 주도하여 효율성과 정확도를 높이고, 인간은 ‘설득’ 단계, 즉 팀 분위기 설명, 동기 부여 등의 역할에 집중하여 지원자 경험을 향상시키는 것이다.
"내가 보는 추세는, 미래 인간은 반복적인 작업이 아닌, 아직 모델이 못 하는 일을 배우게 할 수 있는 평가 체계를 만드는 데 집중하게 될 것이라는 점입니다."라고 브렌던 푸디는 말했다.
다음은 「밝은 회사」가 번역한 인터뷰 본문(편집본)이다:
Jacob: 브렌던 푸디는 메르코르의 공동 창업자이자 CEO입니다. 이 회사는 AI-Native 노동시장을 위한 인프라를 구축하고 있습니다. 메르코르 플랫폼은 이미 데이터 어노테이션, 인재 선별, 성과 예측, 그리고 인간과 AI 후보자의 평가에 사용되고 있죠. 채용 평가와 기초 모델 개선이 만나는 지점에 위치한 매우 흥미로운 회사입니다.
브렌던의 팀은 최근 1억 달러의 펀딩을 마쳤고, 일부 가장 앞선 AI 기업들과 협력하고 있습니다. 오늘 우리의 대화는 향후 인간이 노동시장에서 어떤 역할을 할지라는 흥미로운 주제를 포함합니다. 우리는 어떤 종류의 데이터 어노테이션이 모델 개선에 가장 중요한지, 메르코르의 급속한 성장과 핵심 의사결정들을 돌아보고, AI가 채용 프로세스에서 어디에선 효과적이며 어디선 그렇지 않은지에 대해 이야기했습니다. 아주 흥미로운 대화였습니다. 여러분도 즐겁게 들으실 거라 믿어요. 브렌던 푸디, 우리 팟캐스트에 출연해줘서 고마워요.
Brendan: 초대해 주셔서 감사합니다. 저는 당신의 열렬한 팬이에요. 정말 기쁩니다.
Jacob: 오신 걸 환영합니다. 우리 청취자들을 위해 위에서 아래로 시작해볼까요? 지금 우리가 AI로 인재를 평가하는 데 어느 단계에 와 있는지, 무엇이 잘되고 있고 무엇이 잘 안 되는지, 현재 진행 상황은 어떻게 되는지 요약해주실 수 있을까요?
Brendan: 저는 그 결과에 놀랐습니다. 인간이 텍스트를 통해 평가할 수 있는 것은 무엇이든, 모델은 거의 인간을 따라잡았다고 생각합니다. 면접 기록, 서면 평가, 혹은 이력서 상의 신호들 모두 마찬가지예요. 사실 이것은 경제 내에서 기술이 극도로 불균형하게 분포되어 있다는 점에서 흥미로운 이분법인데요, 그래서 여기엔 큰 공백이 존재하고, 바로 그것을 개척하고 싶다는 열망이 우리에게 큰 동기를 주고 있습니다.
Jacob: 추론 모델이 등장하기 전에는 불가능했던 일이 있었나요? 예를 들어 지난 6개월 사이 모델이 좋아졌는데, 이제 비로소 작동하기 시작한 게 있을까요?
Brendan: 네, GPT-4가 출시됐을 때 저희는 최초의 AI 면접관 프로토타입을 만들었는데, 그땐 아무것도 안 됐어요. 모델이 두세 문제마다 환각을 일으키는 등 문제가 많았죠. 하지만 지금까지의 여정은 정말 순조로웠습니다. 추론 모델의 등장은 분명 모델의 지식 수준을 크게 끌어올렸고, 특히 대량의 컨텍스트를 처리하고, 핵심을 판단하며, 초점을 유지하는 능력을 훨씬 강화했습니다.
다만, 모델은 아직 다중 모달 작업에서는 그렇게 강하지 않습니다. 그 이유는 과거 실험실에서 이 분야에 덜 관심을 가졌고, 강화학습(RL)을 활용하기도 더 어렵기 때문이죠. 하지만 이 분야의 진전도 매우 기대하고 있습니다.
Jacob: 어떤 마일스톤 기능이 실현되길 가장 기대하시나요?
Brendan: 인간이 잘하는 몇 가지 일이 있는데, 예를 들어 ‘분위기(vibe)’ 판단 — 즉 내가 이 사람과 함께 일하고 싶은지, 이 사람이 열정이 있는지, 진정성이 있는지 등을 판단하는 건 모델이 여전히 어렵습니다. 최고의 인간이라도 어렵게 느끼는 일인데, 모델은 더 그러겠죠. 이런 부분에서 돌파구가 나오길 기대하며, 실제로 평가 도구도 개발 중입니다. 하지만 제가 모델의 추론 체인을 읽고, 우리가 만든 평가 내용을 해석해보면, 모델이 우리 팀에서 평가를 설계하는 연구원보다 훨씬 더 이성적으로 보입니다.
모델의 발전 속도는 정말 빠르고, 코드 분야에서의 성과는 모두가 알고 있지만, 사실 우리는 이제 막 시작했을 뿐이며, 다른 많은 분야들도 놀라운 속도로 성장하고 있습니다.
Jacob: 사실상 여러분이 하는 일의 상당 부분은 인간을 평가해 그들이 일을 잘할 수 있는지를 판단하는 것입니다. 그런데 요즘 많은 사람들이 AI 에이전트를 만들어 실제 직원처럼 일하게 하고 있잖아요. 그런 쪽에도 참여하고 계신가요?
Brendan: 물론이죠, 저희는 그 분야에서도 많은 일을 하고 있습니다. 간단히 회사 배경을 말씀드리면, 저희가 회사를 세운 이유는 세계 곳곳에 재능 있는 사람들이 많은데도 불구하고 기회를 얻지 못하고 있기 때문입니다. 주된 원인은 노동시장이 극도로 분산되어 있다는 점이에요. 예를 들어 원격근무를 희망하는 후보자는 소수의 직무에만 지원하고, 샌프란시스코의 기업은 수작업으로 매칭 문제를 해결해야 하기 때문에 극소수의 후보자만 고려합니다. 대규모 언어 모델(Large Language Model)을 활용하면 이 매칭 문제를 해결하고, 글로벌 통합 노동시장을 만들 수 있어요. 모든 후보자가 지원할 수 있고, 모든 기업이 고용할 수 있도록 말이죠. 그런데 이후 새로운 지식 기반 일자리가 등장하면서 인력 수요가 급증했고, 특히 대규모 언어 모델을 평가할 인재에 대한 수요가 커졌습니다. 그래서 현재 저희는 최고 수준의 AI 연구소를 위해 다양한 전문가를 채용하고 있습니다. 이러한 연구소들은 평가 전문가뿐 아니라 모델과 당신이 언급한 AI 에이전트를 평가하기 위해 우리의 기술을 활용하고 있습니다.
Patrick: 청취자들에게 알려드리면, 메르코르는 후보자 선별, 이력서 처리 등 여러 채용 시나리오에 AI를 활용하고 있죠. 구체적으로 어떤 AI 활용 사례가 있으며, 현재 사용 중인 기술 스택은 어떤가요?
Brendan: 좋은 방법은 인간이 수작업으로 하는 모든 것을 평가 항목으로 만들고, 그것들을 자동화할 수 있는지 확인하는 것입니다. 예를 들어 사람이 어떻게 이력서를 읽고, 면접을 보며, 순위를 매기고, 누구를 채용할지 결정하는지를 분석하죠. 우리는 이 모든 과정을 자동화합니다. 이력서 파싱의 정확도, 각 항목 평가의 정확도, 면접 질문의 적절성, 면접 평가의 정확도 등을 측정하고, 이를 모두 모델의 컨텍스트에 입력한 후, 추천서 등 다른 데이터를 결합해 최종적으로 채용 여부를 예측합니다.
Patrick: 주로 기성품 모델을 사용하시고, 평가와 컨텍스트 설계를 책임지시는 건가요?
Brendan: 네, 기본 작업에는 기성품 모델을 많이 사용하지만, 가장 어려운 최종 후보자 평가 단계에서는 포스트 트레이닝(Post-training)을 수행합니다. 고객의 데이터에서 학습하는데요, 어떤 사람이 성과를 잘 냈는지, 그 이유는 무엇인지와 같은 신호를 통해 학습해 미래의 채용 예측을 더욱 정교하게 만듭니다.
Patrick: 인간이 예상하지 못한 신호를 AI가 발견한 사례가 있었나요? 놀라운 인사이트가 있었을까요?
Brendan: 그런 사례가 많습니다. AI의 핵심 강점 중 하나는 후보자의 모든 세부 정보를 깊이 있게 분석해 인간이 종종 놓치는 미세한 신호를 발견할 수 있다는 점입니다. 반면 인간은 ‘분위기 판단’에 따라 이미 결정을 내리기도 하죠. 예를 들어, 이력서에 어떤 분야에 대한 흥미를 보인 사람이 있다면, 그게 업무와 무관한 순수한 관심이라도 그것은 하나의 신호가 됩니다. 또는 목표 국가에서 유학한 경험이 있다면, 커뮤니케이션이 원활하고 팀 환경에 잘 맞을 가능성이 높아집니다. 이러한 세부사항은 프로젝트와 고객에 따라 달라집니다.
Patrick: 그럼 인간이 반드시 해야 할 일은 무엇이라고 보시나요? 방금 다중 모달 작업을 언급하셨는데, AI와 인간 면접관의 협업 가능성은 어떻게 보십니까? 결국 모든 평가가 AI로 이루어질까요?
Brendan: 간단히 말해, 채용 과정은 ‘평가’와 ‘설득’으로 나뉩니다. 평가 단계는 빠르게 매우 강력해질 것이며, 사람들은 AI의 추천이 훨씬 더 정확하다는 것을 알게 되고, 점점 AI 결과를 신뢰하게 될 겁니다. 인간은 계속해서 ‘설득’ 단계에서 중요한 역할을 할 것입니다. 예를 들어, 후보자에게 팀과 직무, 분위기에 대해 설명하는 것이죠. AI 덕분에 채용 매니저와 HR은 적합하지 않은 지원자와 시간을 낭비하지 않고, 진짜 원하는 후보자에만 집중할 수 있게 됩니다. 이를 통해 후보자에게 직무, 팀, 동기 부여 요소를 더 잘 설명할 수 있게 되죠.
Patrick: 사람들이 평가 신호를 ‘골라쓰기’(gaming the system) 하려는 경향이 생기지 않을까요? 예를 들어 모두가 자신이 목표국가에서 유학했다고 주장하는 식으로요?
Jacob: 모두가 목표국가에서 유학했다고 하겠죠.
Patrick: 네, 예를 들어 채용 지역에서 유학했다고 모두 말하는 거죠.
Brendan: 네, 그래서 때때로 우리는 신호를 비밀로 해야 합니다. 대규모 채용 프로세스를 운영하는 모든 회사와 마찬가지로 우리는 이런 상황을 자주 겪어요. 핵심은 평가가 충분히 동적이어야 한다는 점입니다. 예를 들어 문제를 자주 바꾸거나, 후보자의 배경에 따라 심층적인 질문을 하는 것이죠. 모델이 면접을 위해 방대한 준비를 할 수 있기 때문에, 인재 평가의 깊이와 범위는 전례 없이 확장되고 있습니다.
예를 들어, 제가 임원 후보를 처음 면접할 때는 LinkedIn 프로필 몇 분과 간단한 메모만 보지만, 그가 출연한 팟캐스트를 듣고, 블로그나 논문을 읽은 후, 그 내용을 기반으로 질문한다면, 깊이나 디테일 수준이 전혀 다릅니다.
Jacob: 귀하의 모델은 후보자의 성과를 예측하는 데 매우 능숙한 것으로 보입니다. 이 과정에서 ‘설명 가능성(explainability)’이 중요합니까, 아니면 블랙박스 모델이 결론만 내면 충분한가요?
Brendan: 저는 설명 가능성이 중요하다고 생각합니다. 두 가지 이유에서요. 첫째, 고객이 모델의 결론을 이해하고 신뢰할 수 있도록 하기 위해서입니다. 둘째, 모델이 사람을 선발하는 이유가 올바른 근거에 기반했는지를 확인하기 위해서죠. 따라서 설명 가능성은 큰 가치를 지닙니다.
하지만 저는 궁극적인 경제 형태가 API 기반일 것이라고 봅니다. 사람들이 일을 완수하거나, 인간의 개입이 필요한 수준까지만 필요로 하고, 누군가가 일을 잘할지 여부에 대한 신뢰 구간(confidence interval)만 있으면 되는 거죠. 전체 프로세스에서 인간의 중개 역할은 크게 줄어들 것입니다.
Jacob: 그건 그 목표를 향한 신뢰의 마일스톤이군요. 매우 타당한 말씀입니다. 데이터 어노테이션 단계는 다수의 사람이 동일한 데이터를 평가하는 등 명확한 피드백 루프가 있습니다. 그런데 더 모호한 인간의 업무 영역에 이런 방식을 적용할 때의 어려움은 어떻게 보시나요? 아마 15년이 지나야 피드백을 받을 수 있을지도 모르잖아요.
Patrick: VC 같죠 (웃음).
Brendan: 제 생각에 만약 100명이 동일한 일을 한다면, 쉽게 순위를 매길 수 있습니다. 하지만 100명이 모두 다른 일을 한다면, 예를 들어 창업자들처럼, 각자의 일이 매우 다르다면 공통점을 찾기 어렵고, 어떤 행동이나 정보가 성과와 관련 있는지 판단하기 어렵습니다. 변수가 너무 많기 때문이죠. 따라서 대규모 동질적 직무, 예를 들어 20명의 고객 매니저를 채용할 때는 모델이 신호를 학습해 최적화할 수 있습니다. 하지만 창업자 평가처럼 복잡한 직무, 예를 들어 우리가 틸 펠로우스(Thiel Fellows)를 평가할 때는 훨씬 더 도전적이며, 모델의 추론 능력에 더 의존하게 됩니다.
Jacob: 구체적으로 어떤 도전 과제가 있나요?
Brendan: 주된 문제는 많은 정보가 모델의 컨텍스트에 포함되지 않는다는 점입니다. 모델은 학습할 수 없고, 사람들은 종종 정보를 보완하는 것도 잊어버리죠. 예를 들어 친구가 어떤 회사의 제품이 좋다고 말했지만, 이 정보는 모델에 입력되지 않았어요. 추천서, 사람 간의 세부 정보를 모두 입력하는 것이 가장 큰 난제입니다. 그런데 우리가 발견한 것은, 필요한 데이터를 모델 컨텍스트에 입력하기만 하면 대부분의 문제가 해결된다는 점이었습니다.
Jacob: 아마도 미래에는 우리每个人的 스마트 안경이 항상 녹음을 하고, 정보를 실시간으로 모델에 입력하게 될지도 모르겠네요.
Brendan: 맞아요.
Jacob: 브릿지워터(Bridgewater)처럼 될 수도 있겠네요?
Brendan: 어쩌면 그렇겠죠. 하지만 많은 회사들은 법적, 준법적 이유로 이런 방식을 꺼릴 것입니다. 그러나 저는 모델이 컨텍스트를 더 잘 확보할 수 있는 더 나은 프로세스가 생길 것이라고 봅니다. 예를 들어 AI가 퇴사 면담을 진행해 매니저와 팀원들을 인터뷰하고, 더 많은 디테일을 수집하는 것이죠. 사람의 머릿속에는 엄청난 양의 정보가 있는데, 그것을 모델에 입력하기만 하면 인간을 능가하는 예측이 가능합니다.
Patrick: 요즘 점점 더 많은 창업자들과 전문가들이 회의에 AI를 동반하고 있죠. 그래서 많은 회의와 대화가 녹음되어 AI의 학습 자료가 됩니다. 매우 흥미롭네요.
Jacob: 우리 회의 기록을 AI에게 주고, 우리를 평가·순위 매겨달라고 요청할 수도 있겠네요.
Patrick: 하하!
Jacob: 전제 조건은 제가 상위권에 들어야겠죠.
Patrick: 현재 데이터 어노테이션 시장을 어떻게 보시나요? 다양한 플레이어들이 어떻게 차별화되고 있나요? ScaleAI가 압도적인 선두를 달리고 있는 것처럼 보이지만, 최근에는 새로운 플레이어들이 등장하고 있죠. 이 구도를 어떻게 보시나요?
Brendan: 제 생각에 대부분의 사람들은 데이터 어노테이션 및 평가 시장의 핵심 변화를 이해하지 못하고 있습니다. 시장은 2년 전과 완전히 다릅니다. 이전에는 모델이 충분히 좋지 않아 쉽게 막히거나 실수를 많이 했죠. 그래서 고등학생이나 대학생들이 SFT(감독 훈련), RHF(강화학습을 통한 인간 피드백) 등을 위해 선호 선택지를 고르는 대규모 데이터 수집 작업을 크라우드소싱 방식으로 수행할 수 있었습니다.
하지만 모델이 강해지면서 크라우드소싱 모델은 무너졌습니다. 왜냐하면 이제 고품질 인재가 연구원과 직접 협력하여 모델이 잘하거나 못하는 이유를 이해하고, 모델을 어렵게 만들 수 있는 복잡한 데이터를 설계하며, 현실 세계에서 자동화하려는 난제들을 반영해야 하기 때문입니다. 우리의 플랫폼은 이런 고품질 인재를 빠르게 모을 수 있어서 급성장했고, 대형 연구소들과 협력할 수 있었습니다. 저는 이 추세가 계속될 것이라고 봅니다. 대규모 크라우드소싱에 머물러 있는 회사들은 많은 어려움을 겪을 것이며, 새로운 플레이어들은 고품질 인재에 집중해 시장 점유율을 계속 빼앗을 것입니다.
Patrick: 데이터 어노테이션 프로세스에서 인간의 역할이 계속 존재할 것이라고 보시나요? 모델이 점점 더 강해지고, 심지어 소규모 모델까지 훈련할 수 있게 되는데, 미래의 진화 방향은 어떻게 보시나요?
Brendan: 제 견해는 이렇습니다. 경제 속에서 인간이 할 수 있지만 모델은 아직 못 하는 일이 존재하는 한, 우리는 모델이 학습할 수 있도록 그 환경을 창조하거나 시뮬레이션해야 합니다. 어떤 분야는 빠르게 해결될 것입니다. 예를 들어 수학이나 코딩은 데이터가 적고 검증이 쉬워 모델이 금방 해결할 수 있죠. 하지만 창업자를 평가하는 것처럼, 본질적으로 개방형 난제이며, 무엇이 좋은지 검증하기 어려운 지식 기반 업무들은 여전히 인간의 이해를 모델에 입력해야 합니다. 그래서 저는 인간 데이터(human data, 인간으로부터 혹은 인간에 관한 데이터)와 평가 시장이 수십 배 이상 성장할 것이라고 전망합니다.
Jacob: 제 이해가 맞다면, 여러분이 처음 회사를 세울 때의 “차익거래 포인트(arbitrage point)”와 영감은 전 세계에 훌륭한 프로그래머들이 있지만 특정 일자리의 기회를 얻지 못한다는 점이었고, 이는 프로그래밍 데이터에 매우 중요했죠. 그런데 이제 프로그래밍 외의 분야로 확장하셨습니다. 프로그래밍은 강화학습과 평가에 완벽한 사례지만, 더 모호한 분야로 진입하고 관련 인재를 채용할 때는 어떤 점을 바꾸거나 개선해야 했나요?
Brendan: 인간이 수작업으로 하는 방식에서 영감을 얻는 것이 매우 좋은 접근법이라고 생각합니다. 예를 들어 컨설턴트의 업무를 자동화하려면, 컨설턴트를 어떻게 평가할지 생각해봐야 하죠. 그들에게 사례 연구를 제공하거나, 그들의 배경과 관련된 사례를 줄 수 있습니다.
Jacob: 아마도 팀원들은 프로그래머 평가에는 능숙할지 모르지만, 의사들을 플랫폼에 참여시키려면, 어떻게 의사의 평가 기준을 설정해야 할지 어떻게 아나요?
Brendan: 매우 흥미로운 지적입니다. 머신러닝 팀의 역량 범위를 넘어서는 분야에 진입할 때는 전문가가 필요하다는 점이죠. 우리는 의사에게 도움을 요청해 의사의 평가 기준과 평가 방식을 설계해야 하며, 다른 분야도 마찬가지입니다. 이는 연구원들이 해야 할 일과도 같습니다. 고등학교 물리 문제는 어느 답이 맞는지 판단하기 쉽지만, 박사 수준의 화학 문제라면 관련 학위가 없는 연구원은 이해하거나 평가를 개선하기 어렵습니다. 그래서 이 또한 앞서 묻신 평가 분야의 큰 변화 중 하나입니다. 인재를 평가하든 모델을 평가하든, 점점 더 전문가와의 협업이 필요하며, 모델의 발전을 돕는 공동 작업이 되어야 합니다.
Jacob: 짧은 기간의 데이터 어노테이션 계약 업무가 초기 시장 진입에 완벽한 출발점이었고 수요가 어마어마하다고 말씀하신 적 있죠. 이게 엔드투엔드(end-to-end) 노동시장으로 가는 발판(wedge)이라고 하셨습니다. 회사가 이 비전을 실현하기 위한 경로와 단계적 목표는 무엇인가요?
Brendan: 저는 이걸 설명하는 ‘비밀 마스터 플랜’을 작성한 적이 있습니다. 제 생각에 시장은 네트워크 효과가 매우 강해, 이것이 동시에 경쟁 우위이자 구축이 어려운 점입니다. 그래서 현재 우리는 엄청난 수요를 잡는 데 집중하며, 네트워크 효과를 키우고 시장을 확장하는 데 전념하고 있습니다.
동시에 우리는 많은 대형 테크 기업 고객들이 수백 명의 데이터 사이언티스트, 소프트웨어 엔지니어와 같은 계약직을 필요로 하는 것을 보고 있습니다. 이 일자리는 인간 데이터와 직접적인 관련은 없지만, 본질적으로 수요는 유사하며, 다만 더 전통적인 시장일 뿐입니다. 과거에는 액센츄어, 드류리 등과 경쟁했지만, 우리는 이를 두 번째 우선순위로 삼고, 이후 정규직 채용으로 확장할 계획입니다. 사실 저희 회사는 초기에 친구들과 자기 자신을 위해 계약직을 구하는 것으로 시작했고, 많은 인재가 이후 정규직으로 전환되었습니다.
따라서 이 비즈니스들은 연속적이고 공통점이 많습니다. 모든 기업은 더 많은 후보자, 더 빠른 채용 속도, 더 높은 적합성 신뢰도를 원합니다. 우리는 이러한 지표를 지속적으로 측정하고 향상시키기만 하면, 기업의 모든 성장 단계에서 서비스를 제공할 수 있습니다.
Jacob: 인간 데이터 분야로 전환하기로 결정한 계기가 있었나요? 기회가 매우 뚜렷하게 보였던 순간이요?
Brendan: 네, 제가 대학 시절에 있었던 일입니다. 회사 배경을 말씀드리면, 저는 공동창업자들과 고등학교 때 14세에 처음 만났고, 18세에 함께 창업했습니다. 그들은 많은 대회에서 우승했고, 저는 그만큼 뛰어나진 않았지만 계속해서 창업 활동을 했습니다. 이후 인도에서 국제 인재를 채용하기 시작했는데, IIT 코드 클럽과 협력하면서 일자리를 찾지 못하는 똑똑한 사람들이 많다는 것을 알게 되었죠. 그래서 그들을 고용해 프로젝트를 진행했고, 친구들도 우리가 인재를 소개해주는 것을 기꺼이 돈을 주고 이용했습니다. 이렇게 소규모 서비스 수수료를 받아 연 매출 100만 달러를 달성했고, 급여를 제하고도 8만 달러의 수익을 냈습니다.
저는 자랑스러웠지만, 부모님은 여전히 만족하지 않으셨습니다. 펀딩을 받은 후에야 비로소 만족하셨죠. 질문으로 돌아가면, 2023년 8월, 고객이 x.ai의 공동창업자를 소개해줬는데, 당시 그들은 아직 테슬라 사무실에 있었습니다. “메르코르는 인도의 수학과 프로그래밍에 뛰어난 슈퍼 엔지니어를 보유하고 있다”고 말했죠. 다음날 x.ai 창립자는 우리와 통화를 했고, 매우 흥분했습니다. 이틀 후 우리는 테슬라 사무실에 들어가 엘론을 제외한 거의 모든 x.ai 창립팀을 만났고, 그들은 엘론과 회의를 하기 직전이었습니다. 우리는 아직 대학생이었는데, 정말 믿기지 않는 일이었죠. 우리는 왜 그들이 우리의 제품에 그렇게 열광하는지 궁금했습니다. 시장이 너무 빠르게 변해서 아무도 알아차리지 못했기 때문입니다. 지금 우리는 규모를 키워 핵심 시장 점유율을 차지했고, 이제야 이런 이야기를 공개할 수 있게 된 것이죠. 하지만 그 당시 그들은 인간 데이터를 사용할 준비가 되어 있지 않았고, 약 6개월 후에야 최첨단 연구소들과 협력해 비즈니스를 확장할 수 있었습니다.
Jacob: 파도가 밀려오는 것을 보셨군요.
Brendan: 네, 많은 창업자들이 PMF(Product-Market Fit)를 억지로 찾으려 한다고 느낍니다. 오히려 시장의 신호를 관찰하고, 금맥이 어디 있는지 찾아 파내야 한다고 봅니다. 초기에 판매조차 어렵다면, 확장은 더 어려울 것입니다. 가장 고통스럽고, 예산이 풍부한 고객을 찾아, 그들이 문제 해결을 위해 모든 것을 기꺼이 지불하려는 의지를 갖게 한 후, 온 힘을 다해야 합니다.
Jacob: 이제 프로그래밍을 넘어섰고, 의사의 예를 들었는데, 결국 좋은 의사의 평가 기준은 모델 회사들이 모델을 훈련할 때 사용하게 될 것이며, 의사의 추론 과정이 올바른지 판단하는 데 쓰일 것입니다. 고객과 협력할 때 구체적으로 어떤 일을 합니까?
Brendan: 인간이 현재 AI보다 월등한 점은 끊임없이 학습하고 성장할 수 있다는 것입니다. 우리는 이러한 대리 신호(proxy signals)를 찾습니다. 예를 들어 후보자가 올바른 질문을 하고, 올바른 사고방식을 가지며, 고성과 환경에서의 경험을 갖고 있다면, 이는 모델의 허점을 발견하고 모델 능력을 향상시키는 데 도움이 됩니다.
Jacob: 귀사도 자사 제품을 사용하시나요? 채용에 어떻게 구체적으로 활용하고 계신가요?
Brendan: 물론입니다. 임원 직위를 제외한 모든 직무에 사용합니다. 임원 직무도 공고를 올리긴 하지만, 대부분은 제가 먼저 면접을 보는데, 주로 선별보다는 직무를 ‘팔기’ 위한 목적입니다. 우리의 AI 면접은 매우 효과적이며, 종종 가장 예측력 있는 신호가 됩니다. 많은 사람들이 채용 과정에서의 ‘분위기 판단’ 편향을 과소평가합니다. 사람들은 늘 자신의 판단이 정확하다고 생각하죠.
Jacob: 채용이야말로 가장 오래된 ‘분위기’ 산업이었죠.
Patrick: VC들은 그런 편향이 없을 겁니다.
Brendan: 그래서 우리는 성과 데이터를 기반으로 결정을 내려야 합니다. 예를 들어 전략 프로젝트 책임자를 채용할 때, 과거에는 인간이 사례 분석을 했지만, 이제는 전부 AI 면접을 사용하고 있으며, 정규직 전환률도 오히려 높아졌습니다. AI 면접은 비교를 더 객관적이고 표준화할 수 있게 해주며, 면접관마다 기준이 다른 문제를 해결합니다.
Patrick: 평가 프로세스에서 사용되는 평가자들은 직접 구하나요, 아니면 시장의 인력을 활용하나요? 내부에서 많이 하시나요?
Brendan: 우리는 시장의 인력을 활용해 자사의 평가 프로세스를 진행합니다. 고객과 유사한 방식이죠. 물론 연구원도 참여해야 합니다. 모델의 오류 원인을 분석하고, 오류 분류를 개선하며, 포스트 트레이닝 데이터를 최적화하는 등, 프로세스와 인력 활용 방식은 동일합니다.
Jacob: 열정 같은 특성을 판단하기 위해 다중 모달 기능을 활용한다고 말씀하셨는데, 향후 비디오, 오디오 등에 대한 고려는 어떻게 되나요?
Brendan: 저는 강화학습(RL)이 비디오 이해 능력을 향상시키는 데 어떤 역할을 할지 자주 생각합니다. RL은 탐색 문제에 강한데, 비디오 정보량이 방대하기 때문에 모델이 처리하기 어렵습니다. 다중 모달 컨텍스트에서 핵심 신호를 어떻게 찾을지 고민해야 하죠. 예를 들어 후보자가 흥분하고 있는지, 부정행위를 하는지 등을 판단하는 것입니다. 우리는 모델이 이러한 신호에 주목하도록 적절한 데이터를 만들어야 하며, 최첨단 연구소들도 기초 능력 향상에 힘쓰고 있습니다.
Jacob: 방금 말씀하신 것처럼, 짧은 몇 년 사이에 어노테이션 시장은 크게 변했습니다. 2년 후엔 어떻게 될 것이라고 보시나요? 이 비즈니스는 여전히 존재할까요, 아니면 전문가들만 남을까요?
Brendan: 저는 여전히 매우 중요한 분야가 될 것이라고 봅니다. 저희가 창업한 이유는 노동력을 통합해 더 효율적인 배치를 이루는 것이었죠. 핵심은 5년 후 인간이 경제에서 어떤 역할을 할지 판단하는 것입니다.
제가 보는 추세는 미래 인간은 반복적인 작업이 아닌, 모델이 아직 못 하는 일을 배우게 할 수 있는 평가 체계를 만드는 데 집중하게 될 것이라는 점입니다. 그래서 저는 지식 기반 업무가 평가 중심으로 전환되는 것을 매우 긍정적으로 봅니다. 형태는 더 동적이 될 수 있죠. 예를 들어 AI 면접관과 대화하며 문제를 해결하는 식으로요. 저는 이것이 경제의 중요한 구성 요소라고 생각하지만, 대부분의 사람들은 아직 인식하지 못하고 있습니다. 왜냐하면 사람들은 이것을 SFT, RHF 시장과 혼동하기 때문이죠. 하지만 이 두 데이터 유형의 가치는 하락하고 있으며, 예산도 줄고 있습니다.
Patrick: 미래에 어떤 기술을 가장 키우는 것이 좋을까요? 대학생들에게 조언을 한다면 무엇이라고 하시겠어요?
Brendan: 저는 누구에게나 빠르게 배우는 능력을 추구하라고 조언할 것입니다. 변화가 너무 빠르기 때문이죠. 많은 분야에서 사람들이 모델이 오랫동안 못 할 것이라 생각했는데, 금방 돌파됩니다. AI와 협업하는 법을 배우세요. 우리 플랫폼의 사람들은 종일 모델과 상호작용하며, 모델이 무엇을 못하고, 무엇이 부족한지 고민하는 것을 좋아한다고 말합니다. 이러한 경험은 실제 업무에서 어떤 단계에 AI를 활용하는 것이 더 효율적인지 판단하는 데 도움이 됩니다. 가능한 한 많은 모델을 사용하고, 해당 분야에서의 장단점을 익히는 것이 매우 유용합니다. 하지만 반드시 소프트웨어 엔지니어가 되어야 한다거나 특정 직업을 선택해야 한다고 단정하긴 어렵죠.
Jacob: 매우 흥미롭습니다. 앞으로 우리는 모두 모델을 훈련시키는 데 많은 시간을 보내게 될지도 모르겠네요. 하드 스킬은 정답이 있지만, 주관적 영역은 거의 무한합니다. 어쩌면 미래에는 우리 각자가 소유한 전용 모델을 위해 일하며 돈을 벌 수도 있겠네요.
Brendan: 완전히 동의합니다. 또한 수요 탄력성이 큰 분야에 주목하라고 조언하겠습니다. 예를 들어 소프트웨어 개발은 경제 내에서 100배, 1000배의 수요가 존재합니다. 1000개의 새로운 웹 앱이 아니라 하더라도, 수많은 기능 반복, 정렬 알고리즘 최적화 등이 필요하죠. 반면 회계사 등의 수요는 매우 고정되어 있습니다. 따라서 수요가 크게 증가하고, 총생산성을 높일 수 있는 분야로 가는 것이 더 안전합니다.
Patrick: 맞는 말씀입니다. 며칠 전 한 창업자와 대화했는데, 모두가 소프트웨어 엔지니어가 사라질 것이라고 말하지만, 실제로는 더 많은 소프트웨어 엔지니어가 필요하다고 말하더군요.
Brendan: 저도 매우 기대됩니다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
