7명의 공동 창업자 대담: Anthropic는 어떻게 탄생했나?
정리 및 번역: TechFlow
게스트: Anthropic 공동창립자 크리스 올라(Chris Olah), 잭 클라크(Jack Clark), 다니엘라 아마데이(Daniela Amodei), 샘 맥캔들리시(Sam McCandlish), 톰 브라운(Tom Brown), 다리오 아마데이(Dario Amodei), 제어드 카플란(Jared Kaplan)
팟캐스트 출처: Anthropic
원제: Building Anthropic | A conversation with our co-founders
방송일: 2024년 12월 20일
주요 요약
지난 일주일간 Anthropic은 연이어 두 차례의 사고를 겪었다.
첫 번째는 CMS 설정 오류로 인해 내부 문서 약 3,000건이 공개적으로 접근 가능해진 일이었고, 이어서 클로드 코드(Claude Code) v2.1.88 버전이 npm에 배포될 때 59.8MB 규모의 소스맵(source map)이 포함되어 51만 줄에 달하는 원본 소스코드가 그대로 노출되었다.
‘안전성’을 유전자에 새긴 기업이 자사 운영에서 연달아 실수를 저질렀다는 점은 아이러니가 극에 달했다.
그러나 조급하게 비웃기 전에, Anthropic의 7명 공동창립자들이 약 1년 전 진행한 내부 대담을 되돌아보는 것도 좋다. 이 팟캐스트는 2024년 12월에 녹음되었으며, 7명은 이 회사가 어떻게 설립되었는지, RSP(Responsible Scaling Policy, 책임 있는 확장 정책)가 어떻게 수차례 다듬어졌는지, ‘안전성’이라는 용어를 함부로 사용해서는 안 되는 이유는 무엇인지, 그리고 CEO 다리오 아마데이가 반복적으로 인용되는 다음 말을 나누었다.
“한 건물에서 매주 화재 경보가 울린다면, 그것은 사실상 매우 위험한 건물이다.”
이 말을 지금 다시 들어보면, 그 맛이 확실히 다르다.
7명의 공동창립자, 빠르게 얼굴 익히기
다리오 아마데이(Dario Amodei)｜CEO. 전 OpenAI 연구 부사장. 신경과학 전공자. Anthropic의 전략 및 안전 로드맵 최종 결정권자. 이번 대담에서 가장 많이 발언함.
다니엘라 아마데이(Daniela Amodei)｜대표이사. 다리오의 누나. 스타일(Stripe)에서 5년 6개월 동안 근무하며 신뢰 및 보안 팀을 이끌었고, 이전에는 비영리 단체 및 국제 개발 분야에서 활동했다. Anthropic의 조직 구축과 외부 소통 전반을 주도함.
제어드 카플란(Jared Kaplan)｜물리학 교수 출신 AI 연구자. 스케일링 법칙(scaling laws) 핵심 저자 중 한 명. 종종 외부 관찰자 시각에서 판단을 제공하며, 스스로 “물리학을 하다가 지겨워서 AI를 시작했다”고 밝힘.
크리스 올라(Chris Olah)｜가시성(interpretability) 연구의 대표적 인물. 19세에 베이 에어리어 AI 커뮤니티에 입문, Google Brain 및 OpenAI에서 근무. Anthropic 내에서 기술적 이상주의 색채가 가장 강한 인물.
톰 브라운(Tom Brown)｜GPT-3 논문 제1저자. 현재 Anthropic의 컴퓨팅 자원을 총괄. 엔지니어링 및 인프라 관점에서 접근하며, 팟캐스트에서 “AI가 이렇게 빨리 성장할 것이라고 믿지 않았다”는 초기 인식에서부터 태도 변화 과정을 상세히 설명함.
잭 클라크(Jack Clark)｜전 블룸버그 테크놀로지 기자. Anthropic의 정책 및 공공관계 담당자. 이번 대담에서는 사회자 역할을 맡아 흐름을 이끌고 질문을 던짐.
샘 맥캔들리시(Sam McCandlish)｜연구 공동창립자. 전체 발언량은 가장 적지만, 한마디로 핵심을 찌르는 ‘마무리 역할’을 맡음.
주요 인사이트 요약
왜 AI를 하는가: 물리학의 지루함에서부터 ‘충분히 보고 믿게 되는 순간’까지
제어드 카플란: “저는 오랫동안 물리학을 했는데, 어느 순간 지루해졌고, 더 많은 친구들과 함께 일하고 싶기도 해서 AI를 선택했습니다.”
다리오 아마데이: “저는 당신을 설득했다고 생각하지 않습니다. 다만 계속해서 AI 모델 결과물을 보여줬을 뿐이죠. 어느 시점이 되자 제가 충분히 많이 보여줘서, 당신이 ‘음, 이게 맞는 것 같군요’라고 말하게 된 겁니다.”
반대되는 합의에 대한 도전: 대부분의 합의는 성숙함을 가장한 양군 효과일 뿐
제어드 카플란: “많은 AI 연구자들은 AI 겨울(AI winter)의 심리적 충격으로 인해 야심을 품는 것이 허락되지 않는 듯한 분위기를 느낍니다.”
다리오 아마데이: “지난 10년간 제가 얻은 가장 깊은 교훈은 바로 이것입니다. ‘모두가 아는’ 합의라는 것이 실제로는 양군 효과가 성숙함을 가장한 것이라는 점이죠. 합의가 하룻밤 사이에 뒤집힌 사례를 몇 차례 목격하면, ‘아니, 우리는 이 방향에 걸겠습니다’라고 결론 내리게 됩니다. 50% 확률로 맞더라도, 다른 이들이 하지 못한 기여를 할 수 있기 때문입니다.”
안전성과 규모화는 서로 얽혀 있다
다리오 아마데이: “우리가 당시 모델 규모를 확장하려고 한 동기 중 하나는, RLHF(RLHF: Reinforcement Learning from Human Feedback)를 성공적으로 적용하기 위해선 모델 자체가 충분히 똑똑해야 한다는 점이었습니다. 이것이 우리가 지금까지도 믿는 바입니다. 즉, 안전성과 규모화는 서로 얽혀 있습니다.”
RSP, 책임 있는 확장 정책은 Anthropic의 ‘헌법’이다
톰 브라운: “RSP는 Anthropic에게 있어 마치 우리 헌법과 같습니다. 이것은 지침을 제시하는 핵심 문서이며, 따라서 우리는 이를 반복적으로 다듬기 위해 막대한 시간과 노력을 기꺼이 투입합니다.”
다리오 아마데이: “RSP는 안전 기준을 충족하지 못하는 계획의 진행을 차단합니다. 우리는 단순한 구호를 외치는 것이 아니라, 안전성을 실제 모든 단계에 구체적으로 통합하고 있습니다.”
화재 경보가 너무 자주 울리면, 진짜 불이 날 때는 아무도 도망가지 않는다
다니엘라 아마데이: “우리는 ‘안전성’이라는 단어를 함부로 사용해 업무 진척을 좌우해서는 안 됩니다. 우리의 진정한 목표는 모두가 우리가 말하는 ‘안전성’이 정확히 무엇인지 명확히 이해하도록 만드는 것입니다.”
다리오 아마데이: “진짜로 안전성을 해치는 것은 오히려 빈번한 ‘안전 훈련’입니다. 어떤 건물에서 매주 화재 경보가 울린다면, 그 건물은 사실상 매우 위험한 건물입니다.”
‘고귀한 실패’는 함정이다
크리스 올라: “가장 도덕적인 행동은 안전을 위해 다른 목표를 희생함으로써 자신의 순수성을 증명하려는 것이라는 주장이 있습니다. 그러나 이런 방식은 오히려 자기 파괴적입니다. 왜냐하면 이는 안전을 중요시하지 않는 사람들의 손에 의사결정권을 넘겨주는 결과를 초래하기 때문입니다.”
공동창립자들이 수입의 80% 기부를 약속함
톰 브라운: “우리는 모두 수입의 80%를 사회 발전을 촉진하는 사업에 기부하기로 공동 약속했으며, 이는 모두가 망설임 없이 지지한 사항입니다.”
누구도 창업을 원하지 않았지만, 반드시 해야만 했다
샘 맥캔들리시: “실제로 우리 중 누구도 처음부터 회사를 설립하려는 의도를 가진 사람은 없습니다. 다만, AI가 올바른 방향으로 발전하도록 보장하기 위한 유일한 길이라 여겨, 그것이 우리의 책임이라고 느꼈을 뿐입니다.”
다니엘라 아마데이: “우리의 미션은 명확하고 순수합니다. 기술 산업 내에서 이런 경우는 드뭅니다.”
가시성: 신경망 안에는 ‘인공 생물학’ 전체가 숨어 있다
크리스 올라: “신경망은 매우 아름답습니다. 아직 우리가 보지 못한 아름다움이 많습니다. 저는 가끔 10년 후 서점에 가서 신경망 생물학 교과서를 사는 상상을 합니다. 그 책에는 정말 놀라운 내용들이 가득할 테니까요.”
AI는 민주주의를 강화하는 도구가 되어야지, 독재의 도구가 되어서는 안 된다
다리오 아마데이: “AI가 잘못 개발될 경우 독재주의의 도구가 될 수 있다는 점을 우려합니다. 그렇다면 어떻게 해야 AI를 자유와 자결권을 촉진하는 도구로 만들 수 있을까요? 이 영역의 중요성은 생물학이나 가시성 연구와 전혀 다르지 않습니다.”
백악관 회의에서 노벨상까지: AI의 영향력은 이미 기술계를 넘어섰다
제어드 카플란: “2018년에는 대통령이 언어 모델에 관심을 갖고 당신을 백악관에 불러들일 거라고는 상상조차 못 했을 겁니다.”
다리오 아마데이: “화학 분야 노벨상을 알파폴드(AlphaFold)에 수여한 것을 이미 보았습니다. 우리는 수백 개의 알파폴드를 만들어낼 수 있는 도구를 개발하려 노력해야 합니다.”
왜 AI를 연구하는가?
잭 클라크: 왜 처음부터 AI를 하려 했나요? 제어드, 당신은 왜 AI를 하려 했습니까?
제어드 카플란:
저는 오랫동안 물리학을 했는데, 어느 순간 지루해졌고, 더 많은 친구들과 함께 일하고 싶기도 해서 AI를 선택했습니다.
톰 브라운:
저는 다리오가 당신을 설득했다고 생각했는데요.
다리오 아마데이:
저는 당신을 명확히 ‘설득’했다고 생각하지 않습니다. 다만 계속해서 AI 모델 결과물을 보여줬을 뿐이고, 그것들이 특정 문제에만 국한되지 않고 광범위하게 적용 가능하다는 점을 표현하려 했습니다. 어느 시점이 되자 제가 충분히 많이 보여줘서, 당신이 ‘음, 이게 맞는 것 같군요’라고 말하게 된 겁니다.
잭 클라크: 크리스, 당신이 가시성 연구를 시작할 무렵, 구글에서 모두를 처음 만났나요?
크리스 올라:
아니요. 사실 저는 19세에 베이 에어리어에 처음 왔을 때 이미 여러분 중 여러 분을 만났습니다. 당시 다리오와 제어드는 박사후 과정을 밟고 있었고, 당시로서는 정말 멋져 보였습니다. 이후 저는 구글 브레인(Google Brain)에서 일했고, 다리오가 합류한 후 한동안 같은 자리에서 함께 일했으며, 톰과도 함께 작업한 적이 있습니다. 이후 오픈AI에 갔을 때는 여러분 모두와 함께 일을 했습니다.
잭 클라크:
저는 2015년 한 회의에서 다리오를 인터뷰하려 했던 기억이 납니다. 당시 구글 PR 담당자는 제가 먼저 당신의 논문을 모두 읽어야 한다고 말했었죠.
다리오 아마데이:
저는 당시 구글에서 《Concrete Problems in AI Safety》를 집필하고 있었습니다.
샘 맥캔들리시:
제가 당신과 함께 일하기 전, 당신은 제게 사무실로 와서 AI 전반을 설명해주셨습니다. 대화 후 제가 생각했던 건 ‘이 일이 제가 예상했던 것보다 훨씬 심각하다’는 것이었습니다. 당시 당신은 ‘대규모 컴퓨팅 블록’, 파라미터 수, 인간 뇌 신경세포 규모 등에 대해 말씀하셨습니다.
파격적인 확장
잭 클라크: 저는 오픈AI에서 스케일링 법칙을 연구할 때, 모델을 크게 만드는 것이 실제로 효과가 있고, GPT-2에서 스케일링 법칙, GPT-3에 이르기까지 여러 프로젝트에서 꾸준하고 기묘하게 효과가 있었다는 점을 기억합니다. 그렇게 우리는 점점 더 가까워졌습니다.
다리오 아마데이: 우리는 바로 그 ‘일을 해내는 사람들’이었습니다.
제어드 카플란: 우리는 안전성에도 큰 열정을 품고 있었고, 당시에는 이런 생각이 있었습니다. 즉, AI는 매우 강력해질 수 있지만, 인간의 가치를 이해하지 못하거나 심지어 우리와 소통조차 못할지도 모른다는 것이었습니다. 언어 모델은 어느 정도, 그러한 암묵적 지식을 이해해야 한다는 점에서 보장된다고 볼 수 있었습니다.
다리오 아마데이:
또한 언어 모델 위에 구축되는 RLHF(RLHF: Reinforcement Learning from Human Feedback)에 대해서도 고민했습니다. 당시 모델 규모를 확장하려는 동기 중 하나는, RLHF를 성공적으로 적용하기 위해선 모델 자체가 충분히 똑똑해야 한다는 점이었습니다. 이것이 우리가 지금까지도 믿는 바입니다. 즉, 안전성과 규모화는 서로 얽혀 있습니다.
크리스 올라:
맞습니다. 당시 스케일링 작업은 사실 안전팀의 일부이기도 했습니다. 왜냐하면 우리가 안전성을 진지하게 받아들이도록 하려면, 먼저 AI의 추세를 예측할 수 있어야 한다고 생각했기 때문입니다.
잭 클라크: 저는 영국 어느 공항에서 GPT-2를 활용해 가짜 뉴스를 생성한 후, 슬랙(Slack)에서 다리오에게 “이것은 실제로 쓸모가 있으며, 엄청난 정책적 영향을 미칠 수 있습니다”라고 보내고, 다리오가 “네”라고 답한 기억이 납니다.
그 후 우리는 발표 관련 작업을 많이 했고, 정말 미친 일이었습니다.
다니엘라 아마데이:
저는 발표 당시 상황을 기억합니다. 그때가 우리가 진정으로 처음 협업을 시작한 순간이었고, GPT-2 발표가 바로 그 첫 사례였습니다.
잭 클라크:
저는 그 경험이 우리에게 큰 도움이 되었다고 생각합니다. 먼저 ‘약간 이상하지만 안전 중심’의 일을 함께 했고, 이후에는 더 규모가 크고, 역시 약간 이상하지만 안전 중심인 Anthropic을 함께 설립했습니다.
AI의 출발점
톰 브라운: 이제 《Concrete Problems》 논문으로 돌아가겠습니다. 저는 2016년에 오픈AI에 입사했는데, 당시 당신과 저는 가장 초기 멤버였습니다. 당시 저는 이 논문이 최초의 주류 AI 안전성 논문처럼 느껴졌습니다. 어떻게 쓰게 되셨나요?
다리오 아마데이:
크리스는 알고 있습니다. 그가 참여했습니다. 당시 우리는 구글에서 일하고 있었고, 제가 당시 주요 프로젝트가 뭐였는지는 이미 잊어버렸습니다. 이 논문은 제게는 일종의 ‘미루기’였습니다.
우리는 AI 안전성 분야의 개방적 문제들을 정리하고 싶었습니다. 당시 AI 안전성은 항상 매우 추상적으로 논의되었고, 우리는 그것을 당시 실제 머신러닝(Machine Learning)에 구체적으로 연결하고 싶었습니다. 지금은 이미 6~7년간 이 선상에서 연구가 이어지고 있지만, 당시에는 이 생각 자체가 꽤 특이했습니다.
크리스 올라:
제가 보기엔 이 논문은 어쩌면 정치적 프로젝트에 가까웠습니다. 당시 많은 사람들이 안전성을 진지하게 여기지 않았습니다. 우리는 사람들이 인정할 만한 합리적인 문제 목록을 정리하려 했고, 그 문제들은 이미 문헌에 존재하는 것들이 많았습니다. 또한, 여러 기관에서 신뢰받는 인물들을 공동 저자로 초청해 공신력을 확보하려 했습니다.
저는 이 논문을 발표하기 위해 브레인(Brain) 내 20여 명의 연구자들과 오랜 시간 소통하며 지지 확보에 힘썼습니다. 문제 자체만 보면 오늘날 기준으로는 모두 타당하지 않을 수도 있고, 가장 적절한 문제일 수도 없습니다. 하지만 ‘이곳에는 진짜 문제들이 있고, 이를 진지하게 다뤄야 한다’는 공감대 형성이라는 관점에서 보면, 이는 중요한 순간이었습니다.
잭 클라크:
결국 당신은 매우 특이한 공상과학 세계에 들어가게 되는데, 저는 Anthropic 초기에 헌법 기반 AI(Constitutional AI)를 이야기할 때를 기억합니다. 제어드는 ‘우리가 언어 모델을 위한 헌법을 작성하면, 그 행동이 바뀐다’고 말했습니다. 당시에는 정말 미친 소리처럼 들렸습니다. 그런데 왜 그게 가능하다고 생각했나요?
제어드 카플란:
저는 다리오와 오랫동안 논의했습니다. 저는 AI에서 단순한 방법이 종종 극도로 효과적이라는 점을 믿습니다. 최초 버전은 꽤 복잡했지만, 계속해서 단순화해 결국 다음과 같이 정리됐습니다. 즉, 모델이 선택지를 잘 고르는 능력을 활용해, 명확한 프롬프트를 통해 어떤 것을 찾아야 하는지를 알려주는 것으로 충분하다는 점입니다. 그런 후 우리는 원칙을 직접 서술할 수 있습니다.
다리오 아마데이:
이는 ‘대규모 컴퓨팅 블록(The Big Blob of Compute)’, ‘쓴 교훈(The Bitter Lesson)’, ‘확장 가설(Scaling Hypothesis)’으로 돌아갑니다. 즉, AI에게 명확한 목표와 데이터만 주면, 그것이 학습할 수 있다는 점입니다. 일련의 지시사항과 원칙은 언어 모델이 읽을 수 있으며, 자신의 행동과 비교할 수도 있고, 학습 목표는 바로 그곳에 있습니다. 그래서 제어드와 저는 세부 사항을 반복적으로 조정하면 반드시 성공할 수 있다고 믿었습니다.
제어드 카플란:
저는 물리학에서 전환한 입장이라 초기에는 매우 이상하게 느꼈습니다. 지금은 모두가 AI에 열광하지만, 당시 분위기는 잊기 쉽습니다. 당시 다리오와 이런 얘기를 나눌 때, 많은 AI 연구자들이 AI 겨울의 심리적 충격으로 인해 ‘야심’을 품는 것이 허락되지 않는 듯한 분위기를 느꼈습니다. 안전성에 대해 논의하려면, 먼저 AI가 매우 강력하고 유용할 수 있다는 믿음이 필요하지만, 당시에는 오히려 ‘야심’을 금지하는 분위기였습니다. 물리학자의 장점 중 하나는 ‘오만함’인데, 그들은 종종 거대한 그림을 그리는 일을 하며, 거대한 비전을 말하는 데 quenched됩니다.
다리오 아마데이:
저는 이것이 사실이라고 생각합니다. 2014년에는 많은 말이 그냥 하지 못했습니다. 이는 학계 전반의 일반적 문제이기도 한데, 특정 분야를 제외하고는 기관들이 점점 더 리스크를 꺼리게 되었고, 산업계 AI도 이 심리를 이어받았습니다. 저는 이 심리가 2022년경에야 비로소 벗어났다고 생각합니다.
크리스 올라:
‘보수성’에는 두 가지 형태가 있습니다. 하나는 위험을 진지하게 고려하는 것이고, 또 하나는 진지하게 고려하면서도 아이디어가 성공할 수 있다고 믿는 것을 오만하다고 보는 것입니다. 우리는 당시 후자의 분위기가 지배적이었습니다. 역사적으로 1939년 원자핵 물리학 논의에서도 유사한 상황이 있었습니다. 페르미(Fermi)는 반대했고, 시즐러드(Szilard)나 텔러(Teller)는 위험을 더 진지하게 고려했습니다.
다리오 아마데이:
지난 10년간 제가 얻은 가장 깊은 교훈은 ‘모두가 아는’ 합의가 사실은 양군 효과가 성숙함을 가장한 것이라는 점입니다. 합의가 하룻밤 사이에 뒤집힌 사례를 몇 차례 목격하면, ‘아니, 우리는 이 방향에 걸겠습니다’라고 결론 내리게 됩니다. 꼭 100% 정확하지 않더라도, 잡음을 무시하고 자신 있게 베팅하는 것입니다. 50% 확률로 맞더라도, 다른 이들이 하지 못한 기여를 할 수 있습니다.
인공지능에 대한 대중 인식의 변화
제어드 카플란: 오늘날 일부 안전 이슈에서도 마찬가지입니다. 외부의 합의는 많은 안전 문제가 기술 내부에서 자연스럽게 발생하지 않을 것이라고 보지만, Anthropic에서 우리는 그것이 실제로 자연스럽게 나타난다는 것을 연구를 통해 확인했습니다.
다니엘라 아마데이:
하지만 지난 18개월 동안 이러한 인식은 변화하고 있으며, 동시에 세계가 AI에 대해 갖는 감정도 명확히 바뀌고 있습니다. 사용자 연구를 수행할 때, 일반 사용자들이 AI가 세상 전반에 미칠 영향을 걱정하는 경우가 훨씬 더 자주 발견됩니다.
때로는 일자리, 편향, 독성 문제에 대해 걱정하고, 때로는 ‘이것이 세상을 혼란스럽게 만들거나 인간 협업 방식을 바꿀 것인가’에 대해 걱정합니다. 이 부분은 제가 처음부터 예상하지 못한 부분이기도 합니다.
샘 맥캔들리시:
어떤 이유에서인지, 머신러닝 연구 커뮤니티는 대중보다 ‘AI가 매우 강력해질 것’에 대해 더 비관적입니다.
제어드 카플란:
2023년 저는 다리오와 함께 백악관을 방문했습니다. 회의에서 해리스(Harris), 라이몬도(Raimondo)는 기본적으로 ‘우리는 여러분을 주시하고 있으며, AI는 중대한 사안이며, 우리는 진지하게 주목하고 있다’고 말했습니다. 하지만 2018년에는 ‘대통령이 언어 모델에 관심을 갖고 당신을 백악관에 불러들일 것’이라고는 상상조차 못 했을 겁니다.
톰 브라운:
흥미로운 점은, 우리가 이 일을 시작했을 당시에는 아직 불확실해 보였다는 점입니다. 페르미가 원자폭탄에 대해 회의적이었던 것처럼, 원자폭탄이 제작될 수 있다는 증거도 있었지만, 그렇지 않을 것이라는 증거도 많았습니다. 그러나 그는 그것이 사실이라면 엄청난 영향을 미칠 것이므로, 시도해볼 가치가 있다고 결론 내렸습니다.
2015–2017년에는 AI가 중대한 사건이 될 수 있다는 증거가 점차 늘어났고, 저는 2016년에 지도교수와 이런 대화를 나눴습니다. “저는 창업을 해본 적이 있고, AI 안전성을 하고 싶지만, 수학 실력이 부족해 어떻게 해야 할지 모르겠습니다.” 당시 누군가는 제가 의사결정 이론을 완벽히 알아야 한다고 했고, 또 다른 이는 ‘광기 어린 AI 사건은 일어나지 않을 것’이라고 했으며, 실제로 지지해주는 사람은 거의 없었습니다.
잭 클라크:
저는 2014년 이미지넷(ImageNet) 추세 보도를 하면서 미쳤다는 소리를 들었습니다. 2015년에는 논문마다 GPU를 언급하는 엔비디아(NVIDIA)에 관한 기사를 쓰려 했을 때도 미쳤다는 소리를 들었고, 2016년에는 뉴스를 떠나 AI 분야로 전향했을 때도 메일로 ‘당신은 인생 최대의 실수를 저질렀다’고 받았습니다. 당시 여러 관점에서 볼 때, ‘확장이 성공할 것’에 진지하게 베팅하는 것은 정말 미친 짓처럼 보였습니다.
제어드 카플란: 당신은 어떻게 결정했나요? 망설였나요?
잭 클라크:
저는 반대 방향으로 베팅했습니다. 전담 AI 기자로 전환하고 급여를 두 배로 올려달라고 요구했는데, 제가 알기에 그들은 절대 승낙하지 않을 테니까요. 그리고 다음 날 아침 일어나서 바로 사직했습니다. 왜냐하면 저는 매일 아카이브 문서를 읽고 있었고, 어떤 미친 규모의 대사건이 일어나고 있다는 느낌을 늘 받았고, 어느 순간에는 확신을 가지고 베팅해야 한다고 느꼈기 때문입니다.
톰 브라운:
저는 그렇게 단호하지는 않았고, 6개월 동안 망설였습니다.
다니엘라 아마데이:
그리고 당시 ‘엔지니어도 AI를 상당히 이끌 수 있다’는 생각은 주류가 아니었습니다. 당시에는 ‘연구자만이 AI를 할 수 있다’는 인식이 강했기 때문에, 당신의 망설임은 전혀 이상하지 않았습니다.
톰 브라운:
그 후 오픈AI에서 ‘당신은 엔지니어링을 통해 AI 안전성을 도울 수 있다’고 말했을 때, 비로소 제가 합류했습니다. 다니엘라, 당신은 오픈AI에서 제 상사였는데, 당시 왜 합류하셨나요?
다니엘라 아마데이:
저는 스타일(Stripe)에서 5년 6개월 동안 근무했고, 그레그(Greg)가 제 상사였습니다. 저는 그레그와 다리오를 소개한 적도 있습니다. 당시 그레그는 오픈AI를 설립하려 했고, 저는 그에게 “제가 아는 가장 똑똑한 사람은 다리오입니다. 만약 그를 팀에 합류시킬 수 있다면, 정말 행운이겠네요”라고 말했습니다. 이후 다리오가 오픈AI에 합류했습니다.
아마 당신과 비슷하게, 저는 스타일을 떠난 후 무엇을 할지 고민하고 있었습니다. 제가 스타일에 합류한 이유는 이전에 비영리 단체 및 국제 개발 분야에서 일할 때, 제가 더 많은 기술을 배워야 한다고 느꼈기 때문입니다. 사실 당시 저는 결국 그 분야로 돌아갈 것이라고 생각했습니다.
스타일에 합류하기 전, 저는 조건이 더 나은 사람들보다 열악한 처지에 있는 사람들을 돕기 위해 충분한 역량을 갖추지 못했다고 느꼈습니다. 그래서 저는 다른 기술 기업들을 주의 깊게 관찰하며, 더 큰 영향을 미칠 수 있는 새로운 방식을 찾고 있었습니다. 당시 오픈AI는 훌륭한 선택지로 보였습니다. 이는 매우 중요하고 거대한 목표를 추구하는 비영리 기관이었기 때문입니다.
저는 항상 AI의 잠재력을 믿어왔습니다. 왜냐하면 다리오에 대해서도 어느 정도 알고 있었고, 실제로 그들이 누군가의 도움을 필요로 하고 있었기 때문입니다. 그래서 이 일은 제 배경과 매우 잘 맞는다고 생각했습니다. 당시 저는 이렇게 생각했습니다. “이곳은 비영리 기관이며, 매우 훌륭하고 아름다운 비전을 가진 사람들이 모여 있지만, 운영은 다소 혼란스러워 보인다.” 바로 이 도전이 제게 흥미를 주었고, 제가 들어가서 도울 수 있다고 느꼈습니다.
당시 저는 멀티플레이어처럼 행동했습니다. 팀원들을 관리하는 일은 물론, 일부 기술 팀을 이끄는 일, 조직 확장을 위한 관리 업무, 언어 팀에서의 활동, 이후 다른 여러 업무를 맡았습니다. 정책 관련 업무에도 참여했고, 크리스와도 협업했습니다. 회사에는 훌륭한 인재들이 많았고, 이는 제가 꼭 들어가고 싶게 만든 요인이었습니다. 회사가 더 효율적이고 체계적으로 운영되도록 돕고 싶었습니다.
잭 클라크: 저는 GPT-3 발표 후 당신이 ‘여러분은 트러스트 앤드 세이프티(trust and safety)를 들어보셨나요?’라고 말한 기억이 납니다.
다니엘라 아마데이:
저는 이전에 스타일에서 트러스트 앤드 세이프티 팀을 이끌었습니다. 이런 기술을 다룰 때는 트러스트 앤드 세이프티를 고려해야 한다는 점을 제안했습니다. 이는 인공지능 안전성 연구(AI Safety Research)와 더 실용적인 일상 업무 사이의 다리 역할을 합니다. 즉, 어떻게 하면 모델을 진정으로 안전하게 만들 수 있을까 하는 문제입니다.
‘이 기술이 미래에 중대한 영향을 미칠 것’이라는 점을 제시하는 것은 매우 중요합니다. 동시에, 우리는 더 실용적인 일상 업무를 수행함으로써, 훨씬 더 높은 위험 수준을 다루게 될 미래 상황에 대비해야 합니다.
책임 있는 확장 정책: AI의 안전한 발전 보장
잭 클라크: 이제 책임 있는 확장 전략(RSP, Responsible Scaling Policy)이 어떻게 제안되었는지, 왜 우리가 이를 고민하게 되었는지, 그리고 특히 현재 모델의 신뢰성 및 안전성 측면에서 어떻게 적용하고 있는지에 대해 이야기해보겠습니다. 그렇다면, 이 RSP(책임 있는 확장 전략)는 누구에 의해 처음 제안된 것입니까?
다리오 아마데이:
처음에는 폴 크리스티아노(Paul Christiano)와 제가 2022년 말쯤 제안했습니다. 초기 아이디어는, 특정 규모에 도달하기 전까지 모델 확장을 일시적으로 제한하고, 특정 안전 문제를 해결할 때까지 기다리는 것이었습니다.
하지만 이후 우리는 단순히 특정 시점에서 확장을 제한했다가 다시 풀어주는 방식은 다소 이상하다는 결론을 내렸습니다. 그래서 우리는 일련의 임계점을 설정하기로 했습니다. 모델이 각 임계점에 도달할 때마다, 해당 모델이 필요한 안전 능력을 갖추고 있는지를 평가하는 일련의 테스트를 수행해야 합니다.
각 임계점에 도달할 때마다, 우리는 더욱 엄격한 안전 및 보호 조치를 취해야 합니다. 그러나 초기부터 우리는 이런 전략이 제3자에 의해 실행되는 것이 더 낫다는 생각을 했습니다. 즉, 이 전략은 단일 기업이 독점적으로 담당해서는 안 되며, 그렇지 않으면 다른 기업들이 이를 채택하기를 꺼릴 수 있습니다. 따라서 폴이 직접 이 전략을 설계했습니다. 물론 시간이 지나면서 많은 세부 사항이 변경되었습니다. 우리 팀은 이 전략이 더 잘 작동하도록 연구해왔습니다.
폴이 이 개념을 정리한 후, 거의 동시에 우리도 1~2개월 안에 자체 버전을 발표했습니다. 사실 우리 팀의 많은 구성원들이 이 과정에 깊이 관여했습니다. 저는 최소한 초안 중 하나를 썼다고 기억하지만, 전체 문서는 여러 차례 수정을 거쳤습니다.
톰 브라운:
RSP는 Anthropic에게 있어 마치 우리 ‘헌법’과 같습니다. 이것은 지침을 제시하는 핵심 문서이며, 따라서 우리는 이를 반복적으로 다듬기 위해 막대한 시간과 노력을 기꺼이 투입합니다.
다니엘라 아마데이:
저는 RSP가 Anthropic의 발전 과정에서 정말 흥미롭다고 생각합니다. 이는 여러 단계를 거치며, 다양한 기술을 동원해 추진되어야 했습니다. 예를 들어, 거대한 비전은 다리오, 폴, 샘, 제어드 등이 주도했고, 그들은 ‘우리의 핵심 원칙은 무엇인가? 우리가 전달하고 싶은 메시지는 무엇인가? 우리가 올바른 방향으로 가고 있는지 어떻게 확인할 수 있는가?’ 등을 고민했습니다.
그러나 이와 더불어 매우 실용적인 운영 측면의 작업도 있었습니다. 지속적인 반복 과정에서 우리는 세부 사항을 평가하고 조정했습니다. 예를 들어, 특정 안전 수준에서 달성할 수 있을 것으로 예상했던 목표가 달성되지 않았다면, 우리는 이를 재평가하고, 자신의 업무 결과에 대해 책임을 질 수 있도록 했습니다.
또한 조직 구조와 관련된 많은 조정도 있었습니다. 예를 들어, RSP의 조직 구조를 재설계하여 책임을 더 명확히 분담하기로 결정했습니다. 저는 이 문서의 중요성을 헌법에 비유하는 것을 좋아합니다. 미국은 헌법의 이행을 보장하기 위해 법원, 대법원, 대통령, 상·하원 등 일련의 제도와 기관을 설립했습니다. 물론 이 기관들은 다른 책임도 맡고 있지만, 그 존재 자체가 헌법을 수호하기 위한 것이기도 합니다. Anthropic의 RSP도 유사한 과정을 겪고 있습니다.
샘 맥캔들리시:
저는 이것이 안전 문제에 대한 우리 핵심 관점을 반영한다고 생각합니다. 즉, 안전 문제는 해결 가능한 문제라는 점입니다. 이는 매우 복잡하고 어려운 작업이며, 막대한 시간과 노력을 투입해야 합니다.
자동차 안전 분야도 마찬가지로, 관련 제도와 기관이 오랜 기간에 걸쳐 발전해 왔습니다. 그러나 우리가 직면한 문제는 이 작업을 완료하기에 충분한 시간이 있는가? 하는 점입니다. 따라서 우리는 가능한 한 빨리 AI 안전성에 필요한 핵심 제도를 파악하고, 우리 내부에서 먼저 구축한 후, 다른 기관에서도 이를 모방하고 확산시킬 수 있도록 해야 합니다.
다리오 아마데이:
이것은 또한 조직 내 협업을 통일시키는 데도 도움이 됩니다. 왜냐하면 조직 내 어떤 부서라도 우리의 안전 가치관에 어긋나는 행동을 하게 되면, RSP가 이를 어떤 방식으로든 드러내기 때문입니다. RSP는 안전 기준을 충족하지 못하는 계획의 진행을 차단합니다. 따라서 RSP는 모든 사람에게 지속적으로 안전성이 제품 개발 및 계획 수립의 기본 요구사항임을 상기시키는 도구이기도 합니다. 우리는 단순한 구호를 외치는 것이 아니라, 안전성을 실제로 모든 단계에 구체적으로 통합하고 있습니다. 누군가 팀에 합류한 후 이 원칙들을 받아들이지 못한다면, 그는 스스로 적응하지 못한다는 것을 깨닫게 될 것입니다. 즉, 이 방향에 적응하거나, 계속하기 어려운 상황에 처하게 될 것입니다.
잭 클라크:
시간이 지남에 따라 RSP는 점점 더 중요해졌습니다. 우리는 이를 위해 수천 시간의 작업을 투입했고, 제가 상원의원들에게 RSP를 설명할 때는 “우리는 기술이 남용되기 어렵고 동시에 안전하도록 보장하는 조치를 마련했습니다”라고 말했습니다. 그들의 반응은 일반적으로 “그렇게 들리면 당연한데요. 모든 기업이 그렇게 하지 않나요?”였습니다. 이에 저는 어쩔 수 없이 웃음을 참지 못했습니다. 사실 모든 기업이 그렇게 하지는 않습니다.
다니엘라 아마데이:
또한 저는 RSP가 팀의 가치관 일관성을 촉진하는 것 외에도, 회사의 투명성을 높인다고 생각합니다. 왜냐하면 RSP는 우리의 목표가 무엇인지 명확히 기록해 두기 때문에, 회사 내 모든 사람이 이를 이해할 수 있고, 외부 사람들도 우리의 안전 목표와 방향을 명확히 알 수 있기 때문입니다. 물론 아직 완벽하지는 않지만, 우리는 이를 지속적으로 최적화하고 개선하고 있습니다.
저는 ‘우리가 주목하는 핵심 문제는 무엇인가’를 명확히 지적하는 것이 중요하다고 생각합니다. 우리는 ‘안전성’이라는 단어를 함부로 사용해 업무 진척을 좌우해서는 안 됩니다. 예를 들어, ‘안전 문제 때문에 우리는 이 일을 하지 못한다’거나 ‘안전 문제 때문에 우리는 반드시 이 일을 해야 한다’고 말해서는 안 됩니다. 우리의 진정한 목표는 모두가 우리가 말하는 ‘안전성’이 정확히 무엇인지 명확히 이해하도록 만드는 것입니다.
다리오 아마데이:
장기적으로 볼 때, 진짜로 안전성을 해치는 것은 오히려 빈번한 ‘안전 훈련’입니다. 저는 “어떤 건물에서 매주 화재 경보가 울린다면, 그 건물은 사실상 매우 위험한 건물이다”라고 말한 적이 있습니다. 왜냐하면 진짜 화재가 발생했을 때, 아무도 경보를 믿지 않게 될 수 있기 때문입니다. 우리는 경보의 정확성과 보정에 매우 주의해야 합니다.
크리스 올라:
다른 관점에서 보면, 저는 RSP가 여러 측면에서 건강한 인센티브를 창출한다고 생각합니다. 예를 들어, 회사 내부에서는 RSP가 각 팀의 인센티브를 안전 목표와 일치시킵니다. 즉, 우리가 안전 분야에서 충분한 진전을 이루지 못하면, 관련 작업은 중단됩니다.
외부에서도 RSP는 다른 방법보다 더 건강한 인센티브를 창출합니다. 예를 들어, 언젠가 우리가 모델이 어느 단계에 도달했지만, 아직 그 안전성을 보장할 수 없다는 중대한 결정을 내려야 할 때, RSP는 그 결정을 뒷받침하는 명확한 프레임워크와 증거를 제공합니다. 이 프레임워크는 사전에 존재하며, 명확하고 이해하기 쉽습니다. RSP 초기 버전을 논의할 때 저는 그 잠재력을 완전히 인지하지 못했지만, 지금은 그것이 제가 생각해낸 다른 어떤 방법보다 더 효과적이라고 확신합니다.
제어드 카플란:
저는 이 관점에 동의하지만, 올바른 정책을 수립하고 평가 기준을 설정하며 경계를 정의하는 데 직면한 도전이 얼마나 크고 복잡한지를 과소평가하고 있다고 생각합니다. 우리는 이미 이러한 분야에서 수차례 반복 작업을 수행했고, 여전히 최적화를 계속하고 있습니다. 어려운 문제 중 하나는, 새로운 기술에 대해 그것이 위험한지 안전한지 명확히 판단하기가 어렵다는 점입니다. 종종 우리는 거대한 회색 지대를 마주하게 됩니다. 이러한 도전은 RSP 개발 초기에 저를 매우 흥분시켰고, 지금도 그렇습니다. 그러나 동시에, 이 전략을 명확히 구현하고 실제로 작동하게 만드는 것이 제가 처음 생각했던 것보다 훨씬 더 복잡하고 도전적이라는 점도 인식하고 있습니다.
샘 맥캔들리시:
회색 지대는 완전히 예측할 수 없습니다. 왜냐하면 그것은 어디에나 존재하기 때문입니다. 당신이 실제로 실행을 시작해야만, 문제의 위치를 알 수 있습니다. 따라서 우리의 목표는 가능한 한 빨리 모든 것을 실행하여, 잠재적 문제를 빨리 발견하는 것입니다.
다리오 아마데이:
완벽함에 도달하려면 반드시 3~4차례 반복해야 합니다. 반복은 매우 강력한 도구이며, 처음부터 완벽하게 맞추는 것은 거의 불가능합니다. 따라서 위험이 계속 증가하고 있다면, 마지막 순간까지 기다리지 말고 가능한 한 빨리 반복을 완료해야 합니다.
잭 클라크:
동시에, 당신은 내부 제도와 프로세스도 구축해야 합니다. 구체적인 세부 사항은 시간이 지남에 따라 변할 수 있지만, 팀의 실행 역량을 기르는 것이 가장 중요합니다.
톰 브라운:
저는 Anthropic의 컴퓨팅 자원 관리를 담당하고 있습니다. 저에게는 외부 이해관계자들과의 소통이 중요합니다. 다양한 외부 인사들은 기술 발전 속도에 대해 서로 다른 견해를 가지고 있습니다. 저는 처음에는 기술이 그렇게 빨리 발전하지 않을 것이라고 생각했지만, 이후 제 생각이 바뀌었습니다. 그래서 저는 이 점을 매우 잘 이해합니다. RSP는 저에게 특히 유용합니다. 특히 기술 발전이 느릴 것이라고 믿는 사람들과 대화할 때 그렇습니다. 우리는 그들에게 “기술이 매우 긴급한 수준에 도달하기 전까지, 극단적인 안전 조치를 취할 필요는 없습니다”라고 말할 수 있습니다. 만약 그들이 “오랜 기간 동안 긴급 상황이 발생하지 않을 것”이라고 말한다면, 저는 “좋습니다. 그러면 당분간 극단적인 안전 조치는 필요하지 않습니다”라고 대답할 수 있습니다. 이는 외부와의 소통을 훨씬 원활하게 만듭니다.
잭 클라크:
그렇다면, RSP는 다른 어떤 측면에서도 여러분에게 영향을 미치고 있나요?
샘 맥캔들리시:
모든 것이 평가에 중심을 두고 있습니다. 각 팀은 모두 평가를 수행하고 있습니다. 예를 들어, 당신의 훈련 팀은 계속해서 평가 작업을 수행하고 있으며, 우리는 이 모델이 위험을 초래할 정도로 충분히 강력해졌는지를 판단하려고 합니다.
다니엘라 아마데이:
이는 RSP 기준에 따라 모델의 성능을 측정해야 한다는 것을 의미합니다. 즉, 우리가 우려하는 징후가 있는지 확인하는 작업도 포함됩니다.
샘 맥캔들리시:
모델의 최소 능력을 평가하는 것은 비교적 쉽지만, 최대 능력을 평가하는 것은 매우 어렵습니다. 따라서 우리는 이 질문에 답하기 위해 많은 연구 노력을 기울이고 있습니다. “이 모델이 어떤 위험한 작업을 수행할 수 있는가? 사고지도, 최선의 사건(best event), 또는 특정 도구 사용과 같은 우리가 아직 고려하지 못한 방법들이 모델이 매우 위험한 행동을 수행할 수 있도록 만들 수 있는가?”
잭 클라크:
정책 수립 과정에서 이러한 평가 도구는 매우 유용합니다. ‘안전’이라는 개념은 매우 추상적이지만, 제가 “우리는 이 모델을 배포할 수 있는지를 결정하는 평가 도구를 가지고 있다”고 말하면, 우리는 정책 입안자, 국가안보 전문가, CBRN(화학·생물·방사·핵) 분야 전문가들과 협력하여 정밀한 평가 기준을 공동으로 수립할 수 있습니다. 이러한 구체적인 도구가 없다면, 이러한 협력은 아예 불가능할 수 있습니다. 그러나 명확한 기준이 있으면, 사람들은 더 기꺼이 참여해 그 정확성을 보장하도록 도와줄 것입니다. 따라서 이 측면에서 RSP의 역할은 매우 두드러집니다.
다니엘라 아마데이:
RSP는 저에게도 매우 중요하며, 제 업무에 자주 영향을 미칩니다. 제가 RSP를 생각하는 방식은 조금 특별한데, 주로 그 ‘어조(tone)’에 초점을 맞춥니다. 최근 우리는 RSP의 어조를 대폭 조정했는데, 이전 어조는 너무 기술적이었고, 심지어 대립적인 느낌까지 주었습니다. 저는 사람들이 이 체계에 참여하고 싶게 만드는 방법을 고민하는 데 많은 시간을 보냈습니다.
만약 RSP가 회사 내 모든 사람이 쉽게 이해할 수 있는 문서라면, 훨씬 더 좋을 것입니다. 지금의 OKR(목표 및 주요 결과)처럼 말입니다. 예를 들어, RSP의 주요 목표는 무엇인가요? 우리가 목표를 달성했는지를 어떻게 알 수 있을까요? 현재의 AI 안전 등급(AI Safety Level, ASL)은 얼마인가요? ASL-2인가요, ASL-3인가요? 만약 모든 사람이 주의해야 할 핵심 포인트를 알게 된다면, 잠재적 문제를 더 쉽게 발견할 수 있습니다. 반대로, RSP가 너무 기술적이라 소수만 이해할 수 있다면, 그 실제 효용은 크게 떨어질 것입니다.
RSP가 더 쉽게 이해되는 방향으로 발전하고 있다는 점을 기쁘게 생각합니다. 지금은 회사 내 대부분의 사람, 혹은 심지어 모든 사람이, 자신의 직책과 관계없이 이 문서를 읽고 “이건 타당합니다. 저는 이러한 원칙에 따라 AI를 개발하기를 원합니다. 그리고 왜 이런 문제에 주의해야 하는지도 이해합니다. 만약 제가 업무 중 문제를 마주한다면, 대략적으로 어떤 점을 주의해야 할지도 압니다”라고 느낄 수 있습니다. 우리는 RSP를 충분히 단순하게 만들고 싶습니다. 마치 제조 공장에서 일하는 사람이 “안전벨트는 여기에 연결되어야 하는데, 지금은 연결되어 있지 않다”고 쉽게 판단할 수 있도록 말입니다. 이를 통해 문제를 즉시 발견할 수 있습니다.
핵심은 건강한 피드백 메커니즘을 구축하는 것입니다. 리더십, 이사회, 회사의 다른 부서, 그리고 실제 연구개발을 수행하는 팀 사이에서 원활한 소통이 이루어져야 합니다. 저는 대부분의 문제는 소통 부재나 정보 전달의 왜곡에서 비롯된다고 생각합니다. 단순히 이런 이유로 문제가 발생한다면, 그것은 정말 아쉬운 일이 아닐 수 없습니다. 결국, 우리는 이러한 아이디어를 실제로 실행에 옮기고, 그것이 단순하고 명확하여 모두가 이해할 수 있도록 해야 합니다.
Anthropic의 창립 이야기
샘 맥캔들리시: 사실 우리 중 누구도 처음부터 회사를 설립하려는 의도를 가진 사람은 없습니다. 우리는 단지 이것이 우리의 책임이며, AI가 올바른 방향으로 발전하도록 보장하기 위한 유일한 길이라고 느꼈을 뿐입니다. 이것이 우리가 그 약속을 한 이유이기도 합니다.
다리오 아마데이:
저의 초기 생각은 단순했습니다. 저는 단지 유익한 방식으로 새로운 것을 발명하고 탐구하고 싶었습니다. 이 생각이 저를 AI 분야로 이끌었고, AI 연구는 막대한 엔지니어링 지원과 자금을 필요로 했습니다.
그러나 저는 명확한 목표와 계획 없이 회사를 설립하고 환경을 관리하지 않으면, 많은 일들이 완료되기는 하겠지만, 제가 기술 산업에서 소외감을 느꼈던 동일한 실수들을 반복하게 될 것임을 깨달았습니다. 이러한 실수는 동일한 사람, 동일한 태도, 동일한 사고방식에서 비롯된 경우가 많았습니다. 그래서 어느 순간, 저는 이 일을 완전히 새로운 방식으로 해야 한다는 점을 인식하게 되었고, 이는 거의 불가피한 선택이었습니다.
제어드 카플란:
저는 우리가 대학원 시절, 당신이 공공 이익을 증진하기 위한 과학 연구를 어떻게 수행할 수 있을지에 대한 완전한 계획을 세웠던 것을 기억합니다. 이는 지금 우리의 사고방식과 매우 유사합니다. 당시 당신은 ‘프로젝트 반네바르(Project Vannevar)’라는 이름의 프로젝트를 진행했고, 그 목표는 바로 그것이었습니다. 저는 당시 교수였고, 상황을 관찰하며 AI의 영향력이 매우 빠른 속도로 증가하고 있다는 점을 깊이 믿었습니다.
그러나 AI 연구는 막대한 자금을 필요로 했고, 물리학 교수로서 저는 학문적 연구만으로는 이러한 진전을 이끌 수 없다는 점을 깨달았습니다. 저는 믿을 수 있는 사람들과 함께 기관을 설립해, AI가 올바른 방향으로 발전하도록 보장하고 싶었습니다. 하지만 솔직히 말해, 저는 다른 사람에게 회사를 설립하라고 권유한 적도 없고, 그런 소망을 가진 적도 없습니다. 저에게는 단지 목표를 달성하기 위한 수단일 뿐입니다. 일반적으로 성공의 핵심은 세상에 의미 있는 목표를 달성하려는 진정한 관심을 갖고, 그 목표를 달성하기 위한 최선의 수단을 찾는 데 있습니다.
신뢰 문화를 구축하는 방법
다니엘라 아마데이: 저는 우리 팀의 전략적 강점에 대해 자주 생각합니다. 그중 하나는 다소 예상치 못했지만, 매우 중요한 요소인데, 바로 높은 수준의 신뢰입니다. 많은 사람에게 공통된 미션을 부여하는 것은 매우 어렵지만, Anthropic에서는 이 미션을 점점 더 많은 사람들에게 성공적으로 전달하고 있습니다. 이 팀에는 리더십과 모든 구성원이 공통된 미션을 위해 모여 있습니다. 우리의 미션은 명확하고 순수하며, 기술 산업 내에서는 이런 경우가 드뭅니다.
저는 우리가 추구하는 목표가 순수한 의미를 담고 있다고 느낍니다. 우리 중 누구도 회사를 설립하려는 의도로 시작한 사람은 없습니다. 우리는 단지 반드시 해야 한다고 느꼈을 뿐입니다. 우리는 기존의 자리에서 우리의 일을 계속 추진할 수 없었고, 스스로 이 일을 해야 했습니다.
잭 클라크:
당시 GPT-3의 등장과, 우리가 모두 접하거나 참여했던 확장 법칙(scaling laws) 등의 프로젝트를 통해, 우리는 2020년에 이미 AI의 발전 추세를 명확히 보았습니다. 우리는 빨리 행동하지 않으면 곧 돌이킬 수 없는 임계점에 도달할 것임을 인식했습니다. 이 환경에 영향을 미치기 위해서는 반드시 행동해야 했습니다.
톰 브라운:
다니엘라의 관점을 이어가고 싶습니다. 저는 팀 내부에 높은 수준의 신뢰가 존재한다고 확신합니다. 우리 각자는 우리가 이 팀에 합류한 이유가 세상에 기여하기 위해서라는 것을 분명히 알고 있습니다. 우리는 또한 수입의 80%를 사회 발전을 촉진하는 사업에 기부하기로 공동 약속했으며, 이는 모두가 망설임 없이 지지한 사항입니다. “네, 당연히 그렇게 하겠습니다.” 이 신뢰는 매우 특별하고 희귀합니다.
다니엘라 아마데이:
저는 Anthropic이 정치적 색채가 매우 희미한 회사라고 생각합니다. 물론 우리의 시각은 일반인과 다를 수 있으며, 저는 이를 항상 인식하고 있습니다. 저는 우리의 채용 프로세스와 팀원들의 특성이 ‘사무실 정치’를 거의 천연적으로 배제하는 문화를 만들어냈다고 생각합니다.
다리오 아마데이:
또한 팀의 단결력도 매우 중요합니다. 제품 팀, 연구 팀, 신뢰 및 안전 팀, 마케팅 팀, 정책 팀 등 모두가 회사의 동일한 목표를 달성하기 위해 노력하고 있습니다. 회사 내 다른 부서들이 완전히 다른 목표를 추구할 때, 종종 혼란이 발생합니다. 다른 부서가 자신의 업무를 방해한다고 느낀다면, 이는 매우 비정상적인 현상입니다.
저는 우리가 가장 중요한 성과 중 하나는 회사 전체의 일관성을 성공적으로 유지한 것이라고 생각합니다. RSP와 같은 메커니즘이 이 과정에서 중요한 역할을 했습니다. 이 메커니즘은 회사 내부에서 어떤 부서가 문제를 일으키고 다른 부서가 이를 수습하는 상황이 아니라, 모든 부서가 각자의 기능을 수행하면서도 통일된 변화 이론(theory of change) 틀 안에서 협력하도록 보장합니다.
크리스 올라:
저는 처음 오픈AI에 합류한 이유가 비영리 기관이었기 때문에, AI 안전성 연구에 집중할 수 있었기 때문입니다. 그러나 시간이 지나면서 저는 이 모델이 저에게 완전히 적합하지 않다는 점을 점차 깨달았고, 이는 저로 하여금 어려운 결정을 내리게 만들었습니다. 이 과정에서 저는 다리오와 다니엘라의 판단을 매우 신뢰했지만, 떠나고 싶지는 않았습니다. 왜냐하면 더 많은 AI 연구소가 생기는 것이 세상에 이롭지 않을 수 있다고 느꼈기 때문입니다. 이는 저로 하여금 떠나는 것을 매우 망설이게 만들었습니다.
우리가 결국 떠나기로 결정했을 때, 저는 여전히 회사를 설립하는 것에 대해 보류했습니다. 저는 비영리 기관을 설립해 안전성 연구에 전념하자고 주장했습니다. 그러나 현실적인 태도와 현실적 제약에 대한 솔직한 인식은 우리로 하여금 Anthropic을 설립하는 것이 우리의 목표를 달성하기 위한 최선의 방법인 것으로 인식하게 만들었습니다.
다리오 아마데이:
우리가 초기에 배운 중요한 교훈 중 하나는 적게 약속하고, 더 많이 이행하는 것입니다. 현실을 직시하고, 다양한 선택지 사이의 균형을 정직하게 고민하세요. 왜냐하면 신뢰와 평판은 어떤 구체적인 정책보다도 더 중요하기 때문입니다.
다니엘라 아마데이:
Anthropic의 독특한 점 중 하나는 팀의 높은 신뢰와 일관성입니다. 예를 들어, 마이크 크리거(Mike Krieger)가 안전상의 이유로 일부 제품 출시를 고집스럽게 거부하는 모습을 보고, 비나이(Vinay)가 비즈니스 요구를 균형 있게 조율해 프로젝트를 완료하려는 노력을 보는 것은 매우 특별한 경험입니다. 또한, 기술 안전 팀과 추론 팀의 엔지니어들이 제품을 안전하면서도 실용적으로 만들기 위해 논의하는 것도 마찬가지입니다. 이러한 통일된 목표와 현실적인 태도는 Anthropic의 업무 환경에서 가장 매력적인 요소 중 하나입니다.
다리오 아마데이:
건강한 조직 문화란, 모든 구성원이 공통으로 직면한 균형을 이해하고 받아들이는 데 있습니다. 우리가 사는 세상은 완벽하지 않으며, 모든 결정은 서로 다른 이익 사이에서 균형을 찾아야 하며, 이 균형은 종종 완전히 만족스럽지 않을 수 있습니다. 그러나 전체 팀이 통일된 목표 아래에서 이러한 균형을 함께 직면하고, 각자의 위치에서 전체 목표를 위해 기여한다면, 그것이야말로 건강한 생태계입니다.
샘 맥캔들리시:
어떤 면에서 이는 ‘상향 경쟁’입니다. 네, 이는 분명 ‘상향 경쟁’입니다. 물론 이 선택은 완전히 무위험한 것은 아니며, 일이 잘못될 수도 있지만, 우리는 모두 ‘이것이 우리가 선택한 길이다’라고 일치된 의견을 가지고 있습니다.
AI의 정상으로의 경쟁
잭 클라크: 그러나 시장은 본질적으로 실용적입니다. 따라서 Anthropic이 회사로서 성공할수록, 다른 기업들은 우리를 성공으로 이끈 방식을 모방하려는 동기가 더 커집니다. 그리고 우리의 성공이 안전 분야의 실제 작업과 긴밀히 연결되어 있을 때, 이 성공은 업계 내에서 일종의 ‘중력’을 발생시켜 다른 기업들도 이 경쟁에 참여하도록 유도합니다. 마치 우리가 안전벨트를 개발했고, 다른 기업들도 이를 모방할 수 있는 것처럼, 이는 건강한 생태계입니다.
다리오 아마데이:
하지만 “우리는 이 기술을 개발하지 않을 것이며, 당신도 다른 사람보다 더 잘할 수 없다”고 말하는 방식은 통하지 않습니다. 왜냐하면 이는 현재 상태에서 미래로 나아가는 길이 가능하다는 것을 증명하지 못하기 때문입니다. 세상이 필요로 하는 것은, 산업 전체든, 특정 기업이든 간에, 사회가 ‘기술이 존재하지 않음’에서 ‘강력한 형태의 기술이 존재하고, 사회가 이를 효과적으로 관리함’으로 전환할 수 있는 방법을 찾는 것입니다. 저는 이 목표를 달성할 수 있는 유일한 방법은, 단일 기업 차원에서, 궁극적으로는 전체 산업 차원에서 이러한 균형을 직면하는 것이라고 생각합니다.
당신은 경쟁력을 유지하면서, 심지어 일부 분야에서는 산업을 선도하면서도, 기술의 안전성을 보장할 수 있는 방법을 찾아야 합니다. 이를 성취한다면, 당신은 업계에 매우 강력한 매력을 발휘할 것입니다. 규제 환경, 우수한 인재가 다양한 기업에 합류하려는 열망, 고객의 인식 등 모든 요소가 업계를 동일한 방향으로 이끌 것입니다. 만약 당신이 경쟁력을 희생하지 않고도 안전성을 달성할 수 있다는 것을 증명한다면, 즉, 윈윈 솔루션을 찾는다면, 다른 기업들도 이에 자극받아 동일한 방식을 모방할 것입니다.
제어드 카플란:
제가 보기엔, 바로 이것이 RSP와 같은 메커니즘이 매우 중요한 이유입니다. 우리는 기술의 발전 방향을 명확히 보고, 특정 문제에 대해 고도의 경계심을 가져야 한다는 점을 인식합니다. 그러나 동시에 ‘늑대가 온다’는 잘못된 경고를 보내는 것도 피해야 합니다. 단순히 ‘혁신은 여기서 멈춰야 한다’고 말해서는 안 됩니다. 우리는 AI 기술이 고객에게 유용하고, 혁신적이며, 즐거운 경험을 제공하도록 해야 합니다. 동시에, 시스템의 안전성을 보장하고, 다른 기업들이 안전을 전제로 성공하고 경쟁할 수 있다고 믿게 만드는 제약 조건을 명확히 해야 합니다.
다리오 아마데이:
몇 달 후, 우리가 RSP를 발표한 후, 세 개의 가장 유명한 AI 기업도 유사한 메커니즘을 발표했습니다. 가시성 연구는 우리가
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
深潮TechFlow
