흐르는 실리콘밸리: AI 대물결, 대기업 탐방 및 중국계 미국인의 국제화
글: Melissa
이번에 실리콘밸리를 중심으로 약 여섯 주간 머물렀다. 여름 한가운데 도착해 입추를 지나 떠났다. 캘리포니아의 햇살은 언제나 화사하며, 최첨단 기술의 중심지에서는 인공지능(AI)의 물결이 거세게 일고 있다. AI 발전과 방향성을 보다 깊이 이해하고자 대기업 관계자, 창업가, 투자자 등 많은 사람들을 만났고, 온·오프라인 행사에도 참여하며 진정한 물결이 시작되는 순간의 역동성을 생생히 체감했다. 그중 몇 가닥의 파도를 골라 여러분과 나누고자 한다.
팬데믹 이후: 인력 부족과 원격 근무
팬데믹은 이미 과거의 일이 되었지만, 어쩌면 제게는 처음 방문한 탓인지 지난 3년의 흔적이 특히 또렷하게 다가왔다. 그중 가장 크게 느낀 점은 인력 부족과 원격 근무의 영향이다.
인력 부족
실리콘밸리의 인력 부족은 뚜렷하며, 여기에 최근 인플레이션이 더해져 인건비가 매우 비싸졌다. 우버이츠로 서브웨이 샌드위치를 시켜본 적 있는데, 샌드위치 가격은 8달러였으나 배달 수수료 등을 포함한 총 결제 금액은 17달러로, 거의 두 배가 넘었다! 나는 오랫동안 시애틀에서 살며 미국의 인건비가 중국보다 높다는 것은 알고 있었지만, 이 정도일 줄은 몰랐다. 팬데믹 당시 감염을 우려해 다수가 직장을 그만두거나 조기 은퇴했고, 정부의 재난 지원금 덕분에 노동 의욕이 낮아진 것도 큰 원인이었다. AI 교육 분야의 한 창업가와 이야기를 나누었는데, 교사 부족이 심각하다고 했다. 이는 전미적으로 공통된 문제이며, 어떻게 해결될지 아직 답이 없다.
원격 근무
팬데믹 기간 시작된 원격 근무의 영향은 더욱 크다. 특히 신입 졸업생들에게 그렇다. 두 명의 친구가 각각 창업 중인데, 모두 이 문제를 언급했다. 팬데믹 격리 조치로 대학생 시절 인턴십 기회가 사라졌고, 졸업 후에도 원격 근무를 하면서 동료들과의 상호작용 경험이 전무했다. 이로 인해 팀워크 능력이 부족해졌고, 리더들도 원격으로 효과적으로 지도하기 어렵다. 그들은 스탠퍼드 같은 명문대 출신의 유능한 인재를 고용했지만, 협업 능력 부족으로 결국 해고할 수밖에 없어 안타까워했다.
현재 대기업들은 점차 사무실 복귀를 요구하고 있지만, 팬데믹 이전 수준으로 돌아가지는 못하고 있다. 예전에 익스피디아 팀에서 채용했던 신입 사원이 현재 AI 스타트업의 창업자인데, 그는 원격 근무가 효율성에 부정적이라고 말한다. 팬데믹 당시엔 강제로 사무실 출근을 요구하면 직원들이 그만둘까 걱정되어 참았지만, 이제는 구글이나 메타 등 대기업의 움직임을 지켜보며 그들 이후를 따르겠다고 한다. 내가 본 실제 상황은 대기업과 스타트업 모두 사무실 복귀율이 여전히 낮다는 것이다. 친구들과 이야기를 나눠보면 의견도 분분하다. 일반적으로 관리하는 팀 규모가 클수록 원격 근무에 대해 불만이 많다. 언젠가 다시 예전처럼 돌아갈 것이지만, 일시에 완전 회복되긴 어려울 것 같다.
흥미로운 관찰 하나. 구글, 메타 등 대기업이 팔로알토와 마운틴뷰에 집중되어 있어 인근 지역의 주택 가격이 매우 비싸지만, 좀 더 떨어진 지역은 저렴하다. 원격 근무로 출근 필요성이 사라지면서, 최근 2년 새 외곽 지역의 집값도 크게 상승했다.
AI 물결: 초기 구도 형성, 아직 초창기
내가 집중적으로 관심을 가진 분야는 AI다. 지난 한 달여간 실리콘밸리에서 얻은 AI 관련 관측과 판단을 요약한다.
대규모 모델과 GPU
대규모 모델 자체의 산업 구도는 초기 형성 단계다. 중국의 수백~수천 개 모델 경쟁과 달리, 실리콘밸리에서는 소수의 모델이 승기를 잡았다. 폐쇄형은 주로 OpenAI와 구글, Anthropic도 포함되며, 오픈소스는 메타의 Llama-2 등이 대표적이다. 범용 대규모 모델은 막대한 인력, 컴퓨팅 자원, 자금이 투입되기 때문에 새로운 진입자가 등장하기 어려운 구조로, 업계 구도는 사실상 고정된 듯하다.
GPU는 여전히 부족하다. 대기업이나 스타트업 모두 GPU 확보에 안간힘을 쓰고 있다. NVIDIA 출신 친구가 GPU 생산 과정을 설명해주었는데, 광석 준비부터 시작한다는 설명이었다. 하드웨어는 내 관심 분야가 아니어서 잘 모르지만, 생산 주기가 길어 단기적으로는 공급 부족이 계속되고 장기적으로는 안정될 것으로 보인다.
AI는 아직 아주 초창기
AI 현황에 대해 한 투자자 친구는 생생하게 비유했다. "아직 새벽, 모두 손전등을 들고 방향을 찾아 헤매고 있는 상황"이라 했다. 당시 모바일 인터넷 붐 때처럼 활발한 상태는 아니다. 대규모 모델 개발자, 이를 활용하는 다양한 기업, 그리고 모델 주변 인프라 및 도구를 제공하는 스타트업까지 폭넓게 만나봤지만, 전체적으로 대규모 모델의 응용은 아직 초기 단계라는 판단이다.
대표적인 사례가 있다. 한 친구는 유명 상장사의 엔지니어링 부사장 출신으로, 최근 e커머스 플랫폼 스타트업을 운영 중이며 100명 이상의 직원과 미국 내 유수의 벤처캐피탈 투자를 받고 있다. 그녀의 사업에는 대규모 모델이 필요해 최근 적용 방법을 실험했다. 첫 번째는 MosaicML 모델에 자체 데이터를 파인튜닝(fine-tune)하는 것이고, 두 번째는 GPT-4를 이용해 자체 데이터를 벡터 데이터베이스에 저장하고 검색-검출(retrieval) 방식으로 프롬프트에 정보를 넣는 것이었다. 결과는 놀라웠다. 파인튜닝보다 GPT-4의 검색-검출 방식이 성능이 더 좋았다. 그녀는 당황했다. 왜 파인튜닝이 효과가 없는지, 어떤 데이터를 얼마나 사용해야 하고, 어떻게 파인튜닝해야 하는지 알 수 없었다. 게다가 대규모 모델은 '블랙박스'라 모델 개발자들조차 명확히 이해하지 못할 수 있다는 점도 문제였다. 또한 MosaicML의 사용성도 좋지 않았지만 대안이 마땅치 않았다. GPT-4는 성능이 좋아 테스트용으로는 괜찮지만, 민감한 자체 데이터를 공개할 수 없어 제품화는 불가능했다. 그녀는 팀 내 AI 기술 역량이 부족하다고 판단하고, 앞으로 AI 엔지니어 채용 계획을 세우고 있다.
나는 다소 놀랐다. 그녀는 경력이 풍부하고, 창업팀도 화려한 이력을 갖췄으며 기술력도 충분하다. 이런 사람이 파인튜닝 방법을 모른다면 다른 기업은 더 말할 필요 없다. 그녀의 이 결과(GPT-4 검색-검출 > 파인튜닝)는 특별한 경우가 아니며, 비슷한 사례를 여러 차례 들었다. 또 다른 친구는 AI 도구를 제공하는 스타트업을 운영하며 대기업 고객에게 서비스를 한다. 그에 따르면 대규모 모델은 대기업에게도 완전히 새로운 기술이며, 고객들은 막 시작하는 단계다. 모델의 정확도, 속도, 필요한 데이터 품질, 개인정보 보호 문제에 특히 민감하다. 구체적으로 어떤 업무에 AI를 적용할지도 아직 탐색 중이다. 그는 대기업 내부에서 AI를 본격적으로 도입하려면 최소 6~12개월은 걸릴 것이라고 판단한다.
이처럼 이번 AI 물결은 아직 매우 초기 단계다. C단에서는 ChatGPT 외에 킬러 앱이 없으며, B단 적용도 시간이 필요하다. AI 인프라와 도구층은 여전히 큰 성장 가능성이 있다. 예를 들어 Databricks가 13억 달러를 들여 MosaicML를 인수한 것도, 고객에게 빠르게 AI 역량을 제공하려는 목적이다.
여기서 두 가지 긍정적 신호를 발견했다:
-
초기 단계이기 때문에 도구가 미흡하고 대기업이 바로 사용 가능한 기술이 없어, 스타트업에게 기회가 열려 있다. 만약 대기업이 즉시 활용할 수 있다면, 자체 데이터와 시나리오를 바탕으로 자체 개발할 가능성이 커 스타트업의 기회는 줄어든다. 이는 실리콘밸리의 Howie 선생님과 논의하면서 나온 관점으로, 나 역시 깊이 공감한다.
-
대기업은 AI 활용에 매우 절박하며, 적어도 위기감을 강하게 느끼고 있다. 확인한 바, 제너럴 AI(Generative AI) 관련해 많은 기업이 내부에 별도 예산을 책정했다. 돈이 이미 준비된 만큼, 초기 발전 속도가 느릴지라도 AI의 전망은 밝으며 쉽게 사그라들지 않을 것이다.
왜 최근 두 달간 AI 발전 속도가 느려진 것 같을까?
독자들의 느낌은 어떨지 모르겠지만, 올해 초와 비교해 최근 2~3개월 사이 AI 분야의 속도가 눈에 띄게 느려진 듯하다. 이유는 무엇일까? 관찰 결과 다음과 같다:
-
OpenAI의 전략과 관련 있다. 이 물결은 주로 OpenAI가 주도했는데, 이전에는 2~3년 간의 연구 성과(GPT-3 등)를 작년 말부터 2~3개월 만에 쏟아내며 시선을 사로잡았다. 그러나 지금은 구글이 강력한 경쟁자로 부상하면서, OpenAI도 준비되지 않은 제품을 무작정 출시할 수 없는 상황이 됐다. 그렇지 않으면 오히려 손해다. 따라서 최근에는 큰 변화가 없어 이전보다 느린 듯 보일 수 있다. 하지만 개인적으로는 이것이 기술 발전의 자연스러운 속도라고 생각한다. 원래 그렇게 빠를 수는 없다.
-
창업가들이 조용히 제품 개발에 매진하고 있기 때문이다. 내가 실리콘밸리 AI 커뮤니티에서 강연을 할 때 이 주제를 언급했고, 커뮤니티의 반응은 이러했다. 올해 초까지만 해도 창업가들은 각종 회의/강연/meetup에 참석하며 GenAI가 무엇인지 이해하려 애썼다. 최근에는 대규모 모델 기술에 대한 기본 이해가 끝나고, 이제는 자신만의 제품을 만들기에 바쁘다. 외부에서 보면 이전만큼 시끄럽지 않은 것이다.
-
연구 분야에서는 여전히 논문이 꾸준히 발표되고 있으며, 속도가 느려진 것은 아니다.
벤처 캐피탈 시장도 느려졌다
전반적으로 벤처 캐피탈 시장의 투자 속도도 느려진 느낌이다. 주요 원인은 거시경제 상황이다. 미래 경제 전망이 불투명하고, 우크라이나 전쟁이 불확실성을 더하며 투자심리를 위축시키고 있다. 또한 팬데믹 기간 정부의 과잉 유동성으로 창업 프로젝트의 밸류에이션이 과도하게 높아졌는데, 현재는 밸류 조정 과정에 있다. 이러한 배경 속에서도 AI 분야는 상대적으로 양호한 편이다. 하지만 여전히 초기 단계라, 대규모 모델 개발에 경쟁력을 갖춘 프로젝트들(character.ai도 사실상 대규모 모델 개발에 해당)을 제외하면, 다른 AI 스타트업의 투자 유치는 쉽지 않고, 대부분의 투자자들은 관망 중이다.
대기업 탐방: OpenAI, Google, NVIDIA
이번 AI 물결에서 OpenAI & Microsoft, Google, NVIDIA가 시대의 주역이 되었다. 이들 중 세 곳은 실리콘밸리에 본사를 두고 있어, 특별히 알아보고 공유할 만한 정보를 정리했다.
OpenAI
OpenAI는 정보 보호에 매우 민감하며, 직원들도 이에 익숙하다. 내가 알게 된 내용은 많지 않지만, 몇 가지 인상적인 점이 있다.
OpenAI와 협업한 사람들은 모두 그들의 직원이 매우 유능하고 효율적이라고 말한다. 특히 시스템 성능과 모니터링이 뛰어나며, 엔지니어링 역량이 강하다. 아마 인프라 엔지니어링 능력—하드웨어를 보다 효율적으로 활용하고 성능을 향상시키는 능력—이 핵심 경쟁력일 것이다.
OpenAI는 AGI(범용 인공지능)에 집념을 갖고 있다. 직접 대화를 나눠보니 비로소 그 의미를 실감했다. 내부에서 업무 우선순위를 결정할 때 'AGI 발전에 도움이 되는가'를 기준으로 삼는다. 모델을 더 잘 학습시키고 훈련하는 데 도움이 된다면 진행하지만, 그렇지 않으면 투자하지 않는다. 예를 들어 로봇 프로젝트를 진행했지만, 현실 세계의 물리적 제약이 크고 AGI 발전에 기여도가 낮다고 판단해 중단했다. 이 추론에 따르면, 특정 수직 분야(vertical)에 진출할 가능성은 낮다.
ChatGPT 등장 이전, 사용자는 LLM의 성능을 직접 체감할 수 없었다. 사용자가 효과를 느낄 수 있도록 하는 것이 중요하다. AGI 외에도 ChatGPT와 API가 OpenAI의 핵심 포커스다.
이전까지 Google의 AI 추진은 느렸다. 광고 사업과의 충돌 외에도 두 가지 사건이 영향을 미쳤다. 한 연구원이 대규모 모델이 의식을 가졌다고 주장하다 해고됐고, 이전에는 흑인 여성 직원이 논문 게재 거부로 회사를 고소한 사건도 있었다. 이로 인해 Google은 AI 분야에 매우 조심스러워졌고, 발전 속도가 더뎌졌다.
Google은 자신들이 선두라고 여겼지만, ChatGPT 등장으로 큰 압박을 받았다. 12월부터 내부적으로 코드레드(code red, 최고 우선순위)를 선포한 것은 드문 일이다. 현재 회사는 GPT에 대해 매우 높은 관심을 갖고 있으며, 전담 팀(Google Brain과 DeepMind 통합)을 운영하고 있으며, 다른 팀들에게도 AI를 빠르게 적용하도록 장려하고 있다. Google 내 친구들과 이야기를 나눠보면, 그들은 Google이 이 분야에서 최소한 뒤처지지 않을 것이라고 자신한다.
NVIDIA
이번 LLM 물결에서 NVIDIA가 가장 큰 수혜를 입었다. 나는 소프트웨어 중심의 경험과 관심 탓에 이 회사에 별 관심이 없었지만, 이번 기회에 자세히 알아보니 매우 흥미로웠다. 더 많이 공유하고자 한다.
한 사람의 스타트업
NVIDIA의 특징을 요약하자면, '제이슨(Jason) 황 한 사람의 스타트업'이다. 거기서 일하는 친구들은 제이슨을 매우 존경하며, 내게 들려주는 이야기를 보면 그는 진정한 슈퍼맨이다. 주가가 어떻게 변하든 2012년부터 '컴퓨팅(compute)'을 믿고 일관되게 투자해왔으며, 한 번도 망설이지 않았다. 기술에 대한 이해가 깊고, 프로젝트 현황을 정확히 파악하며, 인간적으로도 접근하기 쉬운 리더다. 결정이 어려운 문제는 모두 제이슨에게 물어보고, 그는 빠르고 정확하게 판단한다.
제이슨은 공감 능력도 뛰어나다. 팬데믹 초기, 회사는 보통 9월에 직원 평가를 하지만, 그는 이를 앞당겨 3월에 전사 평가를 완료하고 임금 인상 및 보너스를 지급해 직원들이 조기에 수령할 수 있도록 했다. 동시에 통찰력과 위기의식을 갖춰 직원들로부터 인기가 높다. 주가가 부진했던 시기에도 직원들의 평가는 항상 높았다.
기술 중심, 조직 구조 평면화
회사 문화는 내가 아는 다른 기업들과 뚜렷이 다르다. 약 3만 명에 달하는 기업임에도 불구하고, NVIDIA는 현재까지 '피플 매니저'(사람 관리 전담 매니저)가 존재하지 않는다. 모든 관리자는 기술 능력이 탁월해야 하며, 직급과 관계없이 기술 실력이 뛰어나야 한다.
조직 구조는 평면화돼 있다. 전사적으로 제이슨만 비서를 두고 있고, 그 외 누구도 없다. 그럼 팀 빌딩은 어떻게 하냐고 물었더니, 회사에는 팀 빌딩도, 크리스마스 만찬도 없고, 전사 대회만 있을 뿐이라고 했다. 그 자리에서 제이슨은 2시간 동안 연사 없이 자유롭게 이야기를 하고, 유머 감각을 발휘하며, 끝나면 많은 직원들이 그와 기념사진을 찍는다.
NVIDIA 생태계
예전부터 NVIDIA 생태계가 훌륭하다는 소문을 들었는데, 이번에 구체적으로 물어봤더니 친구가 명쾌히 설명해줬다:
-
완벽한 도구 제공. 칩은 하드웨어부터 소프트웨어까지 깊은 스택(deep stack)을 구성하므로, 컴파일러, 디버거, 프로파일러 등 다양한 도구 지원이 필요하다. 개발자의 요구는 다양하며, 일부는 극도의 최적화를 원하기 때문에 단순히 기능을 API로 감싸는 것만으로는 부족하다.
-
시스템의 속도와 사용 편의성.
-
내부 및 외부 간 수평적 소통이 원활하다. 예를 들어 고객과 소통하는 팀은 기술에 정통하여 고객의 요구사항을 조기에 내부 R&D 팀과 직접 논의한다. 내부에서도 마찬가지로, 소프트웨어 팀과 하드웨어 부서가 긴밀히 협력하며, 하드웨어 완성 후 소프트웨어 개발을 시작하는 것이 아니라, 개발 과정 중에 지속적으로 소통하고 협업한다.
중국계 기업의 글로벌화
미중 관계 변화는 실리콘밸리와 밀접하게 연결돼 있다. 이번에 두 가지 뚜렷한 변화를 눈여겨봤다. 창업가들은 시장 선택에 더 집중하고 있으며, 미국 시장 또는 중국 시장 중 하나를 선택하고, 양쪽을 동시에 겨냥하는 경우는 드물다. 중국 내 우수한 창업가와 벤처캐피탈도 이곳에서 새로운 기회를 모색하고 있다.
중국계 기업이 어떻게 글로벌화를 성공시킬 수 있을지가 공통 관심사다. 주말에 폐쇄형 세미나에 참석했는데, 주제가 바로 이 것이었다. 게스트들도 대표적이었다: 글로벌 시장을 공략하는 중국계 상장사 CEO, 중국 기업의 해외 진출에 특화된 벤처캐피탈 파트너, 중국과 미국 양국 팀을 운영하는 창업가, 그리고 나도 그중 한 명이었다. 모두가 깊이 있는 통찰을 공유했다. 중국은 R&D 비용, 완벽한 공급망, 인터넷 제품 운영, 근면함에서 강점을 갖지만, 해외 진출은 시장 판매, 제품, 팀 문화, 관리 등 완전히 다른 도전에 직면한다. 게스트들이 공감한 핵심은, 글로벌 비즈니스를 하려면 창업자의 사고방식부터 글로벌화되어야 한다는 점이었다.
나는 토론 이후 더 깊은 감상을 느꼈다. 글로벌화라는 주제는 낯설지 않다. 수년 전만 해도 논의의 중심은 미국 기업이 중국에 진출하는 것이었지만, 이제는 중국 기업이 국제 시장에 진출하는 방식으로 바뀌었다. 세계의 중심이 이동하고 있으며, 수년간의 노력 끝에 중국은 진정으로 강해졌고, 그 사실이 자랑스럽다.
흐르는 실리콘밸리
나는 항상 실리콘밸리의 인재 자원과 자유로운 교류 분위기를 부러워했다. 이곳은 인재 밀도가 높아 대화하다 보면 종종 동문을 만나곤 한다. 내 학부 동기 30명 중 6명이 여기 있다. 주말에 친구가 마련한 바비큐 모임에서도 대화를 나누다 보니 여러 사람이 품격 있는 대화를 나누는 것을 발견했다. 조금 더 묻고 보니, 모두 겉으로는 드러내지 않았지만 성공한 인사들이었다.
실리콘밸리답게 창업 문화가 뿌리내려 있으며, 이에 따라 각종 강연, 포럼 등이 빈번하다. 도착 초반 친구가 구글 독스 문서를 하나 주었는데, 샌프란시스코 지역의 AI 오프라인 행사가 빽빽하게 적혀 있었고, 거의 매일 행사가 있었다. 내가 도시에 자주 가지 않아 선택적으로 몇 차례만 참여했다. 이후 스스로 검색해보니 관심 있는 주제라면 온라인 웨비나, 커뮤니티 토론 등 다양한 채널이 있었다. 익숙해진 후에는 베이 에어리어 일대에도 행사가 많음을 알게 되었다. 온라인과 오프라인을 막론하고, 행사의 질은 대체로 매우 높았다. 대기업이나 선도 스타트업의 핵심 멤버, 젊은 창업가들이 참여해 정보 밀도가 높고, 최신 정보를 신속히 공유하며, 발표자들은 진정성 있고 기술 최전선을 독립적으로 사고한다. 나는 늘 새로운 것을 배우는 것을 좋아하는데, 이곳에서 매일 흥미롭게 지냈다.
실리콘밸리는 흐른다. 흐르는 인재, 흐르는 정보, 흐르는 자금. 이 흐름이 활력과 혁신을 만들어내며, 매일 변화하고, 영원히 젊음을 유지한다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
@capital_atom
