미드저니 창립자가 말하는 미래: 이미지 생성은 첫 단계일 뿐, AI가 학습과 창의성, 조직을 뒤흔들다

2023.06.12

미드저니 창립자가 말하는 미래: 이미지 생성은 첫 단계일 뿐, AI가 학습과 창의성, 조직을 뒤흔들다

11명이 세상을 바꾸다.

2023.06.12 - 01:41:59

Midjourney

Web3 심층 보도에 집중하고 흐름을 통찰

11명이 세상을 바꾸다.

글: Founder Park

Midjourney는 놀라운 회사다. 11명이 세상을 바꾸고 위대한 제품을 만들어냈다.

Pre AGI 초기의 아름다운 이야기로 남을 운명이다.

「나는 결코 회사를 갖고 싶은 적이 없었어요. 저는 단지 하나의 '집'(home)을 원했을 뿐입니다.」

智源 컨퍼런스에서 우리는 Midjourney 창립자 David Holz와 대화를 나누었다.

MidJourney는 현재 가장 주목받는 이미지 생성 엔진으로, OpenAI의 DALL·E 2와 오픈소스 모델 Stable Diffusion 등 치열한 경쟁 속에서도 다양한 스타일 생성 효과에서 절대적인 선두를 유지하고 있다.

다음은 인터뷰 전문으로, Founder Park에서 편집하였다.

장펑:David님, 환영합니다. 이번이 중국 팬들과 처음 소통하는 자리인데, 인사말을 부탁드립니다.

David Holz:안녕하세요 여러분, Midjourney는 아직 정식으로 중국에 진출하지 않았지만, 이미 사용하고 계신 분들이 있다면 모두 좋은 경험을 하셨기를 바랍니다.

창업의 동기,인류의 상상력을 해방하다

장펑:지난 20년간 저는 국내외 많은 창업가들을 만났습니다. 그들에게는 공통점이 있는데, 강력한 추진력이 있어 '무(無)에서 유(有)'를 만들어내며 탐색하고 창조한다는 점입니다.

Midjourney를 창업할 당시 당신의 동기는 무엇이었습니까? 그 순간, 당신이 갈망했던 것은 무엇이었습니까?

David Holz:저는 결코 회사를 만들겠다는 생각을 해본 적이 없습니다. 저는 단지 '집'(home)을 원했을 뿐입니다.

앞으로 10년 또는 20년 동안, 제가 정말로 관심 있고 이 세상에 가져오고 싶은 것들을 Midjourney라는 곳에서 만들어내고 싶었습니다.

저는 늘 온갖 문제들을 고민합니다. 아마 모든 문제를 해결할 수는 없겠지만, 적어도 시도함으로써 모두가 문제를 더 잘 해결할 수 있는 역량을 갖추게 할 수 있을 것입니다.

그래서 저는 어떻게 해결하고 창조할지를 고민해왔습니다. 이는 세 가지로 요약할 수 있습니다. 먼저, 스스로 반성해야 합니다. 우리는 무엇을 원하는가? 문제의 본질은 무엇인가?
그리고 우리가 나아갈 방향은 어디인지, 어떤 가능성이 있는지를 상상해야 합니다.
마지막으로, 서로 조율하며 협력하여 우리가 상상한 것을 실현해야 합니다.

저는 인공지능 분야에 이러한 세 부분을 결합해 중요한 인프라를 구축하고, 문제 해결 능력을 극대화할 큰 기회가 있다고 생각합니다. 어느 정도는 AI가 우리 자신을 성찰하도록 도와주고, 미래의 방향을 더 잘 상상하게 하며, 서로를 찾아 협력하도록 돕는 역할을 해야 한다고 봅니다.

우리는 이러한 일들을 함께 수행하며 하나의 통합된 프레임워크 안에 융합시킬 수 있습니다. 이것이 우리의 창조와 문제 해결 방식을 바꿔놓을 것이며, 바로 제가 하고자 하는 '큰 일(big thing)'입니다.

때로는 (우리가 먼저 시작한) 이미지 생성이 혼란스럽게 느껴질 수 있지만, 여러 면에서 이미지 생성은 이미 검증된 개념입니다. Midjourney는 수백만 명이 공동으로 탐색하는 초월적 상상력의 집합체가 되었습니다.

앞으로 몇 년 안에 시각적이고 예술적인 탐색이 더 활발히 이루어질 것이며, 이는 역사상 그 어떤 시기보다도 더 큰 규모가 될 것입니다.

이는 우리가 직면한 모든 문제를 해결하지는 못하지만, 저는 이것이 테스트이며 실험이라고 생각합니다. 만약 우리가 이런 시각 영역의 탐색을 성공적으로 완수한다면, 다른 분야에서도 마찬가지로 해낼 수 있으며, 우리 모두가 함께 탐색하고 사고해야 하는 모든 일들에 대해 비슷한 방식으로 해결할 수 있다고 믿습니다.

따라서 이 문제를 어떻게 해결할지 고민할 때, 우리는 많은 아이디어를 가지고 다양한 프로토타입을 만들었지만, AI 분야에서 특히 시각 쪽에서 돌파구가 생겼고, 이는 누구도 시도하지 않은 새로운 무언가를 창조할 수 있는 절호의 기회라고 느꼈습니다. 그래서 우리는 도전하기로 결심했습니다.

어쩌면 머지않아 모든 것이 한데 어우러져 매우 특별한 무언가를 만들어낼 것이라고 생각합니다. 지금은 시작에 불과합니다.

장펑:즉, 이미지(생성)는 첫 번째 단계일 뿐이며 궁극적인 목표는 인간의 상상력을 해방하는 것입니까? 이것이 Midjourney를 창업하게 된 목표입니까?

David Holz:저는 정말 상상력 있는 것을 좋아합니다. 또한 이 세상에 더 많은 창의성이 있기를 바랍니다.

매일 미친 듯한 아이디어들을 보는 것은 너무 재미있습니다.

연속 창업 경험,더 나은 창업을 위한 방법은?

장펑:많은 사람들이 당신을 Midjourney를 통해 알게 된 게 아니라 Leap Motion(David의 이전 창업 기업)을 통해 처음 알게 되었습니다.

저는 두 프로젝트 사이에 어떤 연관성이 있다고 느낍니다. 동기나 마음가짐 측면에서 말이죠. 제 이해가 맞는지 모르겠습니다. 하지만 Leap Motion에서의 경험은 Midjourney 창업에 도움이 되었습니까?

David Holz:여러 면에서 Leap Motion을 통해 많은 것을 배웠습니다. 예를 들어, 대규모 연구팀을 구성하는 법, 누구도 해결한 적 없는 문제를 해결하는 법, 사람과 기술이 어떻게 상호작용할지를 깊이 있게 고민하는 법 등을 말이죠.

단순히 속도, 비용, 규모만 고려하는 것이 아니라, 어떻게 협력하고 공동으로 나아갈지를 고려하는 것이 중요하며, 이것이 바로 Leap Motion의 핵심 사상 중 하나였습니다.

두 프로젝트에는 닮은 점도 있습니다. Leap Motion처럼 급속도로 성장하며 모두의 상상력을 사로잡았다는 점에서 Midjourney도 비슷하다고 생각합니다.

하지만 진정한 차이점도 있습니다. Leap Motion에서는 초기 생태계 구축에 많은 시간을 투자했습니다.

실리콘밸리에서는 당시 iPhone처럼 먼저 생태계를 구축해야 한다는 신념이 있었습니다. 그러나 우리가 함께 배운 교훈은 아마도 먼저 사람들이 진심으로 좋아하는 훌륭한 제품을 만들어야 한다는 것이었고, 그런 후에 생태계 구축을 시작할 수 있다는 점입니다.

많은 기업가들에게 초기 생태계 구축은 오히려 집중력을 흐트릴 수 있습니다. 저 역시 그랬고요. 따라서 Midjourney가 크게 다르게 접근한 점은, 누구나 사용할 수 있는 진짜 유용한 것을 만드는 데 집중했다는 점입니다.

예전엔 제가 직접 할 수 있는지를 능력의 기준으로 삼곤 했습니다. 제 아버지는 외과의사였는데, 그분은 정말 모든 걸 직접하셨죠. 우리는 유연한 손을 가지고 있습니다.

하지만 이제는 트럭 운전사들도 Midjourney를 사용할까 궁금해합니다. 실제로 많은 트럭 운전사들이 Midjourney를 즐기고 있는데, 이건 정말 멋진 일입니다. 우리가 더 나아졌다는 의미니까요.

지식의 재정의,역사 지식이 창조의 힘이 되다

장펑:흥미롭네요. 보통 "생각은 싸구려다, 코드를 보여줘(Idea is cheap, show me the code)"라고 말하죠. 그런데 지금은 생각이 유일하게 중요한 것처럼 보입니다.

좋은 프롬프트를 통해 아이디어를 표현하면 AI가 그것을 실현해줍니다. 그렇다면 학습과 창조의 정의가 바뀌고 있는 건가요? 어떻게 보십니까?

David Holz:재미있는 점은 사람들에게 더 많은 창조 시간을 제공하면, 그들은 학습 자체에도 더 큰 관심을 갖게 된다는 것입니다.

예를 들어 미국에는 장식 예술(Art Deco)이라는 인기 있는 미술 양식이 있습니다. 저는 그게 무엇인지 전혀 관심 없었는데, 어느 날 프롬프트만으로 그런 스타일의 작품을 만들 수 있게 되자 갑자기 그 역사에 대해 알고 싶어졌습니다.

정말 흥미로운 점은 역사가 즉시 활용 가능하고 쉽게 창조할 수 있는 도구가 될 때, 오히려 우리는 역사에 더 큰 관심을 갖게 된다는 것입니다.

사용자 인터페이스가 충분히 좋아져 AI가 우리의 사고 확장처럼 느껴질 때, AI는 마치 우리 몸과 사고의 일부가 됩니다. 그리고 AI는 어느 정도 역사와 밀접하게 연결되어 있으므로, 우리는 자연스럽게 역사와도 더욱 긴밀하게 연결되게 됩니다. 정말 흥미롭지 않습니까?

사용자에게 무엇을 가장 원하느냐고 물으면 보통 상위 답변은 '학습 자료'입니다. 도구 사용법뿐만 아니라 예술, 역사, 카메라 렌즈, 조명 등 창조에 필요한 모든 지식과 개념을 배우고 싶어합니다.

과거에는 지식이 단지 과거의 역사에 불과했지만, 지금은 지식이 창조의 힘이 되었습니다.

지식은 당장 실시간으로 더 큰 역할을 발휘할 수 있으며, 사람들은 더 많은 지식을 얻고 싶어합니다. 정말 멋지지 않습니까?

불안에 대처하며,자신의 능력을 열린 마음으로 사고하다

장펑:중국에서는 다양한 배경을 가진 사용자들이 있는데, 예술 창작 능력도 다양합니다. 저처럼 더 나은 이미지를 만들기 위해 노력하는 사용자도 있지만, 많은 화가와 디자이너들이 AI에 의해 자신의 일이 대체될까 걱정하고 있다고 들었습니다.

모든 사람이 AI의 도움을 받아 힘을 얻을 수 있도록 하고, 혼란스럽거나 소외감을 느끼지 않도록 Midjourney는 무엇을 할 수 있을까요?

David Holz:예술 여정을 아직 시작하지 않은 사람들에게 Midjourney는 독특한 기회를 제공합니다.

당신은 스스로 생각하게 됩니다. 내가 좋아하는 것은 무엇인가? 내 미적 감각은 어떠한가? 나는 무엇을 아름답다고 느끼는가?

전문 예술가라면 수십 년이 걸릴 수 있는 일을 이제 누구나 할 수 있습니다. 우리는 사람들이 깊이 성찰하는 모습을 발견했는데, 거의 예술 치료처럼 느껴집니다. 자신의 삶, 직면한 도전, 일어날 수 있는 좋은 일과 나쁜 일을 사고하는 것이 매우 의미 있습니다.

제 생각에 대부분의 사용자는 이런 개인적인 경험을 하며, 경쟁적이거나 상업적인 목적은 아닙니다. 대부분의 사람들은 단지 스스로 즐기기 위해 사용합니다. 생성한 이미지를 공유조차 하지 않는 경우가 많습니다.

하지만전문 분야에서는 창의력을 증폭시키는 증강기가 됩니다. 이제 만화, 영화, 비디오 게임 등을 만들 수 있습니다.

보통 사람이 처음으로 삶 속에서 아름다움을 고민한다면, 예술가들은 이제 전체 세계와 우주의 이야기를 창조하는 방법을 고민하게 됩니다. 이전에는 결코 할 수 없었던 일이죠.

따라서 모든 사람의 창의력 경계를 넓힌 것입니다.

보통 사람도 더 많은 능력을 갖게 되고, 전문가도 더 많은 능력을 갖게 됩니다. 때때로 인식하기 어렵지만, 현재 사용자 인터페이스가 너무 단순하기 때문입니다. 그러나 앞으로 더 복잡하고 강력하며 다양한 기능을 갖추게 될 것이며, 그런 기능들이 차례로 등장할 것입니다.

AIGC의 매력은,바로 예술의 매력이다

장펑:아마 AI는 단지 이미지를 처리하는 데만 쓰이는 게 아니라, 더 복잡한 작업을 처리하는 데 도움이 될 수 있을 겁니다. 왜냐하면 예전에 창의성을 이야기할 때는 창조 욕구가 있는가, 어떤 아이디어를 만들고 싶은가, 실행 능력이 있는가 등 여러 요소가 포함됐기 때문입니다.

하지만 때론 창조 욕구와 위대한 아이디어, 복잡한 일을 해방시켜주는 데 AI가 도울 수 있습니다. 이것이 AI가 사람들에게 줄 수 있는 힘이며, 단지 이미지에 국한되지 않는다고 보시나요?

David Holz:이것은 성찰을 필요로 하는 매우 개인적인 과정이며, 처음엔 우리가 알지 못했습니다.

처음엔 사람들이 생성한 (이미지들을) 보면서 그들이 무엇을 하고자 하는지 이해하지 못했습니다.

누군가 천국에 있는 개 사진을 생성했습니다.

왜 천국에 있는 개 사진을 만들었느냐고 물었더니, 그의 개가 막 죽었다고 하더군요.

저는 매우 슬펐습니다. 그는 이것이 자신을 조금 더 낫게 해줬다고 말했습니다.

사람들이 이를 사용하는 목적은 거의 예술 치료와 같습니다. 그들은 사고하고, 삶을 성찰하며, 자신이 누구인지 이해하려 합니다. 이것은 매우 개인적이며 매우 중요한 일이며, 인류 역사상 대부분의 사람은 기회조차 없었던 일입니다. 아주 소수만이 기회를 가졌을 뿐이죠.

모두가 이것을 할 수 있게 되는 것은 정말 아름다운 일이라고 생각합니다.

장펑:네, Midjourney는 단지 업무나 워크플로우 속의 도구를 넘어서, 우리 삶 속의 새로운 요소가 되었습니다.

11인의 전설,앞으로 5년 안에 더 많이 나타날 것이다

장펑:Midjourney가 아름다운 이유는 마법 같은 기술을 1000만 명에게 전달했기 때문입니다. 알고 보니 팀은 20명뿐이고, 몇 달 전에는 겨우 11명이었으며, 영업팀도 마케팅팀도 없고, 일부는 재학생도 있습니다.

궁금한데, 이것이 AI 시대의 창업 기업 조직 형태의 새로운 모델입니까?

David Holz:앞으로 그렇게 될 거라고 생각합니다.

우리는 비교적 일찍 이런 형태를 취했습니다. 또한 제가 팀을 구성하는 데 오랜 경험을 갖고 있고, 평판도 좋으며, 많은 컴퓨팅 파워를 확보할 수 있었고, 일찍 시작했다는 이점도 있습니다.

일반적인 스타트업은 이런 조건을 갖추지 못할 수 있습니다.

하지만 몇 년 안에 사람들이 연구팀을 구성하는 법을 배우고, 컴퓨팅 부담이 줄어들며, 훌륭한 AI 제품을 만드는 법을 익히면, 이런 회사들을 많이 볼 수 있을 것입니다. 우리는 아마도 최초의 사례일 뿐이지만, 5년 후에는 매우 흔한 형태가 될지도 모릅니다.

범용 vs. 수직 AGI 시대에 MJ는 무엇이 될 것인가?

장펑:당신은 오늘날 Midjourney가 하는 일이 언젠가 발전된 AGI 능력에 의해 포괄될까 걱정되십니까? 무슨 일이 벌어질까요?

Midjourney와 같은 수직적 제품의 미래는 무엇일까요?

David Holz:잘 모르겠습니다. 이것은 큰 수수께끼입니다.

한 가지 가능성은 다른 연구소와 협력하는 것입니다. 우리가 눈을 만들고, 그들이 귀를 만들며, 서로 다른 부분을 만들어 결합하는 것입니다. 이런 일이 일어날 수 있습니다.

우리가 상상력을 만들고, 그들이 언어 부분을 만들고, 그것들을 결합하는 것입니다. 그러면 우리는 함께 이 문제를 연구하게 됩니다.

또 다른 가능성은 모든 데 뛰어난 AGI가 존재하지만, 동시에 전문화된 부분도 존재한다는 것입니다. 세상에는 여전히 많은 전문가들이 있습니다.

또한 인간-기계 인터페이스 측면에서도 많은 문제가 있을 수 있다고 생각합니다. 아름다운 이미지를 만드는 것을 넘어서,一个人이 자신이 누구인지, 무엇을 원하는지 탐색하도록 돕는 문제 말입니다.

이건 AGI의 문제라기보다는, 사람과 어떻게 상호작용할지를 다루는 문제입니다.

최고의 사용자 인터페이스가 단지 언어라면, AGI는 우리에게 질문을 할 수 있습니다. 하지만 실제 UI는 언어만이 아니며, 많은 이미지를 보여주고, 사람을 다른 방식으로 이해하려 시도할 것이며, 이는 새로운 예술이자 새로운 인간 이해 이론이 될 것입니다. AI는 사람들이 자신이 원하는 것을 이해하도록 돕고자 할 것입니다.

우리는 아직 이것들을 생각하지 못했습니다. AGI는 모든 것을 할 수 있지만, 미래에도 여전히 많은 전문화가 있을 수 있다고 생각합니다.

커뮤니티의 힘, 함께 AI 코파일럿을 탐색하다

장펑:Midjourney는 영원히 수직적 제품일 것이라 생각하십니까, 아니면 범용 제품이 될 수도 있다고 보십니까?

당신은 미션을 인간의 의식적 상상력 문제 해결에 두고 있으며, 단지 이미지에 국한되지 않는다고 말씀하셨습니다.

David Holz:우리가 커뮤니티를 운영하면서 흥미로운 점은, 많은 사람들이 함께 거대한 공간을 탐색하는 방법입니다.

우리는 이런 것을 만들려고 시도하고 있으며, 앞으로 1~2년 안에 Midjourney는 세계에서 거의 모든 시각적 탐색이 이루어지는 곳이 될 수 있습니다. 따라서 매우 흥미로운 일이 있다고 생각합니다.

우리가 다른 일을 하지 않더라도, 세계에서 모든 시각적 탐색이 이루어지는 장소가 된다면, 이는 하나의 사업이지만, 우리가 무엇을 하든 시각적 탐색은 다른 분야에도 적용될 수 있다고 생각합니다.

수백만 명이 함께 문제를 해결하는 초지능 팀을 만드는 것은 매우 흥미롭습니다. 저는 어떤 하나의 AGI가 수백만 명을 대체할 수 없다고 생각하지만, AI가 참여하고, 수백만 명과 수백만 개의 AI가 함께 일할 수는 있다고 봅니다. 그러나 저는 많은 에이전트와 참여자가 있을 것이며, 각자의 관점이 다르기 때문에 문제 이해에 도움이 된다고 생각합니다.

장펑:우리가 AI 종사자라고 부르는 많은 사람들이, 새로운 기술에 의해 자신의 제품이 대체되는 것을 매우 걱정하고 있습니다.

당신도 Midjourney가 지금 하는 일이 언젠가 발전하는 AGI 능력에 의해 대체될까 걱정되십니까?

Midjourney와 같은 수직 제품의 미래는 어떻게 될까요?

David Holz:가치 있는 것을 찾거나 해결할 만한 문제를 유지하면서 집중하고, 동시에 열린 마음을 갖는 것이 문제 해결의 한쪽 면입니다.

다른 한편으로, 만들어진 AGI 기술이나 제품은 여전히 우리와 같은 사회 속에서 공존할 것이며, AI를 이용해 끊임없이 새로운 것을 창조할 수 있고, 사회 속에서 AI가 어떻게 우리와 협력해 창조할지를 정의할 수 있습니다.

이것이 바로 우리가 하고 있는 일,모두가 함께 탐색하고 공동 창조하는 것입니다.

지금은 시각적 방식으로, 어느 면에서는 매우 원시적이지만, 다른 면에서는 모든 것을 볼 수 있기 때문에 테스트에 가장 적합할 수 있습니다.

당신은 실제로 그것을 볼 수 있습니다. 만약 시를 가지고 이것을 한다면 똑같이 흥미로울 수 있지만 이해하기 어려울 수 있습니다. 또는 엔진이나 다른 과학을 가지고 한다면, 당신은 과학자가 될 수 없고, 백만 명의 과학자를 찾을 수 없지만, 백만 명의 이미지 제작자는 쉽게 찾을 수 있습니다.

따라서 여기서 더 고려해야 할 것은 AI + 인간 사회 전체의 정신이 어떻게 생겨야 하는가 하는 문제입니다. 지금은 대부분 인간이 AI를 사용해 창조하지만, 앞으로는 AI가 인간과 함께 사고하고 창조할 수 있을 것이며, 이는 매우 흥미로울 것입니다. 어쩌면 어느 순간엔, 한 아이디어가 인간에서 나온 것인지 AI에서 나온 것인지조차 구분하지 못하게 될지도 모릅니다.