어제 밤, 구글은 'AI 슈퍼 풀 패키지'를 발표했지만 가장 큰 혁신은 오픈AI에 의해 저격당했다

2024.05.15

어제 밤, 구글은 'AI 슈퍼 풀 패키지'를 발표했지만 가장 큰 혁신은 오픈AI에 의해 저격당했다

OpenAI가 4o의 발표 시점을 구글 I/O 컨퍼런스 개막 하루 전날로 특별히 선택한 것은 아마도 구글을 겨냥하기 위해서일 것이다.

2024.05.15 - 06:28:26

Web3 심층 보도에 집중하고 흐름을 통찰

OpenAI가 4o의 발표 시점을 구글 I/O 컨퍼런스 개막 하루 전날로 특별히 선택한 것은 아마도 구글을 겨냥하기 위해서일 것이다.

글: 정웨이, 신신

편집: 정쉬안

예상대로, 구글은 OpenAI에 의해 정조준을 당했다.

일련의 연막 작전 후, 어제 OpenAI는 현실 세계를 보고 듣고 실시간으로 지연 없이 대화할 수 있는 AI 비서 'GPT-4o'로 세상을 놀라게 했다. 이 4o 발표 시점을 구글 I/O 컨퍼런스 개막 하루 전으로 특별히 선택한 것을 두고 당시 언론들은 OpenAI가 구글을 겨냥했다고 예측했다.

과연 미국 현지시간 14일 오전 10시 열린 구글 I/O 컨퍼런스 기조 연설에서 구글은 Gemini 기반의 'AI 올인원 패키지'를 다수 발표했다. 여기에는 컨텍스트 200만 토큰을 지원하는 업그레이드된 Gemini 1.5 Pro와 새로운 모델 Gemini 1.5 Flash, Sora 유사의 신규 비디오 대규모 모델 Veo는 물론 AI 검색, AI + Gmail 등 다양한 AI 애플리케이션이 포함됐다.

하지만 가장 주목받은 것은 여전히 구글 딥마인드 책임자이자 구글 AI 리더인 데미스 해사비스(Demis Hassabis)가 말하는 진정한 AGI로 가는 길의 올인원 비서 프로젝트—'Project Astra'였다. 또한 Gemini Advanced 구독자에게 새롭게 제공되는 음성 채팅 기능 Live도 주목받았으며, 이 기능은 올해 안에 카메라 기능까지 추가돼 AI가 사용자의 실제 환경을 기반으로 대화를 나눌 수 있게 될 예정이다.

이 두 제품 모두 어느 정도 'GPT-4o'와 닮아 있지만, 세 제품의 실제 성능을 떠나 제품 진척도 면에서 보면 OpenAI가 한 발 앞서 있다. 그러나 그렇다고 해서 OpenAI가 반드시 최후의 승자가 된다는 의미는 아니다. 현재 스마트폰은 여전히 이러한 초지능 비서들에게 가장 중요한 하드웨어 플랫폼이며, 안드로이드 시스템을 장악한 구글은 천연적인 이점을 가지고 있다. 이런 관점에서 보면 최근 애플과 OpenAI의 협업 소문은 아마도 둘이 구글에 맞서 서로 필요한 것을 얻기 위한 것이었을 가능성이 크다.

어쨌든 '현실 세계 인식 입력(Input)'과 '저지연 음성 출력(Output)'을 갖춘 초지능 비서는 다음 단계 AI 기업들의 군비 경쟁의 핵심이 되었다. 앞으로 더 많은 대규모 모델 회사, 클라우드 컴퓨팅 플랫폼은 물론 스마트폰 제조사와 AI 애플리케이션 개발자들까지 이 경쟁에 뛰어들 것이다.

01. Project Astra—실시간 영상 질의응답, 조작 없음을 맹세

I/O 컨퍼런스에서 구글은 매우 인상적인 AI 비서 데모 영상을 공개했으며 이번엔 어떤 방식으로든 조작하거나 편집하지 않았다고 맹세했다.

데미스 해사비스는 Project Astra가 자신이 수십 년간 기다려온 AI 비서의 원형이라며, 이것이 바로 AI 비서의 미래라고 말했다.

Project Astra는 실시간 다중 모달 AI 비서로, 정보를 수신하고 본 내용을 기억하며 정보를 처리하고 문맥을 이해함으로써 주변 세계와 상호작용한다. 현재의 Google Assistant보다 더 자연스럽고 지연 없이 음성 대화를 수행하며 거의 모든 일에 대해 질문에 답하거나 도움을 줄 수 있다.

데모 영상에서 사용자는 소리를 내는 물체를 발견하면 알려달라고 요청했고, 비서는 소리를 내는 스피커를 보고 있다고 답변했다.

대화는 실시간 음성으로 진행되며 '헤이 구글', 'Gemini' 등의 호출어도 필요 없다. 사용자가 Project Astra에게 영상 속 모니터의 코드가 무엇인지 묻자, Astra는 전혀 지연 없이 설명을 시작했다.

깜빡이는 안경을 기억한 Project Astra｜사진 출처: 구글

Project Astra의 시각 처리 능력은 전체 발표에서 가장 큰 하이라이트였다. "내가 안경을 어디 뒀는지 기억하니?"라는 질문에 "빨간 사과 옆 책상 위에 있어요."라고 정확하게 답변했다. Astra는 카메라로 순간적으로 보인 안경을 기억하고 위치를 정확히 파악한 것이다. 아마도 이 안경에도 Project Astra 기술이 탑재되어 있을지도 모른다.

데모 영상에서 볼 때 Project Astra는 받은 정보를 매우 빠르게 처리할 수 있으며, 연속된 비디오 프레임을 인코딩하고 비디오와 음성을 하나의 사건 타임라인으로 통합함으로써 이를 가능하게 한다. 또한 정보를 캐싱하여 추후 회상할 수 있도록 한다. 구글은 이러한 일부 기능들이 올해 말쯤 Gemini 앱과 다른 제품들에 추가될 것이라고 밝혔다.

Project Astra가 이 밴드에 '골든 스트라이프'라는 이름 부여｜사진 출처: 구글

구글은 딥마인드 팀이 다중 모달 모델을 어떻게 효과적으로 통합할지, 또 초거대 범용 모델과 더 작고 집중된 모델 사이의 균형을 어떻게 맞출지 연구 중이라고 밝혔다.

어제 GPT-4o를 발표한 OpenAI의 가장 큰 돌파구 역시 다중 모달에 있었는데, 마치 시간이 되돌아간 듯하다. 가장 큰 차이점은 시각 처리인데, 현재 GPT-4o는 정적 이미지만 처리할 수 있는 반면, Astra는 이미 비디오 처리까지 가능하다.

Project Astra 뒤에 있는 Gemini 시리즈 대규모 모델들도 업데이트됐다. 지난달 Google Cloud Next 2024 컨퍼런스에서 발표된 Gemini 1.5 Pro는 원생 오디오 이해, 시스템 명령, JSON 모드 등을 갖추고 있으며 100만 토큰의 장문 처리 능력을 제공하며 전 세계 개발자에게 이미 개방됐다.

이번에 새로 소개된 Gemini 1.5 Flash 모델은 핵심적인 비용 문제를 해결했다. Gemini 1.5 Flash는 Gemini 1.5 Pro와 Gemini 1.5 Nano 사이에 위치하며 주로 개발자를 대상으로 한다. 행사에서는 Gemini 1.5 Pro와 Flash의 가격도 자세히 소개됐다. Gemini 1.5 Flash는 100만 토큰당 35센트로, GPT-4o의 100만 토큰당 5달러보다 훨씬 저렴하다.

Gemini 1.5 Flash｜사진 출처: 지크파크

구글은 또한 향후 계획을 예고하며 올해 말 모델의 기존 컨텍스트 윈도우를 2배 늘려 200만 토큰에 도달할 것이라고 발표했다. 이를 통해 2시간 분량의 비디오, 22시간 오디오, 6만 줄 이상의 코드, 또는 140만 단어 이상의 텍스트를 동시에 처리할 수 있게 된다.

Gemini 1.5 Pro｜사진 출처: 지크파크

지난해 12월 구글이 공개한 사전 녹화 데모는 '조작' 논란에 휩싸였으며, 편집을 통해 Gemini의 비디오 처리 능력을 과장한 것으로 비판받았다. 하지만 지금은 이러한 능력이 실제로 존재한다는 것이다.

02. 대규모 모델 기반 AI 애플리케이션 생태계의 진전

이번 I/O 컨퍼런스에서 구글은 대규모 모델 기반 AI 애플리케이션 생태계도 업그레이드했는데, 검색, 사진, 창작, 도구 및 업무 애플리케이션 등 다양한 분야를 아우른다.

검색은 구글이 25년 전에 탄생시킨 창립 제품이다. 1년 전 구글은 검색의 미래는 AI라고 선언했다. 이제 그 AI 기반 검색이 실제로 등장했으며, 핵심은 '구글이 당신을 위해 구글을 해준다(Google for you)'는 점이다.

구글 CEO 순다르 피차이(Sundar Pichai)는 I/O 컨퍼런스에서 인공지능 생성 검색 요약, 즉 'AI 개요(AI Overview)'가 '이번 주' 미국 전역에 공개되며, 이후 더 많은 국가와 지역으로 확대될 것이라고 발표했다.

기존보다 AI 검색은 더 복잡한 질문을 처리할 수 있다. 구글은 예를 들어 사용자가 지역에서 인기 있고 통근하기 편리하며 할인도 있는 새로운 요가 스튜디오를 찾고 싶을 때, 단 한 번의 검색으로 이를 모두 해결할 수 있다고 설명했다.

또한 사용자는 이미 생성된 AI 요약을 조정하거나 간소화된 버전을 선택하거나 더 많은 세부 정보를 확인할 수도 있다.

이 모든 것은 구글이 맞춤형 Gemini 모델을 통해 구현한 것으로, 다단계 추론, 계획 수립, 다중 모달 기술을 검색 시스템과 결합해 웹 콘텐츠를 요약하고 결과를 표시하며, AI가 결과 페이지의 디자인과 내용 배치까지 직접 설계한다고 한다.

하지만 문제는 AI가 사용자를 대신해 검색 결과를 수집한다면, 구글의 키워드 광고 사업은 어디로 가냐는 점이다.

구글 임원들은 기존 쿼리로 나온 웹페이지 목록보다 AI 요약에 포함된 링크가 더 많은 클릭을 유도한다고 주장했다. "기존과 마찬가지로 광고는 페이지 내 전용 위치에 게재되며 유기적 결과와 스폰서 결과를 명확한 라벨로 구분할 것"이라고 덧붙였다.

질문 외에도 구글 AI 검색은 식단부터 여행 계획까지 계획 수립도 가능하다. 예를 들어 '3일간 쉽게 준비 가능한 그룹 식단 계획 만들기'를 검색하면 AI가 맞춤 계획을 만들어주고, 사용자는 특정 저녁 식사를 채식으로 변경한 후 문서나 구글 메일로 내보낼 수 있다.

검색은 단순히 텍스트 박스 안의 문자에 국한되지 않는다. 구글의 시각 검색도 진화해 비디오로 질문할 수 있게 됐다. 예를 들어 사용자가 고물장수 판(LP) 플레이어를 가지고 있는데 바늘 부분의 금속 부품이 흔들린다면 원인을 알 수 없겠지만, 바로 비디오로 검색하면 해결 단계가 포함된 AI 요약과 관련 링크를 얻을 수 있어 문제 기술에 필요한 전문 용어를 찾는 시간과 번거로움을 줄일 수 있다.

구글 AI 검색으로 직접 식단 계획 수립｜사진 출처: 구글

구글 포토 앱도 진화할 예정이다. 순다르 피차이는 데모에서 "9년 전 이 앱을 출시했고, 지금 매일 60억 장 이상의 사진과 비디오가 여기에 업로드되고 있다"고 말했다.

향후 몇 달 내 이 앱은 '사진 묻기(Ask Photos)' 기능을 선보일 예정이며, 이는 Gemini 모델 기반으로 사용자가 자연어로 사진과 비디오 속 인물, 반려동물, 장소 등을 검색할 수 있게 해준다. 또한 사진의 문맥과 주제를 이해해 특정 기억 정보를 찾아주며, 스크롤 없이도 가능하다.

예를 들어 "내가 방문했던 각 국립공원의 가장 멋진 사진 보여줘", "작년에 어디서 캠핑했지?", "내 할인 쿠폰 언제 만료돼?", "루시아가 언제 수영을 배웠지?", "루시아의 수영 실력 변화 과정 보여줘", "리나의 생일 파티 테마가 뭐였지?" 같은 질문이 가능하다. 마지막으로 여행 하이라이트나 개인화된 제목도 작성해 소셜 미디어에 공유할 수 있다.

구글은 또한 "아동 학대나 피해 방지를 위한 아주 예외적인 경우를 제외하고는, 이러한 개인 데이터를 Google Photos 외부의 생성형 AI 제품(다른 Gemini 모델 및 제품 포함) 학습에 사용하지 않는다"고 강조했다.

사진 묻기 기능으로 생일 파티 세부사항 질문｜사진 출처: 구글

창작 도구 측면에서 구글은 I/O 컨퍼런스에서 AI 기반 비디오 생성 도구 VideoFX를 출시하고, AI 이미지 및 AI 음악 창작 도구 ImageFX와 MusicFX도 업데이트했다.

VideoFX는 영화 감독이 프롬프트를 작성해 영화 샷을 구성할 수 있으며, ImageFX는 이미지 편집 컨트롤을 추가했고, MusicFX는 새로운 DJ 모드를 도입했다.

특히 신규 도구 VideoFX는 구글 딥마인드의 최강 생성형 비디오 모델 Veo로 구동된다. 이 도구는 스토리보드 모드를 갖춰 씬 단위로 반복 작업을 수행하고 최종 비디오에 음악을 추가할 수 있다.

구글 임원에 따르면 Veo는 '타임랩스' 같은 영화 용어를 이해할 수 있으며, 다양한 영화적·시각적 스타일로 1080p 해상도의 비디오를 생성할 수 있고, 길이도 1분 이상 가능하다. Veo는 사전 신청 대기 명단을 통해 미리보기 버전을 제공할 예정이다.

또 주목할 점은 VideoFX, ImageFX, MusicFX가 생성한 모든 콘텐츠는 디지털 워터마크 SynthID로 표시되는데, 이는 주로 AI 콘텐츠의 남용과 허위 정보 확산을 방지하기 위한 목적이다.

구글 AI 비디오 생성 도구 VideoFX 사용｜사진 출처: 구글

창작 도구 외에도 구글의 일상 업무 애플리케이션 진화도 주목할 만하다. Gmail, 캘린더, 문서, 스프레드시트, 프레젠테이션, 드라이브 등 구글 Workspace 앱 전반에 최신 AI 모델 Gemini 1.5 Pro가 사이드바에 가상 비서 형태로 도입될 예정이다.

사용자가 사이드바의 Gemini 아이콘을 클릭하면 Gmail 내 Gemini는 '이 메일 요약하기', '다음 단계 나열하기', '회신 제안하기' 등의 옵션을 제공한다. 예를 들어 아이 학교에서 온 메일을 요약해 행동해야 할 사항을 파악하고 회신 초안을 작성할 수 있다.