메타버스와 생성형 AI

 지난주에는 ChatGPT와 메타버스에 대한 소식을 전해드렸습니다. 조금 더 나아가 생성형 인공지능 기술에 대해 알아보고, 해당 기술이 가져올 메타버스의 새로운 패러다임에 관해 이야기해보고자 합니다. OpenAI의 언어 모델 ChatGPT, 그림 생성 모델 Midjourney, 코드 생성 모델 Copilot 등 생성형 AI 기술에 대한 관심과 사용 후기가 쏟아지고 있습니다. 인공지능에 대한 관심이 뜨거워지자 Meta, Google과 같은 빅테크 기업에서도 내부적으로 개발 중이던 여러 인공지능 모델을 앞다투어 공개하기 시작했습니다.

 인공지능이 새로운 개념이 아님에도, 모두가 주목하는 지점은 “생성”이라는 가치에 있는 듯합니다. 딥마인드가 개발한 알파고의 등장은 모든 경우의 수를 계산할 수 있는 괴물 같은 컴퓨팅 능력으로 모두를 놀라게 했지만, 그 기술 자체는 조금 멀게 느껴졌습니다. 하지만 요새 회자하는 생성형 AI는 무언가 다릅니다. 평상시에 사람만이 할 수 있다고 느껴졌던 일들을 너무나도 자연스럽게, 그리고 높은 수준으로 해내고 있죠. 또한 이미 학습된 딱 맞는 답을 아웃풋으로 제공하는 것이 아닌 마치 생각하는 것처럼 매번 새로운 아웃풋을 창조합니다. 말 한마디에 그림을 그려주고, 시를 써주는 이 상황은 인공지능이 얼마나 우리의 곁에 가까이 다가왔는지 피부로 느끼게 합니다.

창의력의 영역을 침범하는 생성형 인공지능(Generative AI) 기술  

이미지 출처: McKinsey & Company

 생성형 AI는 텍스트, 코드, 이미지, 오디오, 비디오와 같은 데이터를 기반으로 새로운 콘텐츠를 생성하는 기술입니다. 인공지능 모델의 개발 목적과 학습 데이터의 형태에 따라 특화된 구성의 기술을 사용합니다. 가장 주목을 받는 자연어 처리 기술인 GPT-3와 BERT는 트랜스포머(Transformer) 구조를 활용하고 있죠.

 또한 생성형 AI 모델이 놀라울 정도로 높은 수준의 결과물을 제작할 수 있는 가장 큰 이유는 대용량의 데이터로 학습이 되었기 때문입니다. AI 모델을 학습시키기 위해 사용되는 컴퓨터 리소스와 데이터의 양은 상상을 초월합니다. 메타는 자연어 처리 인공지능 모델 LLaMa를 학습시키기 위해 1조 4천억 개의 토큰(말뭉치)가 사용되었습니다. 이렇게 학습된 복잡한 인공지능 모델은 개발자도 생각해내지 못한 새로운 아웃풋을 만들어냅니다. 그렇다면 이렇게 똑똑하고, 또 창의적인 생성형 AI 모델은 메타버스와 어떻게 시너지를 낼 수 있을까요?

 생성형 AI와 메타버스

 새로운 것을 빠르게 창조하는 생성형 AI가 어쩌면 메타버스의 게임체인저가 될 수 있을 듯합니다. Roblox(로블록스)도 지난달 28일 로블록스 스튜디오에 텍스트 명령어 기반 생성형 AI와 코드 완성 생성형 AI 도구를 출시할 예정이라고 발표했습니다. 생성형 AI에서 주목할 지점은 메타버스의 콘텐츠 제작 프로세스를 획기적으로 변화시킬 수 있다는 것에 있습니다. 사용자가 메타버스 환경에 머물고 싶어지는 킬러 콘텐츠를 만드는 것은 메타버스의 가장 큰 숙제 중 하나입니다. 하지만 3D 콘텐츠는 개발 난이도가 상대적으로 높아서 많은 시간과 인력이 투입될 뿐 아니라, 3D 환경에서 사용자가 온전히 몰입감을 느끼기 위해서 더 많은 그래픽 자원이 필요합니다.

학습시킨 생성형 AI를 통해 3D 모델을 만들 수 있다면, 콘텐츠 제작에 드는 비용과 시간을 획기적으로 단축할 수 있습니다. AI 및 그래픽 칩 제조업체인 엔비디아는 Magic3D: High-Resolution Text-to-3D Content Creation 논문과 함께 3D 모델 생성 AI 프레임워크를 작년 11월에 공개했습니다. Magic3D는 텍스트를 기반으로 고품질의 3D 메시 모델을 제작할 수 있는 Text-to-3D 생성 프레임워크입니다. 사용자가 프롬프트에 입력한 텍스트를 기반으로 저해상도 모델을 생성한 후 고해상도로 최적화하는 2단계 프로세스를 사용합니다.