그림 1. Vizcom, Midjourney 를 활용한 모빌리티 디자인 (출처 : 삼성전자 고성찬 디자이너 인스타그램)

이 아티클을 읽고 있는 구독자분들이라면 거대언어모델, 이하 LLM 에 대해서 들어본 적이 있을 것입니다. 최근에 GPT-4o 를 사용해 가지고 있는 이미지를 지브리 스타일로 변환하는 것 등 가볍게 사용하는 구독자분들도 있는가 하면, LLM 을 사용해 프롬프트를 뽑아서 위 사진처럼 izcom, Midjourney 등을 사용해서 새로운 디자인을 하는 디자이너와 같이 실제 본인의 업무에도 활용하는 구독자분들도 있을 겁니다. 지금까지의 공통점은 프롬프트를 입력하면 출력하는 이른바 프롬프트 엔지니어링을 기반으로 한 혼자서 한 작업들의 연속이라는 것입니다.

그림 2. Single Agent vs Multi Agent (출처 : LangGraph)

하지만 최근에는 멀티 에이전트 시스템이라는 새로운 접근이 나오고 있습니다. 위에 있는 그림 2처럼 혼자서 모든 걸 하는 게 아니라 분야 별로 특화된 에이전트를 정의하고 이들끼리 소통하며 과업을 처리하는 이른바 Multi-Agent System (이하 MAS)가 주목을 받고, 2023년 말부터 연구되고 있습니다.또한, 작년에는 마이크로소프트에서 AutoGen, Magnetic-One 올해 4월 9일 구글에서는 Agent2Agent (A2A) 프로토콜을 공개하면서, 구글은 올해 AI 에이전트 간의 협업하는 과정에 대해서 선점하고자 하는 의도가 있는 것으로 보입니다. 그러면 에이전트라는 개념은 어디서 발현이 되었고, LLM 은 어떻게 에이전트로 활용이 될까요?

수많은 인공지능 모델 및 기법들이 있지만, 이번 아티클에서는 LLM, 언어와 관련된 내용을 간단하게 언급해보고자 합니다. LLM 이 본격적으로 알려지게 된 것은 2018년 이후입니다. 하지만 그 이전부터 자연어 처리(NLP) 연구는 컴퓨터공학 분야에서 계속 지속적으로 발전이 되었습니다. 그러면 어느 순간부터 LLM이 나오게 되었을까요?

- 중략 -

그림 5 : 시뮬레이션 환경에서의 상호작용 (출처 : Generative Agents: Interactive Simulacra of Human Behavior)

먼저, 2023년 스탠포드 & 구글 딥마인드에서 출간한 LLM 기반 에이전트를 활용해 실제 인간과 유사하게 상호작용하고 사고하는 디지털 캐릭터를 시뮬레이션한 연구입니다. 이 논문에서는 복잡한 내적 상태를 가진 에이전트들이 메모리, 계획, 행동 모듈을 바탕으로 자율적으로 상호작용하며 사회적 행동을 형성하는 과정을 보여주고, 특히 하나의 마을에 다양한 LLM 에이전트를 배치하여 스스로 일정을 계획하고, 대화를 통해 새로운 정보를 습득하고, 과거 경험을 토대로 미래 행동을 조정하는 모습을 시연합니다. 이를 통해 에이전트는 장기기억과 주의집중 메커니즘을 통해 맥락을 반영한 의사결정을 수행하며, 이로써 단순한 명령형 시스템을 넘어선 복합적 상호작용이 가능함을 입증하는 중요한 연구입니다. 특히 인상적인 건 인간 사회를 LLM 으로 단순화한 초기 연구라는 점, 이를 통해 Multi Agent 자체에 대한 가능성을 입증했다는 점에 있습니다.

그림 8. 연구 내 구조도 (출처 : Collaborative Storytelling and LLM: A Linguistic Analysis of Automatically-Generated Role-Playing Game Sessions)

올해 이탈리아 살레르노 대학교에서 LLM 에이전트를 이용해 RPG 세션을 자동 생성하고 그 언어적 특성을 분석한 연구도 있습니다. 4개의 LLM 인스턴스를 생성하여 각기 다른 역할(게임 마스터와 플레이어)을 부여한 후, 스스로 스토리를 전개하게 하였고, 생성된 텍스트는 인간의 RPG 대화, 일반 대화, 학술 담화, 판타지 소설과 비교되어 문체적 유사성과 차이를 평가한 연구입니다. (중략) 이 연구는 실제로 개발된 사례보다는 실험적인 스터디에 가깝지만, 이를 통해서 XR 내에서 완전한 Agent 끼리의 상호작용을 통한 게임을 볼 수 있지 않을까 기대가 되어 공유합니다.

- 중략 -

추후 메타버스와 AI 멀티 에이전트의 결합은 가상 세계에 혁신적 변화를 가져올 것입니다. 지능적 에이전트들이 서로 협업하며 생동감 있는 가상 환경을 구축하면서, 무한한 NPC를 생성하면서 사용자에게 개인화된 경험을 제공할 수 있습니다.

메타버스 개념 대유행의 시기부터 지금까지, 메타버스를 자처하며 시장에 내놓아졌던 콘텐츠와 서비스들의 가장 큰 문제점은 이용자 수가 부족한 것이었습니다. 이는 서버 운영 비용이라는 비교적 단순한 측면에서의 문제이기도 하지만, 또한 콘텐츠 부족으로 인한 사용자 유입 및 유지 불가라는 더욱 근본적인 측면에서의 문제이기도 합니다. 메타버스는 그 단어와 사용자들의 기대감으로 미루어 보았을 때, 여지 없이 하나의 세상이 되어야 합니다.

그림 10. 1999년에 이미 사람과 매우 흡사한 AI로 디스토피아가 아닌 휴머니즘을 보여준 영화, [바이센테니얼 맨] (출처 : Walt Disney Pictures)

혹자는 AI가 만들어낸 아바타들로 그 세상이 채워진다면, 이른바 죽은 인터넷 이론이 참이 되는 것이 아니냐고 반론할지도 모릅니다. 그러나 이미 우리는 무수히 많은 NPC들이 등장하는 게임을 거리낌없이 즐기고 있습니다. (중략) 비유하자면, ‘프로듀서로서의 AI’와 ‘플레이어로서의 AI’는 분명히 다르다는 것입니다. 그렇기 때문에 메타버스에서는 다채로운 플레이어 역할을 하는 Agent AI 간의 협업이 그 메타버스의 가치를 확장할 수 있습니다. 메타버스의 어엿한 구성원으로서 활동하며, 정해진 스크립트를 출력하기만 하는 기존의 NPC와는 차원이 다른 수준의 AI 캐릭터를 만난다면, 아마도 여러분 메타버스의 장르는 [아이, 로봇]의 디스토피아 SF가 아닌 [바이센테니얼 맨]의 휴머니즘일 것입니다.