게임 엔진이 '피지컬 AI'의 뇌를 훈련시키는 방법

[테크 트렌드] 챗GPT의 한계를 깨다: 게임 엔진이 '피지컬 AI'의 뇌를 훈련시키는 방법

지난 5월부터 본격적으로 AI 기술의 발전 궤적을 연구하며 깊이 파고들수록, 결국 모든 글로벌 빅테크의 시선이 한 곳으로 모이고 있다는 것을 체감하게 됩니다. 챗GPT로 대표되는 텍스트 기반의 생성형 AI 시대를 지나, 이제 화면 속을 벗어나 현실 세계로 튀어나온 인공지능, '피지컬 AI(Physical AI)'의 시대가 열리고 있습니다.

최근 엔비디아(NVIDIA)의 젠슨 황 CEO 역시 향후 AI 산업의 다음 스텝으로 주저 없이 이 피지컬 AI를 꼽았습니다. 그런데 이 최첨단 로봇들을 똑똑하게 만드는 데 가장 핵심적인 역할을 하고 있는 것이 다름 아닌 '게임 엔진(Game Engine)'이라는 사실을 알고 계셨나요?

📌 똑똑한 바보, '몸'이 없는 AI의 치명적 한계

현재의 거대언어모델(LLM)들은 수천억 개의 텍스트 데이터를 읽어내며 인간의 언어를 완벽에 가깝게 구사합니다. 하지만 치명적인 단점이 하나 있습니다. 바로 현실 세계의 '물리 법칙(World Model)'을 몸소 겪어본 적이 없다는 것입니다.

"유리잔을 세게 쥐면 깨진다", "사과를 놓으면 중력에 의해 바닥으로 떨어진다"는 문장 자체는 완벽하게 출력하지만, 실제로 로봇 팔이 유리잔을 쥘 때 어느 정도의 마찰력과 힘 조절이 필요한지는 계산하지 못합니다. 완벽한 범용 인공지능(AGI)이 되기 위해서는 데이터 센터 안의 텍스트를 넘어, 비가 오고 바람이 불고 중력이 작용하는 현실의 물리 법칙을 이해해야만 합니다.

📌 로봇을 위한 매트릭스, '게임 엔진'의 재발견

로봇에게 현실 세계를 가르치는 가장 직관적인 방법은 직접 밖으로 데리고 나가 수만 번 넘어지게 하는 것입니다. 하지만 로봇 한 대의 가격과 파손 위험, 시간적 비용을 생각하면 이는 불가능에 가깝습니다.

여기서 수십 년간 게이머들의 눈을 즐겁게 하기 위해 발전해 온 3D 그래픽과 물리 엔진(Physics Engine)이 구원투수로 등판합니다. 게임 개발사들은 가상의 공간 안에 빛의 반사, 물체의 충돌, 중력과 가속도를 현실과 똑같이 구현해 내는 '월드 빌딩(World Building)'의 장인들입니다. 언리얼 엔진(Unreal Engine)이나 유니티(Unity) 같은 툴로 구현된 가상 세계는 그 자체로 로봇을 위한 완벽한 '매트릭스'가 됩니다.

📌 1인칭 시점(FPP)과 합성 데이터의 마법

과학자들은 이 정교하게 구축된 3D 가상 시뮬레이션 환경에 가상의 로봇을 집어넣습니다. 로봇은 이 가상 전장 속에서 '1인칭 시점(FPP, First-Person Perspective)' 카메라를 통해 공간의 깊이를 지각하고, 장애물을 피하며 걷는 법을 강화 학습합니다.

현실에서는 수십 년이 걸릴 테스트를 가상 공간에서는 수백, 수천 배의 속도로 가속하여 무한 반복할 수 있습니다. 비가 오는 날씨, 미끄러운 바닥, 갑작스러운 장애물 등 현실에서 일어날 수 있는 수만 가지 변수를 시뮬레이션하며 '합성 데이터(Synthetic Data)'를 쏟아냅니다. 가상 세계에서 수백만 번 넘어지며 완벽하게 걷는 법을 깨우친 AI의 '뇌'를 실제 로봇에 이식하는 것입니다.