메모리즈 AI, 웨어러블 및 로봇 공학용 시각 기억 레이어 개발

숀 쉔(Shawn Shen)은 AI가 물리적 세계에서 진정으로 활약하기 위해서는 자신이 본 것을 기억할 수 있는 능력을 갖추어야 한다고 주장한다. 그가 이끄는 기업인 Memories.ai는 엔비디아(Nvidia)의 AI 도구를 활용해 웨어러블 기기와 로봇이 시각적 기억을 저장하고 불러올 수 있도록 하는 기반 인프라를 구축하고 있다.

월요일, 엔비디아 GTC 컨퍼런스에서 Memories.ai는 이 반도체 업계 선두 기업과의 파트너십을 발표했다. 이번 협력을 통해 Memories.ai는 자사의 시각 기억 기술을 발전시키기 위해 엔비디아의 추론 비전 언어 모델인 '코스모스-리즌 2(Cosmos-Reason 2)'와 영상 검색 및 요약 애플리케이션인 '엔비디아 메트로폴리스(Nvidia Metropolis)'를 활용할 수 있게 되었다.

쉔(사진 왼쪽)은 테크크런치와의 인터뷰에서, 자신과 공동 창업자이자 CTO인 벤 저우(사진 오른쪽)가 메타(Meta)의 레이밴(Ray-Ban) 안경용 AI 시스템을 개발하던 중 회사 설립 아이디어가 떠올랐다고 설명했다. 그들의 작업은 한 가지 핵심적인 의문을 제기했다. 사용자가 나중에 자신이 촬영한 영상 데이터에 접근하거나 이를 회상할 수 없다면, 그러한 기술이 과연 어떤 실용적 가치를 가질 수 있을까?

AI 시각 기억에 대한 기존 솔루션을 찾아보았으나 발견하지 못한 끝에, 그들은 메타를 떠나 직접 이 기술을 개발하기로 결심했다.

쉔은 “AI는 이미 디지털 영역에서 놀라운 성과를 거두었다. 다음 개척지는 물리적 세계다”라고 말했다. “AI 기반 웨어러블 기기와 로봇 역시 기억이 필요하다... 궁극적으로 우리는 AI가 시각적 기억을 갖는 미래가 불가피하다고 믿는다.”

AI 시스템의 기억 개념은 비교적 최근에 등장한 것입니다. 오픈AI(OpenAI)는 2024년에 ChatGPT용 기억 기능을 도입했고, 2025년에 이를 개선했습니다. 마찬가지로, 일론 머스크의 xAI와 구글 제미니(Gemini)도 지난 2년 동안 자체 기억 도구를 출시했습니다.

그러나 쉔은 이러한 발전이 주로 텍스트 기반 기억에 집중되어 왔다고 지적한다. 텍스트는 구조가 더 명확하고 색인화하기 쉽지만, 주로 시각적 입력을 통해 세상을 인지하고 상호작용하는 로봇 공학이나 웨어러블과 같은 물리적 AI에는 적용하기 어렵다.

2024년에 설립된 Memories.ai는 현재까지 1,600만 달러의 자금을 조달했다. 여기에는 2025년 7월의 800만 달러 시드 라운드와 이후 추가된 800만 달러가 포함된다. 이번 투자는 Susa Ventures가 주도했으며, Seedcamp, Fusion Fund, Crane Venture Partners 등이 참여했다.

쉔에 따르면, 이 시각적 메모리 레이어를 구축하는 데에는 두 가지 핵심 과제가 있었다. 바로 동영상을 저장 및 검색 가능한 데이터 형식으로 임베딩하고 색인화할 인프라를 개발하는 것과, 필요한 훈련 데이터를 확보하는 것이었다.

이 회사는 2025년 7월 대규모 시각 기억 모델(LVMM)을 공개했다. 쉔은 이를 구글이 최근 출시한 다중 모달 색인 및 검색 모델인 '제미니 임베딩 2(Gemini Embedding 2)'의 더 간결한 버전이라고 설명했다.

데이터 수집을 위해 팀은 '데이터 수집가'가 착용하여 훈련용 영상을 녹화하는 맞춤형 하드웨어 장치인 LUCI를 개발했다. 쉔은 하드웨어 제조업체가 되거나 이 장치를 판매할 계획은 없다고 밝혔다. 그들은 배터리 수명을 소모하는 고화질 형식에 주로 초점을 맞춘 상용 비디오 레코더가 자신들의 요구 사항에 부적합했기 때문에 LUCI를 제작했다.

Memories.ai는 이후 LVMM의 2세대 버전을 출시하고 퀄컴과 파트너십을 체결했다. 이 모델은 올해 말부터 퀄컴의 프로세서에서 구동될 예정이다.

쉔은 회사 측이 이미 여러 주요 웨어러블 제조업체와 협력 중이라고 밝혔으나, 구체적인 업체명은 언급하지 않았다. 현재 수요가 존재하지만, 그는 웨어러블 및 로봇 공학 시장에서 앞으로 더 큰 기회가 열릴 것으로 전망했다.

쉔은 “상용화 관점에서 볼 때, 우리의 초점은 전적으로 모델과 인프라에 맞춰져 있다”고 말했다. “우리는 웨어러블 및 로봇 시장이 필연적으로 도래할 것이라고 믿지만, 그 완전한 성장은 아직 먼 미래의 일이다.”