기술 기업들, 비용 효율적인 AI 모델에 관심 보여

AI 붐은 한 가지 기본 가정에 의존해 왔습니다: 더 큰 모델일수록 더 강력하며, 가장 강력한 모델이 승리한다는 것입니다. 이제 업계는 이러한 가정이 흔들리기 시작했을 때 어떤 일이 일어날지 알아가려 하고 있습니다.

점점 증가하는 비용으로 인해 사용자들은 더 작고 저렴한 모델을 고려하게 되었습니다. 이러한 비용을 중시하는 모델 선택 방식은 새로운 것이며, 이것이 업계에 어떤 영향을 미칠지는 아직 명확하지 않습니다. 하지만 그 영향은 상당할 것으로 보입니다.

Coinbase의 공동 창립자인 Brian Armstrong이 가장 명확하게 제시한 예측 중 하나는, 대부분의 작업이 더 저렴한 모델로 전환될 것이라는 점입니다.

“지능에 대한 수요는 거의 무한하지만, 12에서 18개월 내에 80%의 작업량은 99% 더 저렴한 모델로 처리될 것입니다.” Armstrong은 X에서 이렇게 썼습니다. “나머지 20%의 작업량만이 최신 세대의 모델에서 처리될 것이며, 그 경우에는 지능 수준을 극대화하는 것이 중요할 것입니다.”

Armstrong의 예측이 사실이 된다면, 이것은 AI 업계에 매우 큰 변화를 가져올 것입니다.

지금까지 대부분의 AI 기업들은 품질을 경쟁 요소로 삼아 왔으며, 이는 가장 진보된 모델을 사용하는 것을 의미했습니다. 하지만 동일한 작업이 더 저렴한 모델로도 품질 손실 없이 처리될 수 있다면, 이는 AI 산업의 경제 구조에 큰 변화를 가져올 것입니다. 게다가 이러한 절약은 주로 대형 연구소들의 수익에서 비롯될 것이며, OpenAI와 Anthropic이 IPO를 앞두고 있는 시점에서 이는 그들에게 큰 재정적 타격이 될 수 있습니다.

이것은 업계에 매우 중대한 변화를 가져올 수 있는 사안이며, 핵심은 한 가지 질문입니다: 기업들은 더 작은 모델로 전환할 준비가 되어 있을까요?

초기 테스트 결과에 따르면, 적절한 설정을 통해 더 저렴한 모델도 품질 손실 없이 사용될 수 있습니다. 최근 legal AI 도구인 Harvey가 실시한 테스트에서는, Fireworks AI와의 협력을 통해 Claude Opus와 Fireworks의 GLM 5.1을 결합하여 가장 까다로운 작업에 Opus를 사용함으로써 추론 비용을 3배나 줄일 수 있었습니다. 그 결과 서버 부하가 현저히 줄어들고 전체 비용도 낮아졌습니다.

“품질이 최우선이며, 특히 법률 분야에서는 언제나 그렇습니다.” Harvey의 공동 창립자인 Gabe Pereyra는 TechCrunch와의 인터뷰에서 자신의 스타트업이 제공하는 AI 법률 서비스에 대해 이렇게 말했습니다. “하지만 품질의 정의는 단순히 가장 강력한 모델을 사용하는 것에서, 가장 효율적으로 올바른 결과를 내주는 최선의 모델을 사용하는 것으로 변화하고 있습니다.”

이러한 추세는 종종 대형 연구소와 중국산 모델 또는 오픈 소스 모델 간의 경쟁으로 설명되지만, 이는 사실을 제대로 반영하지 못합니다. 진정한 분열은 독점적인 모델과 오픈 소스 모델 사이가 아니라, 대형 모델과 소형 모델 사이에 있습니다. GPT-5.5에서 DeepSeek의 V4Flash로 전환함으로써 비용을 절약할 수 있지만, GPT-5.4-mini로 전환해도 마찬가지로 좋은 결과를 얻을 수 있습니다.

대형 연구소들이 자체적으로 개발한 추론 기술과 독립적으로 제공되는 오픈 소스 모델 사이에는 치열한 가격 경쟁이 벌어지고 있습니다. 소형 모델과 대형 모델의 경쟁에서 어떤 종류의 소형 모델이 승리하든, 실제로는 그다지 중요하지 않습니다.

이 모든 것이 당연해 보일 수 있습니다. 물론 불필요하게 많은 컴퓨팅 자원을 사용해서는 안 됩니다. 하지만 이것은 지금까지 업계를 지배해 온 ‘규모 확장을 우선시하는’ 접근 방식과는 반대되는 것입니다. 투자자들의 지원으로 인해 모델 개발에 많은 비용이 투입되었기 때문에, 고객들은 가장 진보된 모델만을 선택할 수밖에 없었습니다.

하지만 토큰 가격이 상승하고 지원금이 줄어들면서 사용자들은 처음으로 비용 압박에 직면하게 되었습니다. 이러한 새로운 비용 압박이 실제로 기업 사용자들을 더 작은 모델로 전환시킬지는 아직 알 수 없습니다. 그들은 호출 횟수를 줄이거나, 더 짧은 문맥 창을 사용하거나, 가장 성능이 낮은 시스템을 포기함으로써 비용을 절약할 수도 있습니다.

하지만 대부분의 작업이 더 작은 모델로도 충분히 잘 처리될 수 있다면, 이는 추론 서비스에 대한 수요를 크게 줄일 수 있으며, 최첨단 모델을 개발하는 데 드는 비용을 정당화하는 방법에 대해서도 새로운 질문들을 제기하게 될 것입니다.