엔비디아, 토글 가능한 추론 기능을 갖춘 오픈 소스 AI 모델 네모트론-나노-9B-v2 공개

소형 언어 모델이 주목받고 있다. MIT 스핀오프 기업 리퀴드 AI의 스마트워치 크기 비전 모델과 구글의 스마트폰용 모델에 이어, 엔비디아도 자체 경량화 모델인 네모트론-나노-9B-V2로 시장에 진출한다. 이 신형 모델은 주요 벤치마크에서 동급 최상위를 기록하며, 사용자가 AI의 '추론' 기능(최종 답변 제공 전 자체 점검 과정)을 활성화하거나 비활성화할 수 있는 독특한 기능을 도입했다.

90억 매개변수는 최근 보도된 수백만 매개변수 마이크로 모델 규모를 초과하지만, 엔비디아는 기존 120억 매개변수 대비 상당한 최적화 성과라고 강조한다. 수정된 규모는 특히 널리 보급된 엔비디아 A10 GPU 단일 장치에서 구동되도록 설계되었다.

엔비디아 AI 모델 사후 훈련 담당 이사 올렉시 쿠치아예프(Oleksii Kuchiaev)는 X(구 트위터) 질문에 답변하며 이렇게 설명했습니다: "120억 매개변수 모델을 90억으로 정제해 대중적인 배포용 GPU인 A10에 완벽히 맞췄습니다. 또한 하이브리드 아키텍처를 채택해 더 큰 배치 크기를 처리할 수 있으며, 유사 규모 기존 트랜스포머 모델 대비 최대 6배 빠른 속도를 달성합니다."

참고로, 많은 주요 대규모 언어 모델은 700억 개 이상의 매개변수 범위에서 작동합니다. 매개변수는 모델의 동작을 정의하는 내부 설정으로, 일반적으로 더 높은 수치는 더 큰 능력을 의미하지만 훨씬 더 많은 계산 능력을 요구합니다.

이 모델은 영어, 독일어, 스페인어, 프랑스어, 이탈리아어, 일본어를 포함한 다국어를 지원합니다. 확장 기능으로는 한국어, 포르투갈어, 러시아어, 중국어도 포함됩니다. 지시사항 수행부터 코드 생성까지 다양한 작업에 적합합니다.

Nemotron-Nano-9B-V2와 사전 훈련 데이터셋은 현재 Hugging Face와 엔비디아 자체 모델 카탈로그를 통해 이용 가능합니다.

트랜스포머와 맘바 아키텍처의 융합

이 모델은 엔비디아의 최신 AI 제품군의 기반이 되는 하이브리드 맘바-트랜스포머 모델 계열인 네모트론-H를 기반으로 구축되었습니다.

주류 LLM은 일반적으로 트랜스포머 아키텍처와 그 어텐션 메커니즘에만 의존하지만, 입력 시퀀스의 길이가 증가함에 따라 메모리 및 계산 측면에서 비용이 너무 많이 들 수 있습니다.

카네기 멜론 대학과 프린스턴 대학의 연구자들이 최초로 개발한 Mamba 아키텍처를 활용하는 Nemotron-H 모델 및 기타 모델들은 선택적 상태 공간 모델(SSM)을 통합합니다. 이러한 SSM은 내부 상태를 유지함으로써 매우 긴 시퀀스를 효율적으로 관리합니다.

이러한 레이어는 시퀀스 길이에 선형적으로 확장되어, 동일한 계산 오버헤드 없이 표준 자기 주의보다 훨씬 긴 컨텍스트를 처리할 수 있습니다.

하이브리드 Mamba-Transformer 설계는 대부분의 어텐션 레이어를 선형 시간 상태 공간 레이어로 대체하여 비용을 절감합니다. 이는 유사한 정확도를 유지하면서 긴 컨텍스트 작업에서 최대 2~3배 높은 처리량을 제공할 수 있습니다.

이 접근 방식은 엔비디아만이 아닌 AI2와 같은 다른 AI 연구소에서도 맘바 아키텍처를 기반으로 한 모델을 출시했습니다.

간단한 명령어로 추론 기능 켜기/끄기

Nemotron-Nano-9B-v2는 대화형 상호 작용과 복잡한 추론을 모두 수행할 수 있는 통합된 텍스트 전용 모델로 설계되었으며, 완전히 처음부터 훈련되었습니다.

기본적으로 시스템은 최종 답변을 생성하기 전에 상세한 추론 추적을 생성합니다. 사용자는 /think 또는 /no_think과 같은 간단한 명령 토큰을 사용하여 이 동작을 제어할 수 있습니다.

이 모델은 또한 런타임 "사고 예산" 관리 기능을 도입했습니다. 이를 통해 개발자는 모델이 응답을 제공하기 전에 내부 추론에 사용할 수 있는 토큰 수에 대한 최대 한도를 설정할 수 있습니다.

이 메커니즘은 고객 지원 챗봇이나 자율 에이전트와 같은 애플리케이션에 중요한 응답 지연 시간과 정확도 사이의 균형을 맞추기 위한 것입니다.

벤치마크에서 입증된 강력한 성능

평가 결과는 다른 주요 소규모 오픈 모델 대비 경쟁력 있는 정확도를 입증합니다. 추론 기능을 활성화한 상태로 NeMo-Skills 제품군으로 테스트했을 때, Nemotron-Nano-9B-v2는 AIME25에서 72.1%, MATH500에서 97.8%, GPQA에서 64.0%, LiveCodeBench에서 71.1%의 점수를 기록했습니다.

지시 따르기 및 긴 컨텍스트 벤치마크에서도 높은 점수를 기록했습니다: IFEval에서 90.3%, RULER 128K 테스트에서 78.9%를 달성했으며, BFCL v3 및 HLE 벤치마크에서도 추가적인 측정 가능한 향상을 보였습니다.

여러 평가에서 Nano-9B-v2는 일반적인 비교 대상인 Qwen3-8B 모델보다 지속적으로 높은 정확도를 보였습니다.

Nvidia는 추론에 할당된 토큰이 증가함에 따라 성능이 어떻게 향상되는지 보여주는 정확도 대 예산 곡선으로 이러한 결과를 제시합니다. 이 회사는 신중한 예산 관리로 개발자가 생산 환경에서 품질과 속도를 모두 최적화할 수 있다고 밝혔습니다.

합성 데이터셋으로 훈련

Nano 모델과 더 광범위한 Nemotron-H 제품군은 신중하게 선별된 웹 데이터, 독점 소스 및 합성 훈련 데이터의 혼합으로 훈련됩니다.

훈련 코퍼스는 일반 텍스트, 코드, 수학, 과학 문헌, 법률 및 금융 문서, 정렬 중심의 질문-답변 데이터 세트를 포함합니다.

Nvidia는 복잡한 벤치마크 작업에서 성능을 향상시키기 위해 다른 대규모 모델이 생성한 합성 추론 추적을 사용한다고 확인했습니다.

라이선싱 및 상업적 사용

Nano-9B-v2 모델은 2025년 6월에 마지막으로 업데이트된 Nvidia 오픈 모델 라이선스 계약에 따라 공개됩니다.

이 라이선스는 관대하고 기업 친화적으로 설계되었습니다. Nvidia는 모델이 상용으로 바로 사용 가능하며 개발자가 파생 작품을 자유롭게 제작 및 배포할 수 있다고 명시합니다.

중요한 점은 엔비디아가 모델이 생성한 모든 결과물에 대한 소유권을 주장하지 않으며, 모든 권리와 책임은 모델을 사용하는 개발자 또는 조직에 귀속된다는 것입니다.

기업 개발자에게 이는 별도의 상업적 라이선스 협상이나 사용량, 수익, 사용자 수에 따른 요금 지불 없이 즉시 모델을 생산 환경에 배포할 수 있음을 의미합니다. 다른 공급업체의 계층형 오픈 라이선스와 달리, 기업 규모가 일정 수준에 도달하면 유료 라이선스 요구 사항이 발동되는 조항이 없습니다.

다만, 기업이 준수해야 할 몇 가지 중요한 조건이 계약에 포함되어 있습니다:

• 가드레일: 사용자는 특정 배포 환경에 적합한 동등한 대체 수단을 구현하지 않고는 내장된 안전 장치(가드레일)를 우회하거나 비활성화할 수 없습니다.
• 재배포: 모델 또는 그 파생물의 재배포 시에는 Nvidia 오픈 모델 라이선스의 전문과 적절한 출처 표기("Nvidia Corporation이 Nvidia 오픈 모델 라이선스에 따라 라이선스 부여")를 반드시 포함해야 합니다.
• 준수: 사용자는 미국 수출 통제 법률과 같은 모든 적용 가능한 무역 규정 및 제한 사항을 준수해야 합니다.
• 신뢰할 수 있는 AI 약관: 사용은 책임감 있는 배포 및 윤리적 고려 사항에 대한 원칙을 다루는 Nvidia의 신뢰할 수 있는 AI 가이드라인에 부합해야 합니다.
• 소송 조항: 사용자가 모델 관련 침해를 주장하며 다른 당사자를 상대로 저작권 또는 특허 소송을 제기하는 경우, 본 라이선스는 자동으로 종료됩니다.

이러한 조건은 상업적 규모를 제한하기보다는 법적 준수 및 책임 있는 사용을 보장하는 데 중점을 둡니다. 기업은 제품 구축, 서비스 수익화 또는 사용자 기반 확장을 위해 엔비디아에 추가 허가를 요청하거나 로열티를 지불할 필요가 없습니다. 대신, 배포 관행이 안전을 존중하고, 적절한 출처를 표시하며, 모든 준수 의무를 충족하도록 보장해야 합니다.

시장 포지셔닝

Nemotron-Nano-9B-v2를 통해 엔비디아는 소규모 환경에서 추론 능력과 배포 효율성 사이의 균형을 필요로 하는 개발자를 대상으로 합니다.

런타임 예산 제어 및 추론 토글 기능은 시스템 구축자가 정확도와 응답 속도 간의 상충 관계를 관리하는 데 더 큰 유연성을 제공하도록 설계되었습니다.

Hugging Face와 Nvidia의 모델 카탈로그에서 이 기능을 사용할 수 있게 된 것은 광범위한 접근성을 의도하고 있으며, 실험과 통합을 장려하는 신호입니다.

Nvidia의 Nemotron-Nano-9B-v2 출시로 언어 모델의 효율성과 제어 가능한 추론에 대한 회사의 지속적인 관심을 확인할 수 있습니다.

하이브리드 아키텍처와 고급 압축 및 훈련 기술을 결합함으로써, 엔비디아는 운영 비용과 지연 시간을 모두 줄이면서 높은 정확도를 유지하는 도구를 개발자에게 제공하고자 합니다.