Niv-AI, GPU 성능과 효율성 향상을 위해 등장하다

전력은 인공지능의 핵심 자원이지만, 새롭게 등장하는 계산 방식들이 데이터센터 운영사들이 전력망과의 상호작용을 효과적으로 관리할 수 있는 역량을 넘어섬에 따라, 이들은 운영을 최대 30%까지 축소해야 하는 상황에 직면하고 있다.
엔비디아(Nvidia)의 젠슨 황 CEO는 회사의 연례 GTC 컨퍼런스 기조 연설에서 "이러한 AI 시설에서는 엄청난 양의 에너지가 낭비되고 있다"고 밝혔다. 회사는 연례 발표를 통해 "활용되지 않는 1와트마다 수익 손실로 이어진다"고 강조했다.
오늘, 스타트업 Niv-AI가 이 문제를 해결하기 위해 1,200만 달러의 시드 펀딩을 확보하고 출범했다. 이 회사는 새로운 센서를 활용해 GPU 전력 소비량을 정밀하게 측정하고, 보다 효율적인 에너지 관리를 위한 도구를 개발하는 것을 목표로 한다.
작년 텔아비브에서 CEO 토머 티모르(Tomer Timor)와 CTO 에드워드 키지스(Edward Kizis)가 설립한 이 스타트업은 글릴롯 캐피털(Glilot Capital), 그로브 벤처스(Grove Ventures), 아크 VC(Arc VC), 인코디드 VC(Encoded VC), 리프 포워드(Leap Forward), 오로라 캐피털 파트너스(Aurora Capital Partners)의 투자를 유치했다. 회사는 기업 가치를 공개하지 않기로 했다.
선도적인 AI 연구소들이 정교한 모델을 훈련하고 실행하기 위해 수천 대의 GPU를 조정함에 따라, 프로세서가 연산 작업과 GPU 간 통신을 번갈아 수행할 때 밀리초 단위의 급격한 전력 급증 현상이 발생합니다.
이러한 전력 급증 현상은 데이터 센터가 전력망으로부터의 전력 소비량을 조절하는 데 어려움을 초래합니다. 전력 부족을 방지하기 위해 데이터 센터는 이러한 급증 현상을 완화하기 위한 임시 에너지 저장 장치에 투자하거나 GPU 사용을 제한합니다. 두 접근 방식 모두 고가의 하드웨어에 대한 투자 수익률을 저하시킵니다.
그로브 벤처스의 파트너이자 니브 이사회 멤버인 리오 핸들스맨은 "현재의 방식으로는 더 이상 데이터 센터를 계속 건설할 수 없다"고 말했다.
니브(Niv) 전략의 초기 단계는 상세한 통찰력을 확보하는 것입니다. 이 회사는 현재 자체 하드웨어와 설계 파트너사와 함께 밀리초 단위로 GPU 전력 사용량을 모니터링하는 랙(rack) 수준 센서를 설치하고 있습니다. 목표는 다양한 딥러닝 워크로드의 고유한 전력 패턴을 분석하고, 데이터 센터가 기존 용량을 더 효율적으로 활용할 수 있도록 돕는 방법을 개발하는 것입니다.
엔지니어링 팀은 수집된 데이터를 활용해 AI 모델을 구축할 계획이며, 이를 통해 데이터 센터 전반의 전력 부하를 예측하고 조정하도록 훈련시켜 시설 엔지니어를 위한 실질적인 '조종사 보조 시스템'을 만들겠다는 목표다.
니브는 향후 6~8개월 내에 미국 내 여러 데이터 센터에 실제 작동하는 시스템을 구축할 것으로 예상하고 있다. 주요 클라우드 제공업체들이 신규 시설을 구축할 때 토지 이용 및 공급망 차질과 관련된 문제에 직면하고 있는 만큼, 이 솔루션은 특히 매력적이다. 창립자들은 최종 제품을 데이터 센터와 전력망을 연결하는 핵심적인 '지능 레이어'로 구상하고 있다.
"전력망 측은 피크 시간대에 데이터 센터가 과도한 전력을 소비하는 것을 진정으로 우려하고 있습니다,"라고 티모르는 테크크런치에 설명했다. "우리가 해결하고자 하는 문제는 두 가지 상호 연관된 측면을 가지고 있습니다. 첫째, 데이터 센터가 GPU를 더 많이 활용하여 이미 계약된 전력량을 극대화할 수 있도록 돕는 것입니다. 둘째, 데이터 센터와 전력망 간에 보다 책임감 있는 전력 소비 패턴을 조성할 수 있습니다."
관련 기사
영국 정부 부처들, AI 데이터센터의 에너지 수요를 두고 대립
영국 정부는 청정 에너지를 확대하는 동시에 인공지능 분야의 글로벌 리더가 되겠다는 목표를 달성해야 하는 중대한 과제에 직면해 있다. 그러나 이러한 목표를 담당하는 부처들 사이에는 심각한 견해 차이가 드러나고 있다. 과학·혁신·기술부(DSIT)와 에너지 안보 및 탄소중립부(DESNZ)는 AI 데이터 센터의 미래 전력 수요에 대해 극명하게 대조되는 전망을 내놓
중국 사이버공간관리국은 AI가 생성한 영상과 허구적인 숏폼 영상에 태그를 달도록 의무화했다
중국 사이버공간관리국은 숏폼 동영상 콘텐츠 표기를 표준화하기 위한 포괄적인 계획을 발표했으며, 플랫폼들이 “AI 생성 콘텐츠”를 포함한 6가지 필수 태그를 제공하도록 의무화함으로써 숏폼 동영상 규제에 있어 투명성 확보가 필수적인 새로운 시대를 열었다.콘텐츠 출처가 불분명하거나 사실과 허구를 구분하기 어려운 문제 등을 해결하기 위해, 규제 당국은 도우인(Do
텍스트 번역으로 유명한 DeepL이 이제 음성 번역 시장에 진출한다
텍스트 기반 도구로 잘 알려진 번역 기업 DeepL이 오늘, 맞춤형 애플리케이션을 통해 현장 근무자들을 위한 회의, 모바일 및 웹 대화, 그룹 토론 등의 상황을 지원하는 음성-음성 번역 제품군을 출시했습니다. 또한 이 회사는 외부 개발자와 기업들이 콜센터와 같은 맞춤형 사용 사례를 위해 DeepL의 기술을 기반으로 서비스를 구축할 수 있도록 지원하는 API
관련 특별 주제 추천
의견 (0)
0/500

전력은 인공지능의 핵심 자원이지만, 새롭게 등장하는 계산 방식들이 데이터센터 운영사들이 전력망과의 상호작용을 효과적으로 관리할 수 있는 역량을 넘어섬에 따라, 이들은 운영을 최대 30%까지 축소해야 하는 상황에 직면하고 있다.
엔비디아(Nvidia)의 젠슨 황 CEO는 회사의 연례 GTC 컨퍼런스 기조 연설에서 "이러한 AI 시설에서는 엄청난 양의 에너지가 낭비되고 있다"고 밝혔다. 회사는 연례 발표를 통해 "활용되지 않는 1와트마다 수익 손실로 이어진다"고 강조했다.
오늘, 스타트업 Niv-AI가 이 문제를 해결하기 위해 1,200만 달러의 시드 펀딩을 확보하고 출범했다. 이 회사는 새로운 센서를 활용해 GPU 전력 소비량을 정밀하게 측정하고, 보다 효율적인 에너지 관리를 위한 도구를 개발하는 것을 목표로 한다.
작년 텔아비브에서 CEO 토머 티모르(Tomer Timor)와 CTO 에드워드 키지스(Edward Kizis)가 설립한 이 스타트업은 글릴롯 캐피털(Glilot Capital), 그로브 벤처스(Grove Ventures), 아크 VC(Arc VC), 인코디드 VC(Encoded VC), 리프 포워드(Leap Forward), 오로라 캐피털 파트너스(Aurora Capital Partners)의 투자를 유치했다. 회사는 기업 가치를 공개하지 않기로 했다.
선도적인 AI 연구소들이 정교한 모델을 훈련하고 실행하기 위해 수천 대의 GPU를 조정함에 따라, 프로세서가 연산 작업과 GPU 간 통신을 번갈아 수행할 때 밀리초 단위의 급격한 전력 급증 현상이 발생합니다.
이러한 전력 급증 현상은 데이터 센터가 전력망으로부터의 전력 소비량을 조절하는 데 어려움을 초래합니다. 전력 부족을 방지하기 위해 데이터 센터는 이러한 급증 현상을 완화하기 위한 임시 에너지 저장 장치에 투자하거나 GPU 사용을 제한합니다. 두 접근 방식 모두 고가의 하드웨어에 대한 투자 수익률을 저하시킵니다.
그로브 벤처스의 파트너이자 니브 이사회 멤버인 리오 핸들스맨은 "현재의 방식으로는 더 이상 데이터 센터를 계속 건설할 수 없다"고 말했다.
니브(Niv) 전략의 초기 단계는 상세한 통찰력을 확보하는 것입니다. 이 회사는 현재 자체 하드웨어와 설계 파트너사와 함께 밀리초 단위로 GPU 전력 사용량을 모니터링하는 랙(rack) 수준 센서를 설치하고 있습니다. 목표는 다양한 딥러닝 워크로드의 고유한 전력 패턴을 분석하고, 데이터 센터가 기존 용량을 더 효율적으로 활용할 수 있도록 돕는 방법을 개발하는 것입니다.
엔지니어링 팀은 수집된 데이터를 활용해 AI 모델을 구축할 계획이며, 이를 통해 데이터 센터 전반의 전력 부하를 예측하고 조정하도록 훈련시켜 시설 엔지니어를 위한 실질적인 '조종사 보조 시스템'을 만들겠다는 목표다.
니브는 향후 6~8개월 내에 미국 내 여러 데이터 센터에 실제 작동하는 시스템을 구축할 것으로 예상하고 있다. 주요 클라우드 제공업체들이 신규 시설을 구축할 때 토지 이용 및 공급망 차질과 관련된 문제에 직면하고 있는 만큼, 이 솔루션은 특히 매력적이다. 창립자들은 최종 제품을 데이터 센터와 전력망을 연결하는 핵심적인 '지능 레이어'로 구상하고 있다.
"전력망 측은 피크 시간대에 데이터 센터가 과도한 전력을 소비하는 것을 진정으로 우려하고 있습니다,"라고 티모르는 테크크런치에 설명했다. "우리가 해결하고자 하는 문제는 두 가지 상호 연관된 측면을 가지고 있습니다. 첫째, 데이터 센터가 GPU를 더 많이 활용하여 이미 계약된 전력량을 극대화할 수 있도록 돕는 것입니다. 둘째, 데이터 센터와 전력망 간에 보다 책임감 있는 전력 소비 패턴을 조성할 수 있습니다."
영국 정부 부처들, AI 데이터센터의 에너지 수요를 두고 대립
영국 정부는 청정 에너지를 확대하는 동시에 인공지능 분야의 글로벌 리더가 되겠다는 목표를 달성해야 하는 중대한 과제에 직면해 있다. 그러나 이러한 목표를 담당하는 부처들 사이에는 심각한 견해 차이가 드러나고 있다. 과학·혁신·기술부(DSIT)와 에너지 안보 및 탄소중립부(DESNZ)는 AI 데이터 센터의 미래 전력 수요에 대해 극명하게 대조되는 전망을 내놓
중국 사이버공간관리국은 AI가 생성한 영상과 허구적인 숏폼 영상에 태그를 달도록 의무화했다
중국 사이버공간관리국은 숏폼 동영상 콘텐츠 표기를 표준화하기 위한 포괄적인 계획을 발표했으며, 플랫폼들이 “AI 생성 콘텐츠”를 포함한 6가지 필수 태그를 제공하도록 의무화함으로써 숏폼 동영상 규제에 있어 투명성 확보가 필수적인 새로운 시대를 열었다.콘텐츠 출처가 불분명하거나 사실과 허구를 구분하기 어려운 문제 등을 해결하기 위해, 규제 당국은 도우인(Do
텍스트 번역으로 유명한 DeepL이 이제 음성 번역 시장에 진출한다
텍스트 기반 도구로 잘 알려진 번역 기업 DeepL이 오늘, 맞춤형 애플리케이션을 통해 현장 근무자들을 위한 회의, 모바일 및 웹 대화, 그룹 토론 등의 상황을 지원하는 음성-음성 번역 제품군을 출시했습니다. 또한 이 회사는 외부 개발자와 기업들이 콜센터와 같은 맞춤형 사용 사례를 위해 DeepL의 기술을 기반으로 서비스를 구축할 수 있도록 지원하는 API





집






