후지쯔의 ‘PHOTON 아키텍처’, AI 성능을 475배 향상시키고 연산 병목 현상 해소
대규모 모델이 계속해서 급속히 발전함에 따라, 컴퓨팅 비용과 처리 효율성은 여전히 업계의 주요 관심사로 남아 있습니다. 후지쯔는 최근 복잡한 시나리오에서 기존 트랜스포머 모델의 성능 한계를 극복하기 위해 설계된 ‘PHOTON(Top-down Network Parallel Hierarchical Computing)’이라는 새로운 아키텍처를 선보였습니다.
현재 AI 분야에서 주류를 이루고 있는 트랜스포머 아키텍처는 긴 텍스트나 높은 동시성을 요구하는 다중 쿼리 작업을 잘 처리하지만, 과거 정보를 검색하기 위해 메모리에 빈번하게 접근해야 하기 때문에 속도가 느려지는 경우가 많아 GPU 부하가 증가합니다. 후지쯔 연구팀은 PHOTON 아키텍처의 설계를 재고함으로써 이러한 문제점을 해결했습니다.

PHOTON의 핵심 강점은 계층적 처리 방식에 있습니다. 기존 트랜스포머가 사용하는 토큰 수준 분할 대신, PHOTON은 의미론적 계층화를 도입하여 계산 복잡성을 줄이는 동시에 병렬 연산 성능을 높입니다. 또한, 다중 쿼리 작업의 경우, 이 아키텍처는 “다수결” 또는 “최적 선택” 전략을 사용하여 단 한 번의 추론만으로 결론에 도달함으로써 의사 결정 과정을 간소화합니다.
테스트 결과에 따르면, 6억, 9억, 12억 개의 매개변수를 가진 소규모 모델에서 PHOTON은 매우 높은 처리량과 극히 낮은 메모리 사용량을 보여줍니다. 12억 매개변수 모델에서 PHOTON의 다중 쿼리 성능은 주류 트랜스포머 아키텍처보다 475배에 달하며, 리소스 스케줄링 효율을 크게 향상시킵니다.
이 아키텍처는 반복당 필요한 KV 캐시가 적기 때문에 시스템이 더 많은 반복을 처리할 수 있습니다. 이는 많은 I/O 프로세스를 관리하는 지능형 에이전트 시스템에 있어 성능이 크게 향상된 것입니다. 일부 품질 지표에서는 약간의 타협이 있지만, PHOTON의 계산 효율성 향상은 AI 운영 비용을 절감하기 위한 유망한 기술적 솔루션이 될 것입니다.
후지쯔는 현재 이 아키텍처의 적용을 적극적으로 추진하고 있으며, 핵심 알고리즘의 혁신을 통해 미래의 지능형 시나리오에 더 가볍고 효율적인 기반 지원을 제공하는 것을 목표로 하고 있습니다.
관련 기사
가치 평가가 400억 달러로 급등하면서 자금 조달 논의에서 인지 AI가 부상하고 있다
코그니션(Cognition)은 찬사를 받은 AI 코딩 어시스턴트 디빈(Devin)의 제작사로, 투자자들로부터 막대한 관심을 끌고 있습니다. 업계 소식통에 따르면 이 회사는 현재 새로운 자금 조달 라운드를 협상 중이며, 그 결과 기업 가치는 최소 400억 달러로 급증할 것으로 예상됩니다.이는 5월 10억 달러 규모의 자금 조달 당시 약 26억 달러로 평가되었던 코그니션의 상황과 극적인 변화를 보여줍니다. 이러한 급격한 기업 가치 상승은 연간 매
OpenAI, 새로운 사전 학습 프로젝트 Doug 하에서 베이스 대형 모델을 공개하다
인공지능 기술이 지속적으로 진화함에 따라 산업계의 기초 대형 모델의 기본 아키텍처에 대한 관심은 그 어느 때보다 뜨겁습니다. 최근 대형 모델 동향을 꾸준히 추적해 온 한 X 사용자는 OpenAI가 현재 'Doug'이라는 코드네임을 가진 새로운 대형 모델 프로젝트를 진행 중이라고 밝혔습니다. 관련 정보에 따르면, Doug은 지금까지 가장 대규모의 사전 학습 프로젝트가 될 예정이며, 늦어도 11월까지 정식 출시될 것으로 예상됩니다.지난 2년간의
델텍(Deltek) 조사: 기업의 91%가 AI를 성공의 핵심 요소로 꼽았다
델텍(Deltek)의 연구에 따르면, 프로젝트 기반 기업들은 수익 증가를 기대하고 있으나, 현재 실행상의 격차로 인해 AI의 가시적인 효과가 제한되고 있는 것으로 나타났다. 출처: Nitat Termmee/Getty Images델텍의 헤더 라킨에 따르면, 선도적인 기업들은 데이터와 AI를 성공적으로 연계하여 수익을 창출하고 있으며, 프로젝트 기반 기업의 9
관련 특별 주제 추천
의견 (0)
0/500
대규모 모델이 계속해서 급속히 발전함에 따라, 컴퓨팅 비용과 처리 효율성은 여전히 업계의 주요 관심사로 남아 있습니다. 후지쯔는 최근 복잡한 시나리오에서 기존 트랜스포머 모델의 성능 한계를 극복하기 위해 설계된 ‘PHOTON(Top-down Network Parallel Hierarchical Computing)’이라는 새로운 아키텍처를 선보였습니다.
현재 AI 분야에서 주류를 이루고 있는 트랜스포머 아키텍처는 긴 텍스트나 높은 동시성을 요구하는 다중 쿼리 작업을 잘 처리하지만, 과거 정보를 검색하기 위해 메모리에 빈번하게 접근해야 하기 때문에 속도가 느려지는 경우가 많아 GPU 부하가 증가합니다. 후지쯔 연구팀은 PHOTON 아키텍처의 설계를 재고함으로써 이러한 문제점을 해결했습니다.

PHOTON의 핵심 강점은 계층적 처리 방식에 있습니다. 기존 트랜스포머가 사용하는 토큰 수준 분할 대신, PHOTON은 의미론적 계층화를 도입하여 계산 복잡성을 줄이는 동시에 병렬 연산 성능을 높입니다. 또한, 다중 쿼리 작업의 경우, 이 아키텍처는 “다수결” 또는 “최적 선택” 전략을 사용하여 단 한 번의 추론만으로 결론에 도달함으로써 의사 결정 과정을 간소화합니다.
테스트 결과에 따르면, 6억, 9억, 12억 개의 매개변수를 가진 소규모 모델에서 PHOTON은 매우 높은 처리량과 극히 낮은 메모리 사용량을 보여줍니다. 12억 매개변수 모델에서 PHOTON의 다중 쿼리 성능은 주류 트랜스포머 아키텍처보다 475배에 달하며, 리소스 스케줄링 효율을 크게 향상시킵니다.
이 아키텍처는 반복당 필요한 KV 캐시가 적기 때문에 시스템이 더 많은 반복을 처리할 수 있습니다. 이는 많은 I/O 프로세스를 관리하는 지능형 에이전트 시스템에 있어 성능이 크게 향상된 것입니다. 일부 품질 지표에서는 약간의 타협이 있지만, PHOTON의 계산 효율성 향상은 AI 운영 비용을 절감하기 위한 유망한 기술적 솔루션이 될 것입니다.
후지쯔는 현재 이 아키텍처의 적용을 적극적으로 추진하고 있으며, 핵심 알고리즘의 혁신을 통해 미래의 지능형 시나리오에 더 가볍고 효율적인 기반 지원을 제공하는 것을 목표로 하고 있습니다.
가치 평가가 400억 달러로 급등하면서 자금 조달 논의에서 인지 AI가 부상하고 있다
코그니션(Cognition)은 찬사를 받은 AI 코딩 어시스턴트 디빈(Devin)의 제작사로, 투자자들로부터 막대한 관심을 끌고 있습니다. 업계 소식통에 따르면 이 회사는 현재 새로운 자금 조달 라운드를 협상 중이며, 그 결과 기업 가치는 최소 400억 달러로 급증할 것으로 예상됩니다.이는 5월 10억 달러 규모의 자금 조달 당시 약 26억 달러로 평가되었던 코그니션의 상황과 극적인 변화를 보여줍니다. 이러한 급격한 기업 가치 상승은 연간 매
OpenAI, 새로운 사전 학습 프로젝트 Doug 하에서 베이스 대형 모델을 공개하다
인공지능 기술이 지속적으로 진화함에 따라 산업계의 기초 대형 모델의 기본 아키텍처에 대한 관심은 그 어느 때보다 뜨겁습니다. 최근 대형 모델 동향을 꾸준히 추적해 온 한 X 사용자는 OpenAI가 현재 'Doug'이라는 코드네임을 가진 새로운 대형 모델 프로젝트를 진행 중이라고 밝혔습니다. 관련 정보에 따르면, Doug은 지금까지 가장 대규모의 사전 학습 프로젝트가 될 예정이며, 늦어도 11월까지 정식 출시될 것으로 예상됩니다.지난 2년간의
델텍(Deltek) 조사: 기업의 91%가 AI를 성공의 핵심 요소로 꼽았다
델텍(Deltek)의 연구에 따르면, 프로젝트 기반 기업들은 수익 증가를 기대하고 있으나, 현재 실행상의 격차로 인해 AI의 가시적인 효과가 제한되고 있는 것으로 나타났다. 출처: Nitat Termmee/Getty Images델텍의 헤더 라킨에 따르면, 선도적인 기업들은 데이터와 AI를 성공적으로 연계하여 수익을 창출하고 있으며, 프로젝트 기반 기업의 9





집






