iPhone 17 Pro는 로컬에서 400B 파라미터 모델을 초당 0.6 토큰 속도로 실행합니다

현대 스마트폰의 연산 한계를 정의하는 요소는 무엇인가? 애플의 최신 플래그십 모델인 iPhone17Pro 은 놀랍고 겸손하게 만드는 답변을 제시했다.
3월 23일, 4000억 개의 파라미터를 갖춘 대규모 언어 모델이 iPhone17Pro 에서 성공적으로 실행되었다. 주목할 점은 양자화 이후에도 이러한 모델은 일반적으로 최소 200GB의 메모리를 요구하는 반면, iPhone17Pro 에는 LPDDR5X RAM이 12GB만 탑재되어 있다는 것이다.
기술적 혁신: 플래시 메모리 스트리밍 및 전문가 혼합(MoE)
심각한 메모리 제약에도 불구하고 이 "불가능한 업적"은 주로 두 가지 핵심 기술 전략을 통해 달성되었다:
SSD를 가상 메모리로 활용: 오픈소스 Flash-MoE 프로젝트를 활용하여 장치가 SSD(솔리드 스테이트 드라이브)에서 데이터를 직접 GPU로 스트리밍하여 물리적 메모리 제한을 우회한다.
MoE 아키텍처의 이점: "MoE"는 전문가 혼합(Mixture of Experts)을 의미하며, 이 설계 방식에서는 전체 모델을 로드하는 대신 생성된 각 단어마다 4000억 개의 파라미터 중 일부만 활성화한다.
성능 트레이드오프: 느린 생성 속도
실행은 성공적이었지만 사용자 경험은 여전히 실용적이지 않다. 테스트 결과는 다음과 같다:
생성 속도: 속도는 초당 0.6 토큰으로 제한되며, 이는 단어를 생성하는 데 약 1.5~2초가 걸린다는 것을 의미한다.
전력 및 열 영향: 이러한 집약적인 로컬 처리는 배터리 수명을 빠르게 소모하고 상당한 열을 발생시킨다.
업계 관점: 로컬 AI가 "특이점"에 도달했는가?
현재의 생성 속도가 최적화되지 않았음에도 불구하고, 이 시연의 상징적 중요성은 즉각적인 유용성보다 크다. 이는 스마트폰에서 대규모 모델을 로컬로 실행하는 것이 가능한 경로임을 입증한다.
향상된 프라이버시: 로컬 처리는 데이터가 장치 내에 머무르도록 보장하며, 클라우드 업로드가 필요하지 않아 더 나은 프라이버시를 제공한다.
오프라인 기능: 인터넷 연결 없이 고급 AI 응답에 접근하는 것이 점점 더 가능해지고 있다.
관련 기사
Qianwen Creation이 여행 사진 촬영을 위한 7일 멤버십과 200포인트, 그리고 고속화 도구를 공개했습니다
Qwen Create는 여행 사진, 이벤트 마케팅, 소셜 미디어 콘텐츠 등 즉각적이고 경량화된 AI 생성 작업에 적합한 7일 멤버십 플랜을 공식 출시했습니다. 구매 시 사용자는 200포인트, 전용 고속 생성 채널 접근 권한, 그리고 신규 모델 및 기능에 대한 우선 이용권을 받게 됩니다.단기 플랜은 진입 장벽을 낮춥니다월간 구독에 비해 7일 멤버십은 짧은 이용 기간으로 진입 장벽을 크게 낮춥니다. 여행, 이벤트, 소셜 미디어 캠페인을 위해 A
iOS 27.2 베타는 주요 건강 앱 개편과 시리가 5개 언어로 확장되는 기능을 제공합니다
Apple은 개발자를 위한 iOS 27.2 베타 버전을 처음으로 출시했습니다. 예상되었던 iOS 27.1 테스트 단계를 건너뛰고, Apple은 9월 16일 iOS, iPadOS, macOS, watchOS, tvOS, visionOS의 초기 베타 버전을 동시에 출시하며 27.2 테스트 주기를 시작했습니다.iOS 27.1은 10월 23일 출시될 폴더블 iPhone Duo에 네이티브로 사전 설치될 것으로 보입니다.건강 앱 리디자인: 인사이트, 장수
바이트댄스의 왕창후, 6개월간 13억 5천만 달러 자금 조달, 10억 달러 이상 기업가치 실현
급변하는 AI 비디오 생성 환경에서 왕창후는 주목해야 할 핵심 인물로 부상했습니다. 바이트댄스의 전 시각 기술 책임자이자 아이시테크의 창업자 겸 CEO로서, 그는 탁월한 팀 실행력과 빠른 기술 반복 능력을 입증했습니다. 단 6개월 만에 아이시테크는 25억 위안(약 3억 5천만 달러)의 자금을 유치하며 10억 달러의 기업 가치를 달성해 유니콘 반열에 올랐습니다. 이러한 급성장은 왕창후를 바이트댄스 생태계에서 등장한 기업가들 중 prominent
관련 특별 주제 추천
의견 (0)
0/500

현대 스마트폰의 연산 한계를 정의하는 요소는 무엇인가? 애플의 최신 플래그십 모델인
3월 23일, 4000억 개의 파라미터를 갖춘 대규모 언어 모델이
기술적 혁신: 플래시 메모리 스트리밍 및 전문가 혼합(MoE)
심각한 메모리 제약에도 불구하고 이 "불가능한 업적"은 주로 두 가지 핵심 기술 전략을 통해 달성되었다:
SSD를 가상 메모리로 활용: 오픈소스 Flash-MoE 프로젝트를 활용하여 장치가 SSD(솔리드 스테이트 드라이브)에서 데이터를 직접 GPU로 스트리밍하여 물리적 메모리 제한을 우회한다.
MoE 아키텍처의 이점: "MoE"는 전문가 혼합(Mixture of Experts)을 의미하며, 이 설계 방식에서는 전체 모델을 로드하는 대신 생성된 각 단어마다 4000억 개의 파라미터 중 일부만 활성화한다.
성능 트레이드오프: 느린 생성 속도
실행은 성공적이었지만 사용자 경험은 여전히 실용적이지 않다. 테스트 결과는 다음과 같다:
생성 속도: 속도는 초당 0.6 토큰으로 제한되며, 이는 단어를 생성하는 데 약 1.5~2초가 걸린다는 것을 의미한다.
전력 및 열 영향: 이러한 집약적인 로컬 처리는 배터리 수명을 빠르게 소모하고 상당한 열을 발생시킨다.
업계 관점: 로컬 AI가 "특이점"에 도달했는가?
현재의 생성 속도가 최적화되지 않았음에도 불구하고, 이 시연의 상징적 중요성은 즉각적인 유용성보다 크다. 이는 스마트폰에서 대규모 모델을 로컬로 실행하는 것이 가능한 경로임을 입증한다.
향상된 프라이버시: 로컬 처리는 데이터가 장치 내에 머무르도록 보장하며, 클라우드 업로드가 필요하지 않아 더 나은 프라이버시를 제공한다.
오프라인 기능: 인터넷 연결 없이 고급 AI 응답에 접근하는 것이 점점 더 가능해지고 있다.
Qianwen Creation이 여행 사진 촬영을 위한 7일 멤버십과 200포인트, 그리고 고속화 도구를 공개했습니다
Qwen Create는 여행 사진, 이벤트 마케팅, 소셜 미디어 콘텐츠 등 즉각적이고 경량화된 AI 생성 작업에 적합한 7일 멤버십 플랜을 공식 출시했습니다. 구매 시 사용자는 200포인트, 전용 고속 생성 채널 접근 권한, 그리고 신규 모델 및 기능에 대한 우선 이용권을 받게 됩니다.단기 플랜은 진입 장벽을 낮춥니다월간 구독에 비해 7일 멤버십은 짧은 이용 기간으로 진입 장벽을 크게 낮춥니다. 여행, 이벤트, 소셜 미디어 캠페인을 위해 A
iOS 27.2 베타는 주요 건강 앱 개편과 시리가 5개 언어로 확장되는 기능을 제공합니다
Apple은 개발자를 위한 iOS 27.2 베타 버전을 처음으로 출시했습니다. 예상되었던 iOS 27.1 테스트 단계를 건너뛰고, Apple은 9월 16일 iOS, iPadOS, macOS, watchOS, tvOS, visionOS의 초기 베타 버전을 동시에 출시하며 27.2 테스트 주기를 시작했습니다.iOS 27.1은 10월 23일 출시될 폴더블 iPhone Duo에 네이티브로 사전 설치될 것으로 보입니다.건강 앱 리디자인: 인사이트, 장수
바이트댄스의 왕창후, 6개월간 13억 5천만 달러 자금 조달, 10억 달러 이상 기업가치 실현
급변하는 AI 비디오 생성 환경에서 왕창후는 주목해야 할 핵심 인물로 부상했습니다. 바이트댄스의 전 시각 기술 책임자이자 아이시테크의 창업자 겸 CEO로서, 그는 탁월한 팀 실행력과 빠른 기술 반복 능력을 입증했습니다. 단 6개월 만에 아이시테크는 25억 위안(약 3억 5천만 달러)의 자금을 유치하며 10억 달러의 기업 가치를 달성해 유니콘 반열에 올랐습니다. 이러한 급성장은 왕창후를 바이트댄스 생태계에서 등장한 기업가들 중 prominent





집






