Sakana AI의 AI 플러그인, 대규모 모델을 위한 문서 처리 과정을 간소화합니다
‘메모리 불안’이라 불리는 대규모 언어 모델의 긴 텍스트 처리 난제는 머지않아 과거의 일이 될지도 모릅니다. 최근 도쿄에 본사를 둔 AI 스타트업 사카나 AI(Sakana AI)는 'Text-to-LoRA(T2L) '와 'Doc-to-LoRA(D2L)'라는 두 가지 획기적인 기술을 공개했다. 혁신적인 '슈퍼 네트워크' 아키텍처를 활용하는 이 기술들은 대규모 모델이 재훈련 없이도 1초도 채 걸리지 않는 시간 내에 방대한 문서를 '흡수'하거나 새로운 작업을 학습할 수 있게 해준다.

AI 개발자들은 오랫동안 어려운 선택의 기로에 서 있었습니다. 긴 문서를 채팅 창에 쑤셔 넣는 것(이는 응답 속도를 늦추고 많은 메모리를 소모함)과 모델 튜닝에 드는 높은 비용을 감수하는 것 사이에서 말이죠. 사카나 AI는 여기에 세 번째 대안을 제시합니다. 사전 훈련에 대한 일회성 비용을 지불함으로써, 극소량의 가중치 플러그인(LoRA)을 생성하여 저비용으로 효율적인 모델 적응을 실현합니다.
Doc-to-LoRA: 메모리 요구량 12GB에서 단 50MB로 감소
이는 최신 버전에서 가장 인상적인 기술입니다. 기존 방식으로 128,000 토큰(약 100,000 단어) 규모의 문서를 처리하려면 정보를 저장하기 위해 12GB 이상의 VRAM이 필요합니다. D2L을 사용하면 모델이 이 정보를 50MB 미만의 플러그인으로 직접 "소화"할 수 있습니다.
놀라운 속도: 기존 기술은 문서 처리에 40~100초가 소요되는 반면, D2L은 1초 미만에 이를 완료합니다.
한계의 돌파: 모델이 원래 컨텍스트 윈도우보다 최대 4배 더 긴 텍스트를 처리할 수 있게 하여, "건초 더미 속의 바늘 찾기" 검색 테스트에서 거의 완벽한 정확도를 달성합니다.
Text-to-LoRA: 일상 언어로 AI 맞춤 설정
Text-to-LoRA는 모델의 반응성을 높여줍니다. 사용자는 "복잡한 수학 경시대회 문제를 풀도록 도와줘"와 같이 자연어로 작업을 설명하기만 하면, 시스템이 성능을 향상시키기 위한 전용 플러그인을 자동으로 생성합니다. 실험 결과, 이러한 방식으로 생성된 어댑터는 수학 및 논리적 추론 과제에서 처음부터 훈련된 전용 모델보다 더 뛰어난 성능을 발휘하는 것으로 나타났습니다.
강력한 크로스 모달 기술: 텍스트 모델이 이미지를 "볼" 수 있게 하다
연구진은 예상치 못한 부가 효과를 발견했습니다. D2L은 뛰어난 크로스 모달 능력을 보여줍니다. 시각적 정보를 순수 텍스트 모델의 매개변수에 매핑함으로써, 이전에 이미지를 처리한 적이 없는 모델도 **75.03%**의 정확도로 이미지를 분류할 수 있게 되었습니다.
사카나 AI의 성과는 개인과 기업이 자체 AI 모델을 맞춤 제작하는 데 있어 진입 장벽을 크게 낮춥니다. 또한 이는 더 가볍고 지능적인 범용 인공 지능(AGI)을 개발하는 새로운 길을 열어줍니다.
논문: https://arxiv.org/pdf/2602.15902
관련 기사
OpenAI, 성장 둔화 우려 불식…여러 사업부門 가속화
외부로부터의 판매 성장 둔화 및 내부 목표 미달성에 대한 scrutiny에 대응하여, AI 선도 기업 오픈AI는 4월 28일 화요일에 자신감 있는 성명을 발표했다. 이 회사는 소비자 제품과 기업 서비스의 빠른 진전을 명확히 하며, 최근 제기된 사업 둔화에 대한 추측을 직접적으로 반박했다.동사가 "여러 내부 목표를 놓쳤다"는 주장에 대해, 오픈AI는 이러한 보도를 "전형적인 클릭베이트"로 일축했다. 이 회사는 AI 통합에 대한 강력한 기업 수요
알리바바 슈퍼컵: Qwen3.8-Max, 강화된 코딩 및 오피스 도구로 데뷔
Alibaba는 2.4조 개의 파라미터를 갖춘 차세대 기반 대형 모델인 Qwen3.8-Max를 공식적으로 공개했습니다. 이 중요한 AI 기술 발전은 코딩 및 전문 사무 작업 등 핵심 영역에서 상당한 성능 향상을 제공하며, 강력한 기술 역량을 보여줍니다.권위 있는 Arena 대형 모델 랭킹에서 Qwen3.8-Max는 Anthropic의 Claude 시리즈에 이어 우수한 성적을 거두며 업계 선두 그룹에 자리했습니다. 이 성과는 국내 대형 모델이
인도 기술 거대기업이 마이크로소프트 오피스의 AI 경쟁사에 3000만 달러 투자
시리즈 창업가 바힌 투라크히아는 3,000만 달러의 자금을 자신의 자본으로 투자하며, 엔터프라이즈 AI 분야에 여전히 신규 진입자에게 기회가 남아 있다고 믿고 있다. 그의 최신 스타트업 ‘Neo’는 핵심 신념을 바탕으로 운영된다: 기존 직장용 소프트웨어는 채팅봇으로 단순히 패치할 수 없으며, 아키텍처의 완전한 재설계가 필요하다는 것이다.46세의 투라크히아는 야심 찬 엔터프라이즈 테크 벤처를 지원해 온 이력이 있다. 지난 20년간 그는 Dire
관련 특별 주제 추천
의견 (0)
0/500
‘메모리 불안’이라 불리는 대규모 언어 모델의 긴 텍스트 처리 난제는 머지않아 과거의 일이 될지도 모릅니다. 최근 도쿄에 본사를 둔 AI 스타트업 사카나 AI(Sakana AI)는 'Text-to-LoRA(T2L) '와 'Doc-to-LoRA(D2L)'라는 두 가지 획기적인 기술을 공개했다. 혁신적인 '슈퍼 네트워크' 아키텍처를 활용하는 이 기술들은 대규모 모델이 재훈련 없이도 1초도 채 걸리지 않는 시간 내에 방대한 문서를 '흡수'하거나 새로운 작업을 학습할 수 있게 해준다.

AI 개발자들은 오랫동안 어려운 선택의 기로에 서 있었습니다. 긴 문서를 채팅 창에 쑤셔 넣는 것(이는 응답 속도를 늦추고 많은 메모리를 소모함)과 모델 튜닝에 드는 높은 비용을 감수하는 것 사이에서 말이죠. 사카나 AI는 여기에 세 번째 대안을 제시합니다. 사전 훈련에 대한 일회성 비용을 지불함으로써, 극소량의 가중치 플러그인(LoRA)을 생성하여 저비용으로 효율적인 모델 적응을 실현합니다.
Doc-to-LoRA: 메모리 요구량 12GB에서 단 50MB로 감소
이는 최신 버전에서 가장 인상적인 기술입니다. 기존 방식으로 128,000 토큰(약 100,000 단어) 규모의 문서를 처리하려면 정보를 저장하기 위해 12GB 이상의 VRAM이 필요합니다. D2L을 사용하면 모델이 이 정보를 50MB 미만의 플러그인으로 직접 "소화"할 수 있습니다.
놀라운 속도: 기존 기술은 문서 처리에 40~100초가 소요되는 반면, D2L은 1초 미만에 이를 완료합니다.
한계의 돌파: 모델이 원래 컨텍스트 윈도우보다 최대 4배 더 긴 텍스트를 처리할 수 있게 하여, "건초 더미 속의 바늘 찾기" 검색 테스트에서 거의 완벽한 정확도를 달성합니다.
Text-to-LoRA: 일상 언어로 AI 맞춤 설정
Text-to-LoRA는 모델의 반응성을 높여줍니다. 사용자는 "복잡한 수학 경시대회 문제를 풀도록 도와줘"와 같이 자연어로 작업을 설명하기만 하면, 시스템이 성능을 향상시키기 위한 전용 플러그인을 자동으로 생성합니다. 실험 결과, 이러한 방식으로 생성된 어댑터는 수학 및 논리적 추론 과제에서 처음부터 훈련된 전용 모델보다 더 뛰어난 성능을 발휘하는 것으로 나타났습니다.
강력한 크로스 모달 기술: 텍스트 모델이 이미지를 "볼" 수 있게 하다
연구진은 예상치 못한 부가 효과를 발견했습니다. D2L은 뛰어난 크로스 모달 능력을 보여줍니다. 시각적 정보를 순수 텍스트 모델의 매개변수에 매핑함으로써, 이전에 이미지를 처리한 적이 없는 모델도 **75.03%**의 정확도로 이미지를 분류할 수 있게 되었습니다.
사카나 AI의 성과는 개인과 기업이 자체 AI 모델을 맞춤 제작하는 데 있어 진입 장벽을 크게 낮춥니다. 또한 이는 더 가볍고 지능적인 범용 인공 지능(AGI)을 개발하는 새로운 길을 열어줍니다.
논문: https://arxiv.org/pdf/2602.15902
OpenAI, 성장 둔화 우려 불식…여러 사업부門 가속화
외부로부터의 판매 성장 둔화 및 내부 목표 미달성에 대한 scrutiny에 대응하여, AI 선도 기업 오픈AI는 4월 28일 화요일에 자신감 있는 성명을 발표했다. 이 회사는 소비자 제품과 기업 서비스의 빠른 진전을 명확히 하며, 최근 제기된 사업 둔화에 대한 추측을 직접적으로 반박했다.동사가 "여러 내부 목표를 놓쳤다"는 주장에 대해, 오픈AI는 이러한 보도를 "전형적인 클릭베이트"로 일축했다. 이 회사는 AI 통합에 대한 강력한 기업 수요
알리바바 슈퍼컵: Qwen3.8-Max, 강화된 코딩 및 오피스 도구로 데뷔
Alibaba는 2.4조 개의 파라미터를 갖춘 차세대 기반 대형 모델인 Qwen3.8-Max를 공식적으로 공개했습니다. 이 중요한 AI 기술 발전은 코딩 및 전문 사무 작업 등 핵심 영역에서 상당한 성능 향상을 제공하며, 강력한 기술 역량을 보여줍니다.권위 있는 Arena 대형 모델 랭킹에서 Qwen3.8-Max는 Anthropic의 Claude 시리즈에 이어 우수한 성적을 거두며 업계 선두 그룹에 자리했습니다. 이 성과는 국내 대형 모델이
인도 기술 거대기업이 마이크로소프트 오피스의 AI 경쟁사에 3000만 달러 투자
시리즈 창업가 바힌 투라크히아는 3,000만 달러의 자금을 자신의 자본으로 투자하며, 엔터프라이즈 AI 분야에 여전히 신규 진입자에게 기회가 남아 있다고 믿고 있다. 그의 최신 스타트업 ‘Neo’는 핵심 신념을 바탕으로 운영된다: 기존 직장용 소프트웨어는 채팅봇으로 단순히 패치할 수 없으며, 아키텍처의 완전한 재설계가 필요하다는 것이다.46세의 투라크히아는 야심 찬 엔터프라이즈 테크 벤처를 지원해 온 이력이 있다. 지난 20년간 그는 Dire





집






