JD.com, AI 발전 가속화를 위한 ‘JoyAI-LLM-Flash’ 모델 공개

JD.com은 2월 14일 Hugging Face 플랫폼을 통해 최신 대규모 언어 모델인 JoyAI-LLM-Flash를 공개했습니다. 이 모델은 총 48억 개의 파라미터를 갖추고 있으며, 추론 시 30억 개가 활성화됩니다. 20조 개의 텍스트 토큰으로 사전 훈련된 이 모델은 최신 지식 이해, 논리적 추론 및 프로그래밍 작업에서 뛰어난 능력을 보여줍니다.
JoyAI-LLM-Flash는 강화 학습에 파이버 번들 이론을 접목한 새로운 FiberPO 최적화 프레임워크를 활용합니다. Muon 최적화기와 밀집형 다중 토큰 예측(MTP) 기술을 결합한 이 접근 방식은 기존 모델을 확장할 때 흔히 발생하는 불안정성 문제를 효과적으로 해결합니다. MTP가 적용되지 않은 버전과 비교했을 때 처리량이 1.3~1.7배 증가하여, 훈련 효율성과 실제 적용 가능성을 모두 크게 높였습니다.
이 모델은 40개의 레이어로 구성된 혼합 전문가(MoE) 아키텍처를 기반으로 구축되었습니다. 128K 토큰의 컨텍스트 길이를 지원하며 129K의 어휘를 갖추고 있어, JD.com이 인공지능 분야에서 이룬 상당한 진전을 보여줍니다.
관련 기사
딥마인드 CEO 하사비스: 하루 6시간 수면, 보통 오후 1시경에 활력을 느낍니다
Fortune는 최근 Google DeepMind의 CEO인 데미스 하사비스와의 인터뷰를 소개하며, 그의 비전통적인 휴식 및 생산성 접근 방식을 공개했다. 하사비스는 자신이 매우 적게 잠을 자며, 깨어 있는 시간을 두 개의 명확한 업무 블록으로 구조화한다고 밝혔다.그의 수면 습관에 대해 하사비스는 "6시간을 목표로 하지만, 제 습관은 비정형적입니다. 하루 종일 효과적으로 기능할 수 있습니다."라고 언급했다. 그는 6시간 미만의 수면이 뇌 건강
OpenAI와 Anthropic, 매출 부진 속에서도 시장 점유율 확보 경쟁
최근 OpenAI가 매출 목표를 달성하지 못했다는 보도가 나오면서 이번 주 화요일 기술주에 압박이 가해졌음에도 불구하고, 민간 AI 연구소 투자자들은 여전히 탄탄한 모습을 보이고 있다. 노련한 투자자들은 부정적인 언론 보도에도 불구하고 투자 규모를 줄이지 않을 것이라고 밝혔다.분석가들은 현재의 AI 경쟁이 초기 단계에 불과하다고 보고, “승자 독식” 식의
캘리포니아 자율주행차 규정 준수: 과태료, 지오펜스, 100만 마일의 새로운 시대
Guident는 남부 플로리다에서 AuveTech 셔틀을 운영하며, 자사의 원격 모니터링 기술을 활용해 웨스트 팜비치에서 4마일 구간과 보카 라톤에서 1마일 구간의 노선을 관리하고 있다. | 출처: Guident캘리포니아주는 자율주행차에 대한 규제 환경을 재정의하며, 기술 업계의 “빠르게 움직이고 실패를 감수하라(move fast and break thin
관련 특별 주제 추천
의견 (1)
0/500

JD.com은 2월 14일 Hugging Face 플랫폼을 통해 최신 대규모 언어 모델인 JoyAI-LLM-Flash를 공개했습니다. 이 모델은 총 48억 개의 파라미터를 갖추고 있으며, 추론 시 30억 개가 활성화됩니다. 20조 개의 텍스트 토큰으로 사전 훈련된 이 모델은 최신 지식 이해, 논리적 추론 및 프로그래밍 작업에서 뛰어난 능력을 보여줍니다.
JoyAI-LLM-Flash는 강화 학습에 파이버 번들 이론을 접목한 새로운 FiberPO 최적화 프레임워크를 활용합니다. Muon 최적화기와 밀집형 다중 토큰 예측(MTP) 기술을 결합한 이 접근 방식은 기존 모델을 확장할 때 흔히 발생하는 불안정성 문제를 효과적으로 해결합니다. MTP가 적용되지 않은 버전과 비교했을 때 처리량이 1.3~1.7배 증가하여, 훈련 효율성과 실제 적용 가능성을 모두 크게 높였습니다.
이 모델은 40개의 레이어로 구성된 혼합 전문가(MoE) 아키텍처를 기반으로 구축되었습니다. 128K 토큰의 컨텍스트 길이를 지원하며 129K의 어휘를 갖추고 있어, JD.com이 인공지능 분야에서 이룬 상당한 진전을 보여줍니다.
딥마인드 CEO 하사비스: 하루 6시간 수면, 보통 오후 1시경에 활력을 느낍니다
Fortune는 최근 Google DeepMind의 CEO인 데미스 하사비스와의 인터뷰를 소개하며, 그의 비전통적인 휴식 및 생산성 접근 방식을 공개했다. 하사비스는 자신이 매우 적게 잠을 자며, 깨어 있는 시간을 두 개의 명확한 업무 블록으로 구조화한다고 밝혔다.그의 수면 습관에 대해 하사비스는 "6시간을 목표로 하지만, 제 습관은 비정형적입니다. 하루 종일 효과적으로 기능할 수 있습니다."라고 언급했다. 그는 6시간 미만의 수면이 뇌 건강
OpenAI와 Anthropic, 매출 부진 속에서도 시장 점유율 확보 경쟁
최근 OpenAI가 매출 목표를 달성하지 못했다는 보도가 나오면서 이번 주 화요일 기술주에 압박이 가해졌음에도 불구하고, 민간 AI 연구소 투자자들은 여전히 탄탄한 모습을 보이고 있다. 노련한 투자자들은 부정적인 언론 보도에도 불구하고 투자 규모를 줄이지 않을 것이라고 밝혔다.분석가들은 현재의 AI 경쟁이 초기 단계에 불과하다고 보고, “승자 독식” 식의





집






