긴 맥락 이해 창 : 주요 통찰력

어제, 우리는 Gemini 1.5 모델로 AI 기술의 최신 혁신을 공개했습니다. 이 새로운 반복은 속도와 효율성을 크게 향상시킬 수 있지만 실제 게임 체인저는 혁신적인 긴 컨텍스트 창입니다. 이 기능을 통해 모델은 전례없는 수의 토큰 (단어, 이미지 또는 비디오를 구성하는 기본 단위)을 한 번에 처리 할 수 ​​있습니다. 이 발전을 밝히기 위해 우리는 Google Deepmind Project 팀에 긴 상황에 맞는 Windows가 무엇인지, 그리고 개발자의 작동 방식에 혁명을 일으킬 수있는 방법에 대한 통찰력을 얻었습니다.

AI 모델이 세션 내내 정보를 유지하고 리콜 할 수 있도록 긴 컨텍스트를 이해하는 것이 중요합니다. 대화에서 언급 된 후 불과 몇 분 만에 이름을 기억하거나 마음이 미끄러지기 전에 전화 번호를 작성하기 위해 서두르려고한다고 상상해보십시오. AI 모델은 비슷한 과제에 직면하며, 몇 가지 상호 작용 후에는 "잊어 버린"세부 사항을 종종 "잊어 버립니다. 긴 컨텍스트 Windows는 모델이 "메모리"에 더 많은 정보를 유지할 수 있도록 하여이 문제를 해결합니다.

이전에는 Gemini 모델이 최대 32,000 개의 토큰을 동시에 처리 할 수 ​​있습니다. 그러나 조기 테스트를 위해 1.5 Pro가 출시되면서 우리는 현재까지 대규모 기초 모델의 가장 큰 컨텍스트 창인 1 백만 개의 토큰으로 경계를 넓혔습니다. 우리의 연구는 심지어 이것을 넘어서서 최대 천만 개의 토큰을 성공적으로 테스트했습니다. 컨텍스트 창이 클수록 텍스트, 이미지, 오디오, 코드 또는 비디오 (텍스트, 이미지, 오디오, 코드 또는 비디오)가 더 다양하고 광범위하고 광범위한 모델이 처리 할 수 ​​있습니다.

Google Deepmind Research Scientist이자 긴 상황 프로젝트의 리드 중 하나 인 Nikolay Savinov는 "우리의 초기 목표는 128,000 개의 토큰에 도달하는 것이었지만 더 높은 목표는 유익 할 것이라고 생각했기 때문에 1 백만 개의 토큰을 제안했습니다. 이제 우리의 연구는 10 번을 초과했습니다."

이 도약을 달성하려면 일련의 딥 러닝 혁신이 필요했습니다. Pranav Shyam의 초기 탐험은 우리의 연구를 이끌어내는 중요한 통찰력을 제공했습니다. Google Deepmind 엔지니어 인 Denis Teplyashin은 다음과 같이 설명했습니다. "각각의 돌파구는 새로운 가능성을 열어 두었습니다. 이러한 혁신이 결합되면 결과에 놀랐습니다.

1.5 Pro의 확장 용량은 흥미로운 새로운 응용 프로그램을 열어줍니다. 예를 들어, 수십 페이지 길이의 문서를 요약하는 대신 이제 수천 페이지 길이의 문서를 처리 할 수 ​​있습니다. 이전 모델이 수천 개의 코드 라인을 분석 할 수있는 경우 1.5 Pro는 이제 한 번에 수만 개의 줄을 처리 할 수 ​​있습니다.

또 다른 Google Deepmind Research Scientist 인 Machel Reid는 매혹적인 테스트 결과를 공유했습니다. "한 번의 테스트에서는 전체 코드 베이스를 모델에 공급했으며, 이에 대한 포괄적 인 문서를 생성했습니다.

1.5 Pro는 또한 프롬프트 내에서 데이터에 대한 추론에 탁월합니다. Machel은 전 세계 200 명 미만의 사람들이 사용하는 희귀 언어 Kalamang과 관련된 사례를 강조했습니다. "이 모델은 자체적으로 칼라만으로 번역 할 수는 없지만 긴 상황에 맞는 창으로 전체 문법 매뉴얼과 예제 문장을 포함시킬 수 있습니다. 그런 다음이 모델은 같은 자료에서 배우는 사람과 비슷한 수준에서 영어에서 칼라 군으로 번역하는 법을 배웠습니다."

Gemini 1.5 Pro는 표준 128k-token 컨텍스트 창이 함께 제공되지만 일부 개발자 및 엔터프라이즈 고객 그룹은 개인 미리보기에서 AI Studio 및 Vertex AI를 통해 백만 개의 토큰 컨텍스트 창에 액세스 할 수 있습니다. 이러한 큰 컨텍스트 창을 관리하는 것은 계산 집약적이며, 우리는 규모를 확장 할 때 대기 시간을 줄이기 위해 최적화를 적극적으로 연구하고 있습니다.

앞으로 팀은 안전을 우선 순위로 더 빠르고 효율적으로 만드는 데 중점을 둡니다. 또한 긴 컨텍스트 창을 더욱 확장하고 기본 아키텍처를 향상 시키며 새로운 하드웨어 개선을 활용하는 방법을 모색하고 있습니다. Nikolay는 다음과 같이 지적했다.

이 팀은 개발자와 광범위한 커뮤니티가 이러한 새로운 기능을 통해 만들어 줄 혁신적인 응용 프로그램을보고 싶어합니다. Machel은 "처음에 백만 개의 토큰이있는 것을 보았을 때 '당신은 이것을 무엇으로 사용합니까?' 그러나 지금은 사람들의 상상력이 확장되어 이러한 새로운 기능을보다 창의적으로 사용하게 될 것이라고 생각합니다. "

[TTPP] [YYXX]