Google AI는 Dolphingemma와 돌고래 커뮤니케이션을 디코딩하는 데 도움이됩니다

수십 년 동안 과학자들은 돌고래의 클릭, 휘파람, 그리고 버스트 펄스에 매료되어 그들의 복잡한 의사소통 코드를 해독하려고 노력해 왔습니다. 우리가 이 해양 대화를 엿듣는 것뿐만 아니라 그 패턴을 충분히 해독하여 돌고래와 유사한 응답을 만들어낼 수 있다면 어떨까요? 이 꿈이 점점 현실에 가까워지고 있으며, 국립 돌고래의 날에 Google은 조지아 공과대학교의 연구자들과 Wild Dolphin Project(WDP)의 현장 연구와 협력하여 DolphinGemma에 대한 흥미로운 업데이트를 공유하게 되어 기쁩니다. 이 획기적인 AI 모델은 돌고래의 발성을 미묘하게 이해하도록 훈련되었으며, 새로운 음향 시퀀스를 생성하여 AI의 한계를 확장하고 바다의 주민들과 연결될 가능성을 열어줍니다.

돌고래 사회 연구의 수십 년

어떤 종을 이해하는 것은 쉬운 일이 아닙니다. 그들의 세계로 깊이 들어가야 합니다. 여기서 WDP가 등장합니다. 1985년 이래로 그들은 바하마의 야생 대서양 점박이 돌고래(Stenella frontalis) 커뮤니티를 중심으로 가장 긴 수중 돌고래 연구 프로젝트를 진행해 왔으며, 여러 세대에 걸쳐 그들을 연구해 왔습니다. 그들의 "그들의 세계에서, 그들의 방식으로" 접근법은 돌고래를 방해하지 않으면서 풍부한 데이터를 수집한다는 것을 의미합니다. 여기에는 수십 년간의 수중 비디오와 오디오가 포함되며, 모두 개별 돌고래의 신원, 삶의 역사, 행동과 세심하게 연결되어 있습니다. 이는 돌고래의 삶에 대한 상세한 일기와 같습니다.

대서양 점박이 돌고래, Stenella frontalis 무리

WDP의 주요 초점은 돌고래의 자연스러운 의사소통과 사회적 상호작용을 관찰하고 분석하는 것입니다. 수중에서 연구자들은 표면 관찰로는 불가능한 방식으로 소리와 특정 행동을 직접 연결할 수 있습니다. 그들은 서로 다른 소리 유형과 행동 맥락을 연관 짓는 데 수년을 보냈습니다. 예를 들어:

• 고유한 이름처럼 작용하는 시그니처 휘파람은 어미와 새끼가 재회하는 데 도움을 줍니다.
• 버스트 펄스 "스쿼크"는 종종 돌고래 간의 다툼과 함께 나타납니다.
• 클릭 "버즈"는 구애 중이거나 상어를 쫓을 때 흔히 들립니다.

관련된 개별 돌고래를 아는 것이 정확한 해석의 핵심입니다. 이 장기 관찰의 궁극적인 목표는 이러한 자연스러운 소리 시퀀스의 구조와 잠재적 의미를 해독하여 언어의 형태를 암시할 수 있는 패턴과 규칙을 찾는 것입니다. 이 풍부한 자연 의사소통 분석은 WDP 연구의 중추이며 AI 분석에 중요한 맥락을 제공합니다.

왼쪽: 먹이를 찾는 동안 새끼를 지켜보는 어미 점박이 돌고래. 새끼가 끝나면 고유한 시그니처 휘파람으로 새끼를 부를 것입니다. 오른쪽: 휘파람을 보여주는 스펙트로그램.

DolphinGemma 소개

돌고래의 자연스럽고 복잡한 의사소통을 분석하는 것은 쉬운 일이 아니며, WDP의 광범위하고 라벨링된 데이터셋은 AI 혁신을 위한 절호의 기회를 제공합니다. Google이 만든 DolphinGemma는 특정 오디오 기술을 활용합니다. SoundStream 토크나이저는 돌고래 소리를 효과적으로 캡처하며, 이는 복잡한 시퀀스를 위해 설계된 모델에 의해 처리됩니다. 이 약 4억 개의 파라미터 모델은 WDP가 현장에서 사용하는 Pixel 폰에서 실행하기에 적합한 크기입니다.

왼쪽: DolphinGemma의 초기 테스트 중 생성된 휘파람과 버스트 펄스.

DolphinGemma는 Google의 경량화된 최첨단 오픈 모델 제품군인 Gemma에서 영감을 얻었으며, Gemini 모델과 동일한 연구 및 기술을 공유합니다. 야생 대서양 점박이 돌고래의 WDP 음향 데이터베이스에서 훈련된 DolphinGemma는 오디오 입력, 오디오 출력 모델로 작동합니다. 이는 자연스러운 돌고래 소리 시퀀스를 처리하여 패턴, 구조를 파악하고, 궁극적으로 인간 언어 모델이 다음 단어를 예측하는 것과 유사하게 시퀀스의 다음 소리를 예측합니다.

이번 시즌, WDP는 DolphinGemma를 현장에 배포하며 즉각적인 이점을 기대하고 있습니다. 반복되는 소리 패턴, 클러스터, 신뢰할 수 있는 시퀀스를 정확히 찾아냄으로써 이 모델은 연구자들이 돌고래의 자연스러운 의사소통 내에서 숨겨진 구조와 잠재적 의미를 발견하는 데 도움을 줄 수 있습니다. 이는 이전에는 막대한 인적 노력을 요구했던 작업입니다. 장기적으로 이러한 패턴과 연구자들이 돌고래가 좋아하는 물체를 나타내기 위해 만든 합성 소리를 결합하면 공유 어휘와 상호작용적 의사소통의 길을 열 수 있습니다.

Pixel 폰을 사용해 돌고래 소리를 듣고 분석하기

자연스러운 의사소통 분석과 함께 WDP는 바다에서 기술을 사용한 양방향 상호작용 가능성을 탐구하고 있습니다. 이는 조지아 공과대학교와 협력하여 개발된 CHAT(Cetacean Hearing Augmentation Telemetry) 시스템으로 이어졌습니다. CHAT는 돌고래의 복잡한 자연 언어를 해독하는 것이 아니라 더 단순한 공유 어휘를 구축하기 위해 설계된 수중 컴퓨터입니다.

아이디어는 돌고래가 흥미를 느끼는 물체(예: 해조, 해초, 연구자들이 사용하는 스카프)와 CHAT에서 생성된 새로운 합성 휘파람(자연 돌고래 소리와 구별됨)을 연결하는 것입니다. 연구자들은 이 시스템을 서로에게 보여줌으로써 호기심 많은 돌고래들이 이 휘파람을 모방하여 이러한 물품을 요청하는 법을 배울 것이라고 기대합니다. 돌고래의 자연 소리에 대한 이해가 깊어질수록, 이 소리들도 시스템에 통합될 수 있습니다.

양방향 상호작용을 가능하게 하기 위해 CHAT 시스템은 다음을 수행해야 합니다:

1. 바다 소음 속에서 모방 소리를 정확히 듣기.
2. 실시간으로 어떤 휘파람이 모방되었는지 식별하기.
3. 연구자에게 (수중에서 작동하는 뼈전도 헤드폰을 통해) 돌고래가 "요청한" 물체를 알리기.
4. 연구자가 올바른 물체를 제공함으로써 빠르게 응답하여 연결을 강화하기.

Google Pixel 6은 이전에 돌고래 소리의 고품질 분석을 실시간으로 처리했습니다. 다음 세대는 Google Pixel 9(2025년 여름 연구 예정)를 중심으로, 스피커/마이크 기능을 통합하고 폰의 고급 처리를 활용하여 딥 러닝 모델과 템플릿 매칭 알고리즘을 동시에 실행할 것입니다.

왼쪽: "Chat Senior, 2012"를 착용한 Denise Herzing 박사, 오른쪽: "Chat Junior, 2025"를 착용한 조지아 공대 박사 과정 학생 Charles Ramey

Pixel 스마트폰을 사용하면 맞춤 하드웨어의 필요성을 크게 줄이고, 시스템 유지보수성을 높이며, 전력 사용을 줄이고, 장치의 비용과 크기를 줄이는 주요 이점을 제공합니다. 이는 열린 바다에서의 현장 연구에 중요한 장점입니다. 한편, DolphinGemma의 예측 능력은 CHAT가 발성 시퀀스 초기에 잠재적 모방을 예측하고 식별하는 데 도움을 주어 연구자의 돌고래 응답을 가속화하고 상호작용을 더 부드럽고 강화되게 만듭니다.

최신 CHAT 시스템 하드웨어 내부의 Google Pixel 9.

연구 커뮤니티와 DolphinGemma 공유

과학적 발견에서 협력의 중요성을 이해하고, 우리는 이번 여름 DolphinGemma를 오픈 모델로 공유할 준비가 되어 있습니다. 대서양 점박이 돌고래 소리로 훈련되었지만, 병코돌고래나 회전돌고래 같은 다른 고래류 종을 연구하는 연구자들에게도 유용할 수 있다고 믿습니다. 다른 종의 발성에 대해 약간의 미세 조정이 필요할 수 있지만, 오픈 모델은 이러한 적응을 가능하게 합니다.

DolphinGemma와 같은 도구를 제공함으로써, 우리는 전 세계 연구자들이 자신의 음향 데이터셋을 분석하고, 패턴 탐색을 가속화하며, 이 지능적인 해양 포유류에 대한 이해를 집단적으로 향상시킬 수 있는 수단을 제공하는 것을 목표로 합니다.

돌고래 의사소통을 이해하는 여정은 길고 구불구불하지만, WDP의 헌신적인 현장 연구, 조지아 공대의 공학적 역량, 그리고 Google의 기술적 힘의 결합은 흥미로운 새로운 가능성을 열고 있습니다. 우리는 더 이상 듣기만 하는 것이 아닙니다. 소리 내의 패턴을 이해하기 시작하며, 인간과 돌고래 의사소통의 간극이 조금 더 좁혀질 미래의 무대를 설정하고 있습니다.

Wild Dolphin Project의 웹사이트에서 더 자세히 알아볼 수 있습니다.