LLM 내부는 무엇입니까? ai2 olmotrace는 소스를 '추적'합니다

대규모 언어 모델(LLM)의 출력과 그 훈련 데이터 간의 연결을 이해하는 것은 기업 IT에게 항상 약간의 퍼즐과 같았다. 이번 주, Allen Institute for AI(Ai2)는 OLMoTrace라는 흥미로운 새로운 오픈소스 이니셔티브를 출시했으며, 이는 이 관계를 명확히 하는 것을 목표로 한다. 사용자가 LLM 출력을 원래 훈련 데이터로 추적할 수 있게 함으로써, OLMoTrace는 기업 AI 도입의 가장 큰 장애물 중 하나인 AI 의사결정 과정의 투명성 부족을 해결한다.

OLMo는 Open Language Model의 약자로, Ai2의 오픈소스 LLM 제품군의 이름이다. Ai2의 Playground 사이트에서 최신 OLMo 2 32B 모델로 OLMoTrace를 시험해 볼 수 있다. 또한, 오픈소스 코드는 GitHub에서 누구나 자유롭게 사용할 수 있다.

OLMoTrace를 신뢰도 점수나 검색 증강 생성에 초점을 맞춘 다른 방법들과 구별 짓는 점은, 모델 출력이 그것을 형성한 방대한 훈련 데이터셋과 어떻게 관련 있는지에 대한 명확한 시각을 제공한다는 것이다. Ai2의 연구원인 Jiacheng Liu는 VentureBeat에 “우리의 목표는 사용자가 언어 모델이 왜 그런 응답을 생성하는지 이해하도록 돕는 것”이라고 말했다.

OLMoTrace의 작동 방식: 단순한 인용 이상

Perplexity나 ChatGPT Search와 같은 LLM은 소스 인용을 제공할 수 있지만, OLMoTrace와는 다르게 작동한다. Liu에 따르면, 이러한 모델은 검색 증강 생성(RAG)을 사용하며, 이는 훈련 데이터를 넘어 추가 소스를 통합하여 모델 출력 품질을 향상시키는 것을 목표로 한다. 반면, OLMoTrace는 RAG나 외부 문서에 의존하지 않고 모델 출력을 훈련 코퍼스로 직접 추적한다.

이 도구는 모델 출력에서 고유한 텍스트 시퀀스를 식별하고 이를 훈련 데이터의 특정 문서와 매칭한다. 매칭이 발견되면, OLMoTrace는 관련 텍스트를 강조할 뿐만 아니라 원본 소스 자료에 대한 링크도 제공한다. 이를 통해 사용자는 모델이 사용하는 정보를 어디서 어떻게 학습했는지 정확히 확인할 수 있다.

신뢰도 점수 너머: AI 의사결정의 구체적 증거

LLM은 일반적으로 모델 가중치를 기반으로 출력을 생성하며, 이는 신뢰도 점수를 계산하는 데 사용된다. 점수가 높을수록 출력이 더 정확하다고 여겨진다. 하지만 Liu는 이러한 점수가 오해를 불러일으킬 수 있다고 믿는다. “모델은 생성한 내용에 대해 과도하게 자신감을 가질 수 있으며, 점수를 생성하도록 요청하면 대개 부풀려진다,”고 그는 설명했다. “학계에서는 이를 교정 오류라고 부른다—모델이 출력하는 신뢰도가 실제 응답의 정확성을 항상 반영하지는 않는다.”

잠재적으로 오해를 불러일으킬 수 있는 점수에 의존하는 대신, OLMoTrace는 모델의 학습 소스에 대한 직접적인 증거를 제공하여 사용자가 정보에 입각한 판단을 내릴 수 있도록 한다. “OLMoTrace는 모델 출력과 훈련 문서 간의 매칭을 보여준다,”고 Liu는 말했다. “인터페이스를 통해 매칭 포인트가 어디인지, 모델 출력이 훈련 문서와 어떻게 일치하는지 직접 확인할 수 있다.”

OLMoTrace와 다른 투명성 접근법 비교

Ai2는 LLM 출력을 더 잘 이해하려는 유일한 조직이 아니다. Anthropic도 연구를 진행했지만, 그들의 초점은 모델의 내부 작동에 있었다. Liu는 차이점을 강조했다: “우리는 그들과 다른 접근법을 취하고 있다. 우리는 모델 행동과 훈련 데이터로 직접 추적하며, 모델 뉴런이나 내부 회로 같은 것들로 추적하는 것이 아니다.”

이 접근법은 OLMoTrace를 기업 애플리케이션에 더 실용적으로 만들며, 결과를 이해하기 위해 신경망 아키텍처에 대한 깊은 지식이 필요하지 않다.

기업 AI 애플리케이션: 규제 준수에서 모델 디버깅까지

의료, 금융, 법률 서비스와 같은 규제 산업에서 AI를 배포하는 기업에게 OLMoTrace는 전통적인 블랙박스 시스템에 비해 상당한 이점을 제공한다. “우리는 OLMoTrace가 기업 및 비즈니스 사용자가 모델 훈련에 사용된 것을 더 잘 이해하도록 도와, 그 위에 구축하려 할 때 더 자신감을 가질 수 있게 할 것이라고 생각한다,”고 Liu는 말했다. “이는 모델과 그들의 고객 간의 투명성과 신뢰를 높이는 데 도움이 될 수 있다.”

이 기술은 기업 AI 팀에 몇 가지 핵심 기능을 제공한다:

• 원본 소스에 대한 모델 출력 사실 확인
• 환각의 기원 이해
• 문제 패턴 식별을 통한 모델 디버깅 개선
• 데이터 추적성을 통한 규제 준수 강화
• 투명성 증대를 통한 이해관계자 신뢰 구축

Ai2 팀은 이미 OLMoTrace를 효과적으로 사용하고 있다. “우리는 이미 훈련 데이터를 개선하는 데 사용하고 있다,”고 Liu는 밝혔다. “OLMo 2를 구축하고 훈련을 시작했을 때, OLMoTrace를 통해 사후 훈련 데이터 중 일부가 좋지 않다는 것을 알게 되었다.”

기업 AI 도입에 미치는 영향

AI 도입의 선두에 서려는 기업에게 OLMoTrace는 더 책임감 있는 AI 시스템으로의 중요한 발전을 나타낸다. 이 도구는 Apache 2.0 오픈소스 라이선스 하에 제공되며, 모델의 훈련 데이터에 접근할 수 있는 모든 조직이 유사한 추적 기능을 구현할 수 있다.

“OLMoTrace는 모델의 훈련 데이터가 있는 한 어떤 모델에서도 작동할 수 있다,”고 Liu는 언급했다. “모두가 모델의 훈련 데이터에 접근할 수 있는 완전 오픈 모델의 경우, 누구나 그 모델에 대해 OLMoTrace를 설정할 수 있으며, 독점 모델의 경우, 일부 제공자가 데이터를 공개하지 않으려 하더라도 내부적으로 OLMoTrace를 수행할 수 있다.”

글로벌 AI 거버넌스 프레임워크가 진화함에 따라, 검증과 감사 가능성을 가능하게 하는 OLMoTrace 같은 도구는 특히 투명성이 점점 더 요구되는 규제 산업에서 기업 AI 스택의 중요한 구성 요소가 될 가능성이 높다. AI 도입의 장단점을 고려하는 기술적 의사결정자에게 OLMoTrace는 대규모 언어 모델의 힘을 손상시키지 않으면서 더 신뢰할 수 있고 설명 가능한 AI 시스템을 구현하는 실용적인 방법을 제공한다.