Oracle의 최신 AI 솔루션은 데이터를 효과적으로 통합하고 관리합니다.

오라클은 특히 오라클 데이터베이스 내에 데이터가 이미 있는 경우, 생성형 인공지능の世界에 뛰어들 때 데이터를 그대로 유지하는 강력한 사례를 제시하고 있습니다. 이 접근 방식은 이미 오라클 생태계에 투자한 기업 사용자들에게 게임 체인저가 될 수 있습니다.

최근 두바이에서 열린 파트너 행사에서 오라클은 OCI 생성형 AI 서비스의 일반 가용성을 발표했습니다. 이 관리형 AI 서비스는 9월에 베타로 처음 출시된 후 이제 정식 출시 준비가 되었습니다. 이와 함께 오라클은 베타 단계인 두 가지 새로운 제품, OCI Gen AI 에이전트와 OCI 데이터 사이언스 AI 퀵 액션을 소개했습니다.

오라클의 제안은 명확합니다: 기존 데이터 인프라를 기반으로 기업 생성형 AI 애플리케이션을 구축하면 고유 데이터를 더 효과적으로 활용할 뿐만 아니라 추가 인프라 비용을 절감할 수 있습니다. OCI(오라클 클라우드 인프라)는 오라클 자율 데이터베이스와 Nvidia GPU "슈퍼클러스터"를 포함한 글로벌 네트워크와 컴퓨팅 자원으로, 오라클이 수십억 달러를 투자한 것입니다.

오라클의 전략 및 운영 부사장인 에릭 베르겐홀츠는 회사의 접근 방식을 강조했습니다: "우리는 본질적으로 AI를 데이터로 가져오고 있습니다." 그는 오라클의 Fusion 애플리케이션(예: ERP, HCM)이 엑사바이트 규모의 데이터를 보유하고 있으며, 이제 생성형 AI를 이 방대한 데이터 풀에 통합하고 있다고 설명했습니다.

베르겐홀츠에 따르면, 오라클의 데이터베이스, 미들웨어, Fusion 앱을 기반으로 구축하는 실질적인 이점은 상당합니다. 그는 기업이 Pine Cone 같은 벡터 데이터베이스를 추가로 구매할 수 있지만, 이는 비용과 복잡성을 증가시킨다고 지적했습니다. "물론 단점은 또 다른 인프라로 인해 클라우드 비용이 증가하고, 원래 데이터 저장소와 데이터를 이동하거나 동기화해야 한다는 점입니다,"라고 그는 설명했습니다. 하지만 OCI 서비스를 사용하면 "고객에게 그 장벽과 마찰을 제거합니다."

오라클의 데이터베이스 및 자율 서비스 마케팅 부사장인 스티브 지바닉은 "고객이 데이터를 이동하기를 원하지 않습니다. 500테라바이트를 이동해서 생성형 AI의 이점을 얻고 싶지 않을 것입니다."라고 덧붙였습니다.

새로 출시된 OCI 생성형 AI 서비스는 Meta의 오픈소스 Llama 2 70억 파라미터 모델과 같은 사전 구축된 대형 언어 모델(LLM)을 포함합니다. 오라클은 또한 오라클이 투자한 벤처 지원 스타트업 Cohere와 파트너십을 맺어 세 가지 모델을 서비스에 포함시켰습니다: 주류 텍스트-언어 기능용 Command, 문서 요약용 Summarize, 다국어 기능용 Embed.

베르겐홀츠는 데이터 프라이버시의 중요성을 강조하며, OCI에서 모델 학습이나 미세 조정에 사용된 고객 데이터는 기밀이 유지되며 다른 오라클 고객이 접근할 수 없다고 밝혔습니다. 베타 단계 이후, 이 서비스는 콘텐츠 조정을 추가했으며, 이는 프롬프트가 언어 모델에 제출되기 전과 모델 응답이 생성된 후에 수행됩니다.

이 서비스는 또한 LangChain 개발 프레임워크와 통합되어 LLM으로 작업하는 개발자들에게 유용성을 높입니다.

OCI Gen AI 에이전트 제품은 LLM을 고객의 독점 데이터 같은 다른 자원과 연결하는 것을 목표로 합니다. 첫 번째 에이전트는 검색 증강 생성(RAG)으로, 언어 모델이 OCI의 OpenSearch, 그리고 곧 출시될 오라클 데이터베이스 23c AI 벡터 검색 및 MySQL Heatwave 벡터 스토어 같은 데이터 소스에 접근할 수 있게 합니다. AI 에이전트 서비스는 이달부터 베타 테스트를 시작할 예정입니다.

2018년 오라클의 DataScience 인수에서 비롯된 OCI 데이터 사이언스 퀵 액션은 코드 없이 언어 모델을 배포하고 미세 조정하는 접근 방식을 제공합니다. 이는 분산 훈련을 위한 여러 프레임워크를 지원하며, 모델 가중치를 관리하기 위해 객체 및 파일 스토리지를 사용합니다. 퀵 액션은 다음 달 베타 테스트에 들어갈 예정입니다.

오라클은 OCI Gen AI 서비스의 베타 단계에서 다양한 사용 사례를 관찰했습니다. 일반적인 응용 사례는 HR 정책 질문에 대한 자동 응답으로, 회사 정책과 개인 사용을 기반으로 남은 휴가 일을 계산하는 것입니다. 유사한 응용 사례로는 의료 보험 혜택 질문에 답변하는 것이 있습니다. 또 다른 주요 사용 사례는 고객 지원으로, RAG는 사례를 요약하고 다음 단계에 대한 스크립트를 제공하여 사용자 경험을 향상시킬 수 있습니다.

생성형 AI와 데이터를 통합하는 것에 주저하는 이들을 위해, 지바닉은 오라클의 접근 방식을 설명했습니다: 벡터 검색 같은 기능을 오라클 데이터베이스와 Heatwave에 직접 내장함으로써 기술을 고객에게 가져오고 있습니다. 그는 일부 조직이 기술에 익숙해지기 위해 부수적인 프로젝트로 시작할 수 있지만, 시간이 지나면 통합 데이터베이스의 장점이 여러 데이터베이스 관리의 복잡성을 능가할 것이라고 예측했습니다.