Databricks, 기초 모델로 AI SQL 기능 출시

Databricks는 혁신적인 AI SQL 함수로 데이터 분석 세계를 뒤흔들고 있으며, 이는 기반 모델로 구동됩니다. 이러한 도구는 기존 데이터 워크플로우에 매끄럽게 통합되어 SQL 쿼리 내에서 AI 기반 분석을 그 어느 때보다 쉽게 수행할 수 있게 합니다. 이는 복잡한 API 통합의 번거로움에 작별을 고하고 데이터 분석에 보다 간소화된 접근 방식을 도입한다는 의미입니다. 이 기사에서는 이러한 새로운 기능이 데이터 처리 방식을 어떻게 바꿀 수 있는지 살펴봅니다.

주요 내용

• Databricks는 기반 모델로 구동되는 AI SQL 함수를 도입했습니다.
• 이 함수들은 감정 분석, 분류, 텍스트 추출, 문법 교정과 같은 기능을 제공합니다.
• AI 모델이 Databricks에 통합되어 외부 API 호출이 필요 없습니다.
• 이 함수들은 토큰당 지불 방식으로 제공되어 비용 효율적인 AI 솔루션을 제공합니다.
• 특정 Databricks 지역에서만 사용 가능합니다.
• AI 추출 함수는 다목적 정보 추출을 가능하게 합니다.
• AI 문법 교정 함수는 텍스트의 문법 품질을 향상시킵니다.

Databricks AI SQL 함수: 기반 모델의 실제 적용

새로운 Databricks AI SQL 함수 이해

Databricks는 AI를 SQL 쿼리에 직접 통합하여 데이터 분석가와 엔지니어의 프로세스를 단순화하는 AI SQL 함수 제품군을 출시했습니다. 이 함수들은 대규모 데이터셋으로 훈련된 대형 언어 모델인 기반 모델의 힘을 활용합니다. 일반적으로 ChatGPT와 같은 모델은 외부에서 호스팅되며 복잡한 API 통합이 필요합니다. Databricks는 이러한 모델을 플랫폼에 직접 내장하여 AI를 더 쉽게 접근하고 효율적으로 만듭니다. 각 회사가 자체 웹 서비스 호출을 구축하는 대신, Databricks는 즉시 사용 가능한 모델을 제공하여 시간과 자원을 절약합니다.

이 함수들은 AI 통합을 쉽게 하지만 비용도 고려해야 합니다. 토큰당 지불 방식으로 운영되므로 비용을 효과적으로 관리하려면 전략적인 구현이 중요합니다. 또한, 이 함수들은 아직 모든 Databricks 지역에서 사용 가능하지 않으며, 현재는 Central US, East US, East US 2, North Central US와 같은 지역으로 제한됩니다. 이는 작업 공간과 프로젝트 계획에 영향을 미칠 수 있습니다.

핵심 AI SQL 함수: 감정 분석, 분류 등

Databricks는 데이터 분석을 풍부하게 하는 여러 핵심 AI SQL 함수를 제공합니다:

• AI 감정 분석: 텍스트의 감정(긍정, 부정, 중립)을 판단하여 고객 피드백과 소셜 미디어 트렌드를 이해하는 데 유용합니다.
• AI 분류: 텍스트를 미리 정의된 클래스로 분류하여 고객 문의를 주제나 제품별로 정리할 수 있습니다.
• AI 추출: 비정형 텍스트에서 이름이나 이메일 주소 같은 특정 정보를 추출합니다. 이는 원시 텍스트를 구조화된 데이터로 변환하여 상세한 모델 생성에 이상적입니다.



• AI 문법 교정: 텍스트의 문법을 교정하여 사용자 생성 콘텐츠 정리나 전문적인 커뮤니케이션 보장에 유용합니다.
• AI 마스크: 텍스트에서 민감한 정보를 마스킹하여 데이터 보안 규정을 준수하는 데 도움을 줍니다.
• AI 요약: 긴 문서나 기사를 간결하게 요약하여 핵심 정보를 빠르게 추출하기에 적합합니다.
• AI 번역: 텍스트를 언어 간 번역하여 다양한 소스의 데이터 분석 능력을 확장합니다.
• AI 유사성: 레코드 간 유사성 점수를 계산하여 보다 정교한 데이터 분석을 가능하게 합니다.

Databricks 기반 모델 API를 사용한 Databricks AI SQL 함수 탐색

다음 표는 Databricks 기반 모델 API로 구동되는 Databricks AI SQL 함수를 나열합니다:

실제 적용: 실세계 사용 사례

이 AI SQL 함수들은 다양한 실제 적용 가능성을 열어줍니다:

• 고객 리뷰 분석: 고객 리뷰의 감정을 자동으로 평가하여 개선 영역을 정확히 파악하고 고객 만족도를 측정합니다.



• 데이터 품질 검사 자동화: AI 문법 교정을 사용하여 분석 전 데이터를 정리하고, AI 요약을 통해 효율성을 높입니다.
• 문서 처리 간소화: 법률 문서, 계약서 또는 연구 논문에서 핵심 정보를 추출하여 이름과 주소 같은 추출된 데이터로 다른 데이터셋을 채웁니다.

SQL에서 직접 AI 함수를 실행함으로써 데이터 워크플로우가 크게 간소화됩니다.

AI SQL 함수 테스트: Databricks에서의 데모

Databricks는 이러한 함수의 실제 동작을 보여주는 매력적인 데모를 제공합니다:

• 감정 분석: 간단한 SQL 쿼리로 텍스트 감정을 분석할 수 있습니다:
SELECT ai_analyze_sentiment('나는 행복한 스파키 보이야');
• 데이터 정리: 고객 리뷰를 분석하고 다양한 검사를 수행하여 데이터 정리를 더 효과적으로 만듭니다.
• 공통 테이블 표현식(CTE)을 사용하여 데이터를 저장하면 다양한 사용자의 감정을 분석하고 다양한 분석을 수행할 수 있습니다.
• AI 문법 교정으로 전환하면 일반적인 문법 문제를 수정할 수 있습니다.

기반 모델 사용을 위한 가용성과 전제 조건

기반 모델을 효과적으로 사용하려면 특정 요구 사항을 충족해야 합니다:

• AI 함수는 토큰당 지불 지원 지역의 작업 공간에서만 사용 가능합니다.
• 이 함수는 Azure Databricks SQL Classic에서 사용 불가합니다.

Databricks AI SQL 함수의 잠재력을 극대화하기 위한 팁

전략적 통합

이 AI 함수를 데이터 파이프라인에 통합하는 방법을 신중히 계획하세요. AI 통찰력이 가장 큰 가치를 더할 수 있는 곳을 파악하고 반복적인 작업을 자동화하세요. 이 함수들을 가장 큰 이익을 제공할 곳에 사용하세요.

비용 최적화

토큰 소비를 주시하여 비용을 최적화하세요. 현재 지출을 평가하고 AI 기반 통찰력과 비용 간의 균형을 평가하면서 다른 AI 옵션을 탐색하세요.

최신 정보 유지

Databricks는 AI 기능을 지속적으로 개선하고 있습니다. 새로운 함수, 지역 가용성, 가격 변동에 대한 정보를 유지하여 이 혁신적인 기술을 최대한 활용하세요. 계속 배우고 실험하여 워크플로우를 향상시키세요.

Databricks AI SQL 함수의 장점과 단점

장점

• SQL 워크플로우 내에서 간소화된 AI 통합
• 강력한 기반 모델에 대한 접근
• 외부 API 통합에 비해 복잡성 감소
• 비용 효율적인 AI 솔루션 가능성(토큰당 지불)
• 자동화된 데이터 품질 검사

단점

• 비용 관리(토큰당 지불 사용)
• 제한된 지역 가용성
• Databricks 플랫폼에 대한 의존성
• 잠재적인 벤더 종속성
• 특정 작업 공간 및 구성 요구 사항

자주 묻는 질문

Databricks AI SQL 함수란 무엇인가요?

Databricks AI SQL 함수는 SQL 쿼리 내에서 AI 모델을 직접 활용할 수 있는 도구 모음입니다. 이 함수들은 기반 모델로 구동되며 감정 분석, 텍스트 분류 등의 기능을 제공합니다.

AI 추출과 AI 문법 교정 함수는 어떤 종류인가요?

AI 추출 함수는 이메일이나 이름 같은 특정 정보를 추출하고 문서를 파싱할 수 있게 합니다. AI 문법 교정 함수는 텍스트의 문법 오류를 수정합니다.

이 AI 함수의 가격 정책은 어떻게 되나요?

가격은 토큰당 지불 모델을 기반으로 하며, 쿼리의 복잡성과 입력 텍스트의 크기에 따라 토큰 사용량이 달라집니다. 자세한 가격 정보는 Databricks 문서를 참조하세요.

Databricks AI SQL 함수는 어떤 지역에서 사용 가능하나요?

현재 Central US, East US, East US 2, North Central US와 같은 특정 지역에서 사용 가능합니다. 최신 지역 지원 정보는 Databricks 문서를 확인하세요.

관련 질문

Databricks에서 감정 분석을 수행하는 대안은 무엇인가요?

Databricks SQL 함수 이전에는 기업들이 몇 가지 옵션을 가지고 있었습니다. 하나는 자체 데이터를 사용하여 맞춤형 분류 엔진을 만드는 것이었고, 다른 하나는 별도의 구독을 설정해야 하는 웹 서비스 호출을 사용하는 것으로, 이는 데이터 유출이나 기타 우려를 초래할 수 있었습니다.