Databricks, 기초 모델로 AI SQL 기능 출시

집

소식

2025년 5월 20일

ThomasScott

Databricks는 혁신적인 AI SQL 기능을 통해 데이터 분석의 세계를 뒤흔들고 있으며, 이는 기초 모델에 의해 구동됩니다. 이러한 도구는 기존 데이터 워크플로우에 원활하게 통합되어 SQL 쿼리 내에서 AI 기반 분석을 수행하는 것이 그 어느 때보다 쉬워졌습니다. 이는 복잡한 API 통합의 번거로움을 없애고 데이터 분석에 더욱 간소화된 접근 방식을 제공한다는 의미입니다. 이 기사는 이러한 새로운 기능이 데이터 처리 방식에 어떤 변화를 가져올 수 있는지 탐구합니다.

주요 포인트

Databricks는 기초 모델에 의해 구동되는 AI SQL 기능을 소개합니다.
이러한 기능은 감정 분석, 분류, 텍스트 추출 및 문법 교정과 같은 기능을 제공합니다.
AI 모델은 Databricks에 통합되어 외부 API 호출의 필요성을 제거합니다.
기능은 토큰당 요금제로 제공되어 비용 효율적인 AI 솔루션을 제공합니다.
가용성은 특정 Databricks 지역으로 제한됩니다.
AI 추출 기능은 다양한 정보 추출을 가능하게 합니다.
AI 문법 수정 기능은 텍스트의 문법 품질을 향상시킵니다.

Databricks AI SQL 기능: 기초 모델의 활용

새로운 Databricks AI SQL 기능 이해하기

Databricks는 데이터 분석가와 엔지니어를 위한 프로세스를 단순화하는 AI SQL 기능을 출시했습니다. 이러한 기능은 방대한 데이터셋으로 훈련된 대규모 언어 모델인 기초 모델의 힘을 활용합니다. 일반적으로 이러한 모델, 예를 들어 ChatGPT는 외부에 호스팅되어 복잡한 API 통합이 필요합니다. Databricks는 이러한 모델을 직접 플랫폼에 내장하여 AI를 더욱 접근 가능하고 효율적으로 만듭니다. 각 회사가 자체 웹 서비스 호출을 구축하는 대신, Databricks는 준비된 모델을 제공하여 시간과 자원을 절약합니다.

Databricks AI SQL 기능

이러한 기능은 AI 통합을 더 쉽게 만들지만, 비용을 고려하는 것이 중요합니다. 이들은 토큰당 요금제로 작동하므로 비용을 효과적으로 관리하기 위한 전략적 구현이 중요합니다. 또한, 이러한 기능은 아직 모든 Databricks 지역에서 사용할 수 없으며, 현재 중앙 US, 동부 US, 동부 US 2, 북중앙 US와 같은 지역으로 제한되어 있습니다. 이는 작업 공간과 프로젝트 계획에 영향을 미칠 수 있습니다.

핵심 AI SQL 기능: 감정 분석, 분류 등

Databricks는 데이터 분석을 풍부하게 하는 여러 핵심 AI SQL 기능을 제공합니다:

AI 감정 분석: 텍스트 내의 감정(긍정적, 부정적, 중립적)을 결정하여 고객 피드백과 소셜 미디어 트렌드를 이해하는 데 좋습니다.
AI 분류: 텍스트를 사전 정의된 클래스로 분류하여 주제나 제품별로 고객 문의를 정렬합니다.
AI 추출: 이름이나 이메일 주소와 같은 특정 정보를 비정형 텍스트에서 추출합니다. 이는 원시 텍스트를 구조화된 데이터로 변환하여 상세한 모델을 만드는 데 이상적입니다.
AI 문법 수정: 텍스트의 문법을 교정하여 사용자 생성 콘텐츠를 정리하거나 전문적인 커뮤니케이션을 보장하는 데 유용합니다.
AI 마스크: 텍스트 내의 민감한 정보를 마스킹하여 데이터 보안 규정을 준수하는 데 도움이 됩니다.
AI 요약: 긴 문서나 기사의 간결한 요약을 생성하여 핵심 정보를 빠르게 추출할 수 있습니다.
AI 번역: 텍스트를 다양한 언어로 번역하여 다양한 출처에서 데이터 분석 능력을 확장합니다.
AI 유사성: 레코드 간의 유사성 점수를 계산하여 더 세밀한 데이터 분석을 가능하게 합니다.

Databricks 기초 모델 API를 사용하여 Databricks AI SQL 기능 탐색하기

다음 표는 Databricks 기초 모델 API에 의해 구동되는 Databricks AI SQL 기능을 나열합니다:

기능	설명
ai_analyze_sentiment	AI 기능을 사용하여 고객 리뷰 분석
ai_classify	AI 기능을 사용하여 분류
ai_extract	AI 기능을 사용하여 데이터 추출
ai_fix_grammar	AI 기능을 사용하여 문법 수정
ai_gen	ai gen 기능 사용
ai_mask	ai mask 기능 사용
ai_similarity	코어를 계산하기 위해 ai similarity 사용
ai_summarize	ai summarize 기능 사용
ai_translate	ai Translate 기능 사용
ai_query	ai_query() 기능은 Databricks 모델 서빙을 사용하여 기계 학습 모델과 대규모 언어 모델을 제공하고 SQL을 사용하여 이를 쿼리할 수 있게 합니다.

실용적 응용: 실세계 사용 사례

이러한 AI SQL 기능은 다양한 실용적 응용을 열어줍니다:

고객 리뷰 분석: 자동으로 고객 리뷰의 감정을 평가하여 개선할 영역을 파악하고 고객 만족도를 측정합니다.
데이터 품질 검사 자동화: AI 문법 교정을 사용하여 분석 전에 데이터를 정리하고, AI 요약을 통해 효율성을 높입니다.
문서 처리 간소화: 법률 문서, 계약서 또는 연구 논문에서 핵심 정보를 추출하여 이름과 주소와 같은 추출된 데이터로 다른 데이터셋을 채웁니다.

SQL 내에서 AI 기능을 실행함으로써 데이터 워크플로우가 훨씬 더 간소화됩니다.

AI SQL 기능 테스트: Databricks에서의 데모

Databricks는 이러한 기능이 작동하는 것을 보여주는 인상적인 데모를 제공합니다:

AI SQL 기능 데모

감정 분석: 간단한 SQL 쿼리로 텍스트 감정을 분석할 수 있습니다: SELECT ai_analyze_sentiment('나는 행복한 스파키 보이입니다');
데이터 정리: 다양한 데이터 포인트를 쿼리하여 고객 리뷰를 분석하고 다양한 검사를 수행하여 데이터 정리를 더욱 효과적으로 만듭니다.
공통 테이블 표현(CTE)을 사용하여 데이터를 저장하면 다양한 사용자의 감정을 분석하고 다양한 분석을 수행할 수 있습니다.
AI 문법 수정으로 일반적인 문법 문제를 수정할 수 있습니다.

기초 모델 사용을 위한 가용성 및 사전 요구 사항

기초 모델을 효과적으로 사용하려면 특정 요구 사항을 충족해야 합니다:

기초 모델 사전 요구 사항

AI 기능은 기초 모델 API 토큰당 요금제를 지원하는 지역의 작업 공간에서만 사용할 수 있습니다.
이 기능은 Azure Databricks SQL Classic에서는 사용할 수 없습니다.

Databricks AI SQL 기능의 잠재력을 최대화하기 위한 팁

전략적 통합

이러한 AI 기능을 데이터 파이프라인에 어떻게 통합할지 신중하게 계획하세요. AI 인사이트가 가장 큰 가치를 더할 수 있는 곳을 식별하고 반복적인 작업을 자동화하세요. 가장 큰 혜택을 제공할 곳에서 이러한 기능을 사용하세요.

비용 최적화

토큰 소비를 주시하여 비용을 최적화하세요. 현재 지출을 평가하고 기능성을 향상시키기 위해 다른 AI 옵션을 탐색하면서 AI 기반 인사이트와 비용 간의 절충을 평가하세요.

Databricks AI SQL 기능의 장단점

장점

SQL 워크플로우 내에서 단순화된 AI 통합
강력한 기초 모델에 대한 접근
외부 API 통합과 비교하여 감소된 복잡성
비용 효율적인 AI 솔루션의 가능성(토큰당 요금제)
자동화된 데이터 품질 검사

단점

비용 관리(토큰당 사용)
제한된 지역 가용성
Databricks 플랫폼에 대한 의존성
잠재적인 벤더 록인
특정 작업 공간 및 구성 요구 사항

자주 묻는 질문

Databricks AI SQL 기능이란 무엇인가요?

Databricks AI SQL 기능은 SQL 쿼리 내에서 직접 AI 모델을 활용할 수 있게 해주는 도구 세트입니다. 이러한 기능은 기초 모델에 의해 구동되며 감정 분석, 텍스트 분류 등의 기능을 제공합니다.

AI 추출 및 AI 문법 수정은 어떤 종류의 기능인가요?

AI 추출 기능은 이메일이나 이름과 같은 특정 정보를 추출하기 위한 용어 추출 및 문서 파싱을 가능하게 합니다. AI 문법 수정 기능은 텍스트 내의 문법 오류를 교정합니다.

이러한 AI 기능의 가격 책정은 어떻게 작동하나요?

가격 책정은 토큰당 요금제를 기반으로 합니다. 토큰 사용은 쿼리의 복잡성과 입력 텍스트의 크기에 따라 달라집니다. 자세한 가격 정보는 Databricks 문서를 참조하세요.

Databricks AI SQL 기능은 어떤 지역에서 사용할 수 있나요?

현재 이러한 기능은 중앙 US, 동부 US, 동부 US 2, 북중앙 US를 포함한 특정 지역에서 사용할 수 있습니다. 항상 최신 Databricks 문서를 확인하여 최신 지역 지원을 확인하세요.

관련 질문

Databricks에서 감정 분석을 수행하는 대안은 무엇인가요?

Databricks SQL 기능이 나오기 전, 기업들은 몇 가지 옵션을 가지고 있었습니다. 하나는 데이터를 사용하여 맞춤형 분류 엔진을 만드는 모델을 처음부터 구축하는 것이었습니다. 또 다른 방법은 별도의 구독을 설정해야 하는 웹 서비스 호출을 사용하는 것이었으며, 이는 조직을 데이터 유출이나 다른 문제에 노출시킬 수 있었습니다.