База данных Azure SQL Database интегрирует векторный поиск для приложений искусственного интеллекта

Искусственный интеллект меняет целые отрасли, и векторы занимают центральное место во многих инновациях в области ИИ. Теперь Azure SQL Database интегрирует эту технологию непосредственно в слой данных, позволяя вам более эффективно создавать решения в области ИИ. Узнайте, как новые возможности векторов могут изменить ваш подход к работе с данными и ИИ.

Ключевые моменты

Azure SQL Database представляет векторные функции для поддержки приложений, основанных на искусственном интеллекте.

С помощью этих функций можно хранить векторы и работать с ними непосредственно в базе данных.

Они упрощают создание функций ИИ, таких как системы семантического поиска.

Подключите Azure SQL Database к Azure OpenAI и другим службам с помощью конечных точек REST API.

Векторные функции доступны уже сейчас в предварительной версии для ранних пользователей.

Понимание векторных функций в Azure SQL Database

Что такое векторные функции?

Векторные функции в Azure SQL Database предоставляют новые инструменты для рабочих нагрузок ИИ, обеспечивая прямое хранение и манипулирование данными в векторной форме.

Векторы очень важны для ИИ, поскольку они представляют данные в формате, который модели машинного обучения используют для выявления закономерностей и взаимосвязей. Обычно они хранятся в базе данных в виде оптимизированных двоичных данных. Отзывы клиентов выявили потребность в нативной обработке векторов в SQL, чтобы ускорить внедрение ИИ. Эти функции упрощают выполнение таких задач, как:

• Семантический поиск: Поиск информации на основе концептуального смысла вместо буквального совпадения текста.
• Рекомендательные движки: Предлагают пользователям релевантные элементы или контент.
• Обнаружение аномалий: Выявление выбросов или необычных точек данных.

Наличие векторных операций, встроенных в Azure SQL Database, устраняет необходимость во внешних базах данных векторов или сложных конвейерах данных. Такая интеграция позволяет ускорить разработку и повысить производительность.

Почему векторные функции меняют ситуацию с ИИ

Добавление векторных функций в Azure SQL Database представляет собой важный шаг в объединении ИИ с управлением данными. Сохранение векторных вложений в структурированных данных дает множество преимуществ:

• Упрощенная архитектура: Снижение сложности за счет размещения данных и обработки ИИ в одном месте.
• Повышенная производительность: Сокращение задержек благодаря отсутствию необходимости перемещения данных между системами.
• Повышенная безопасность: Сохранение конфиденциальной информации в защищенной среде Azure SQL Database.

Эти усовершенствования особенно ценны для предприятий, стремящихся интегрировать ИИ в текущие приложения без перестройки инфраструктуры. Выполнение векторных вычислений непосредственно в SQL позволяет создавать более отзывчивые и адаптируемые решения в области ИИ.

Практические применения векторных функций

Механизм рекомендации подарков

Рассмотрим реальный пример: создание системы рекомендаций подарков. Сначала используйте Azure OpenAI через процедуру sp_invoke_external_rest_endpoint, чтобы превратить описания товаров в векторные вкрапления.

Эти вкрапления содержат семантический контент описаний. Затем векторы хранятся в Azure SQL Database.

Когда пользователь ищет подарок, преобразуйте его запрос в вектор. Используйте функции расстояния (например, косинусоидальное расстояние), чтобы найти товары с векторами, наиболее похожими на запрос. Это обеспечивает систематический способ реализации искусственного интеллекта.

Например:

SELECT TOP(50) id, product_name, [description], vector_distance('cosine', embeddings, @embedding) AS distanceFROM dbo.walmart_ecommerce_product_detailsWHERE category like '%Toys%'ORDER BY distance;

Этот метод семантического поиска часто сочетается с традиционным поиском по ключевым словам для достижения наилучших результатов.

Шаги по внедрению векторной системы рекомендаций подарков

Выполните следующие шаги, чтобы создать векторную систему рекомендаций подарков:

1. Настройте конечную точку REST: Настройте хранимую процедуру sp_invoke_external_rest_endpoint для взаимодействия с API OpenAI. Возможность вызывать OpenAI и обрабатывать описания очень важна.
2. Создайте векторные данные: Модель будет обрабатывать образцы текста типа 'King', 'Queen' или 'Pizza'.
3. Загрузить векторы в базу данных: Импортируйте векторные данные в вашу базу данных для запроса.
4. Получение результатов встраивания: Используйте dbo.get_embeddings для преобразования текста во вставку и сохранения ее в виде вектора.

declare @embedding varbinary(8000); EXEC dbo.get_embeddings @model = 'embeddings', @text = 'King', @embedding = @king output;

Этот процесс преобразует ваши описания в оптимизированный двоичный формат, подходящий для обработки искусственным интеллектом.

Улучшение SQL-запросов с помощью гибридного поиска

Чтобы повысить точность поиска, используйте стратегию гибридного поиска. Комбинируйте векторный поиск со стандартными SQL-запросами для получения оптимальных результатов.

Например, используйте общедоступный набор данных, такой как каталог товаров Walmart. Определите параметры, включая:

• ID
• название продукта
• Описание
• расстояние между векторами

Вы можете выбрать эти параметры и с помощью естественного языка.

Этот метод обеспечивает большую гибкость и поддерживает более широкий спектр SEO-ключевых слов в запросах к базе данных.

Как использовать векторные функции в Azure SQL Database

Создание и проверка векторов

Начните с генерации векторов с помощью функции JSON_ARRAY_TO_VECTOR. Она преобразует массив JSON в двоичный формат, оптимизированный для хранения векторов.

DECLARE @v varbinary(8000) = eap.JSON_ARRAY_TO_VECTOR('[1, 2, 3]');SELECT isVector(@v);

Затем проверьте вектор с помощью функции isVector.

SELECT vect as is_vector, isVector(vect, 3) as is_vector_3, isVector(vect, 4) as is_vector_4, vector_to_JSON_array(vect) as vect_string, vector_dimensions(vect) as vect_dimensionsFROM (VALUES (eap.JSON_ARRAY_TO_VECTOR('[1, 2, 3]')) ) T(vect);

Система должна подтвердить, что вектор содержит корректные двоичные данные.

Поиск сходства с помощью векторного расстояния

Чтобы измерить сходство между двумя векторами, используйте функцию vector_distance. Эта новая функция позволяет эффективно искать подходящие идеи для подарков.

DECLARE @king varbinary(8000), @queen varbinary(8000), @pizza varbinary(8000);EXEC dbo.get_embeddings @model = 'embeddings', @text = 'King', @embedding = @king output;EXEC dbo.get_embeddings @model = 'embeddings', @text = 'Queen', @embedding = @queen output;EXEC dbo.get_embeddings @model = 'embeddings', @text = 'Pizza', @embedding = @pizza output;SELECT v1.name, v2.name, vector_distance('cosine', v1.embedding, v2.embedding) as distanceFROM #t AS v1CROSS JOIN #t AS v2WHERE v1.name = 'Queen'ORDER BY distance;

Эта возможность позволяет ИИ выявлять связи между описаниями и параметрами в вашей базе данных. Поскольку ИИ интерпретирует информацию в числовом виде, эти функции помогают соединить ваши данные с числовым пониманием ИИ.

Ценообразование и доступность Azure SQL Database

Понимание последствий затрат

Azure SQL Database предлагает несколько ценовых уровней для удовлетворения различных требований и бюджетов. Стоимость обычно зависит от:

• Вычислительных ресурсов: Количество vCore и памяти, выделенных вашему экземпляру.
• Хранилище: Объем потребляемых данных и резервного хранения.
• Сетевые ресурсы: Данные, передаваемые в базу данных и из нее.

При использовании векторных функций учитывайте вычислительные мощности, необходимые для выполнения векторных операций, особенно при работе с большими наборами данных. Оптимизируйте запросы и индексирование, чтобы контролировать расходы. Актуальную информацию см. в официальной документации по ценообразованию Azure SQL Database.

Взвешивание плюсов и минусов векторных функций

Плюсы

Упрощает интеграцию ИИ.

Повышение производительности

Более надежная защита данных

Гибкость модели

Минусы

Начальный период обучения.

Требуется оптимизация запросов.

Большее потребление памяти

Основные возможности

База данных SQL: Что это такое?

Microsoft SQL Database - это реляционная система управления базами данных (РСУБД), созданная компанией Microsoft. Она поддерживает различные рабочие нагрузки, включая обработку транзакций, бизнес-аналитику и аналитику в корпоративных ИТ-средах.

Microsoft SQL Server входит в тройку лучших платформ баз данных. Azure предоставляет несколько вариантов развертывания SQL Server:

• SQL Server на виртуальных машинах Azure: Обеспечивает полный контроль над виртуальной машиной для размещения приложений.
• Azure SQL Managed Instance: Предоставляет большинство возможностей SQL-сервера в качестве управляемой службы, сводя к минимуму административные задачи.
• Azure SQL Database: Полностью управляемая служба баз данных с широкими функциональными возможностями и масштабируемостью.

Поскольку базы данных SQL используются во многих приложениях, эти векторные функции могут быть полезны для многих отраслей.

Основные компоненты базы данных SQL

Ключевые особенности базы данных включают:

• Инструменты для импорта, анализа и создания отчетов по данным, хранящимся вне базы данных SQL.
• Новые функции T-SQL, позволяющие взаимодействовать с облачными хранилищами, такими как Azure Blob storage и HDFS.
• Среда управления и разработки с графическим интерфейсом для доступа к функциям службы. SQL Server Management Studio часто упоминается в качестве веской причины для выбора решения Microsoft для работы с базами данных. SSMS предлагает более полный набор инструментов.

Изучите примеры использования Azure SQL Database с векторными функциями

Рекомендации по товарам в электронной коммерции

Предлагайте сопутствующие товары, анализируя действия пользователей и информацию о товарах. Соедините поисковые запросы пользователей с атрибутами продукта, чтобы рекомендовать похожие товары. Это может увеличить продажи и повысить эффективность SEO.

Персонализация контента

Персонализация контента с учетом индивидуальных предпочтений пользователей в сфере медиа и развлечений. Персонализация SEO на основе исторических данных пользователя и данных искусственного интеллекта.

Системы обнаружения мошенничества

Выявляйте подозрительные финансовые операции по мере их совершения. Используйте искусственный интеллект для выявления мошеннических схем в режиме реального времени, чтобы повысить безопасность и предотвратить мошенничество.

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

Как получить доступ к закрытому предварительному просмотру?

Перейдите по ссылке в описании этой статьи, чтобы зарегистрироваться для получения раннего доступа к закрытой предварительной версии функций вектора. Ранние пользователи смогут интегрировать и тестировать новую функциональность.

Нужна ли мне специальная редакция Azure SQL Database для использования векторных функций?

Подробные требования будут указаны в документации к частной предварительной версии. Проверьте документацию на предмет спецификаций базы данных.

Можно ли использовать векторные функции в существующей базе данных Azure SQL Database?

Для использования векторных функций может потребоваться обновление или изменение настроек базы данных. Дополнительные сведения о конфигурации будут доступны в документации.

Что происходит с векторными вложениями, размер которых превышает 8000 байт?

Хотя векторные функции изначально поддерживают векторы размером до 8000 байт, некоторым приложениям могут потребоваться более крупные вложения. В таких ситуациях можно распределить вектор по нескольким столбцам или разработать собственные решения для хранения.

Связанные вопросы

Что такое вкрапление?

В машинном обучении вкрапление - это низкоразмерное пространство, в которое отображаются высокоразмерные векторы. Например, простая вставка может представлять города США с помощью двумерных координат (x, y). Задача состоит в том, чтобы сохранить отношения между исходными векторами в геометрии пространства встраивания. Реализации в реальном мире требуют сложной математики. Например, создание вкрапления слов, отображающего 10 000 общеупотребительных английских слов в 300 измерений, предполагает обработку обширных текстовых массивов (например, Википедии или новостных архивов) с помощью алгоритмов машинного обучения. Эти алгоритмы определяют слова, которые часто встречаются рядом с каждым целевым словом. Затем с помощью уменьшения размерности эти векторы слов проецируются в 300-мерное пространство встраивания. При таком встраивании такие слова, как "король" и "королева", располагаются близко друг к другу, а "пицца" - дальше. Таким образом, пространственное расположение вкраплений отражает семантические отношения между словами.