ИИ преобразует науку о данных: автоматизируйте свои SQL-запросы

В быстро развивающейся области науки о данных эффективность имеет решающее значение. Автоматизация повторяющихся задач освобождает ценное время для более глубокого анализа и разработки моделей. В этом руководстве объясняется, как использовать ИИ для автоматизации запросов к базе данных SQL, сокращая ручную работу, необходимую для извлечения и подготовки данных. Интегрируя ИИ в рабочие процессы SQL, специалисты по данным могут ускорить свои процессы, повысить точность и уделять больше времени выявлению значимых инсайтов. В этой статье представлен новый подход к решению этой задачи, демонстрирующий, как генеративный ИИ может повысить производительность ваших операций SQL.

Ключевые моменты

Изучите новый метод на основе ИИ для автоматизации запросов к базе данных SQL.

Узнайте, как настроить ИИ-агент для генерации и запуска кода SQL.

Узнайте, как использовать «AI Data Science Team» для доступа к готовым к использованию агентам ИИ.

Узнайте, как упростить рабочий процесс анализа данных за счет автоматизации задач SQL.

Научитесь активировать настройку агента с помощью ключа OpenAI.

Повышение эффективности: автоматизация SQL с помощью искусственного интеллекта

Сила автоматизированного SQL

Данные ученые часто посвящают большую часть своего рабочего дня написанию и запуску SQL-запросов. Этот ручной подход может быть медленным и подверженным ошибкам. Автоматизация SQL-запросов с помощью ИИ дает несколько ключевых преимуществ:

• Повышение эффективности: ИИ автоматически генерирует код SQL, что значительно экономит время специалистов по данным.
• Повышенная точность: агенты на базе ИИ помогают сократить количество ошибок в коде SQL.
• Более быстрый анализ данных: автоматизированные SQL-запросы ускоряют извлечение и анализ данных, ускоряя весь процесс работы с данными.
• Сосредоточение на аналитике: автоматизация задач SQL позволяет специалистам по данным сосредоточиться на более важной работе, такой как интерпретация данных, построение моделей и извлечение полезной аналитики.

В этой статье рассматриваются практические аспекты внедрения автоматизации SQL на основе ИИ и предлагается пошаговое руководство по настройке и использованию агента ИИ для взаимодействия с базами данных. Использование агента SQL для автоматизации запросов избавляет от утомительных аспектов написания кода SQL. Это позволяет сосредоточиться на таких областях, как машинное обучение и анализ данных, вместо генерации фактического кода SQL.

Представляем команду AI Data Science Team of Copilots

«Команда AI Data Science» — это проект, который предоставляет специалистам по данным доступ к готовым агентам искусственного интеллекта, предназначенным для автоматизации распространенных задач по работе с данными. Представьте, что у вас есть команда помощников с искусственным интеллектом, готовых обрабатывать различные части вашего рабочего процесса с данными!

Этот проект создан для повышения эффективности и производительности, что значительно ускоряет выполнение задач, связанных с данными.

• Агент по обработке данных: объединяет, соединяет и готовит данные для анализа.
• Агент по разработке функций: преобразует подготовленные данные в форматы, готовые для машинного обучения. Добавляет функции для улучшения предсказательной способности моделей машинного обучения.
• Агент очистки данных: выполняет этапы подготовки данных, такие как управление отсутствующими значениями, выбросами и преобразованиями типов данных.
• Агент базы данных SQL: подключается к базам данных SQL для импорта данных в среду data science. Создает конвейеры для автоматизации извлечения данных. Выполняет объединение, агрегирование и другие операции SQL.

Репозиторий GitHub: основой процесса автоматизации SQL на базе искусственного интеллекта является хорошо организованный репозиторий GitHub с почти 400 звездами, который служит центральным ресурсом для доступа к готовым агентам искусственного интеллекта. Он предоставляет различные инструменты, в том числе:

• Агент очистки данных
• Учебник по агенту SQL
• Агент базы данных SQL

Автоматизация взаимодействия SQL с агентом базы данных SQL

Агент базы данных SQL является центральной частью «команды AI Data Science»,

который обеспечивает удобный способ взаимодействия с базами данных SQL с помощью запросов на естественном языке. Этот агент избавляет специалистов по данным от необходимости вручную писать сложный код SQL. Была создана примерная база данных ERP для связывания базы данных клиентов и автоматизации рабочих процессов в области науки о данных. База данных предназначена для:

• Генерации кода запросов SQL.
• Создание функций Python для выполнения кода SQL.
• Запускать код агента на соединении SQL.

Пошаговое руководство: автоматизация SQL-запросов с помощью ИИ

Шаг 1. Настройка среды

Перед началом процесса автоматизации важно настроить среду с необходимыми инструментами и библиотеками.

1. Установите пакет AI Data Science Team:

   pip install git+https://github.com/business-science/ai-data-science-team.git --upgrade

   Эта команда устанавливает новейшую версию пакета «AI Data Science Team», предоставляя вам доступ к SQL Database Agent и другим готовым агентам искусственного интеллекта.

2. Импорт библиотек:

Для эффективного управления агентом убедитесь, что доступны следующие библиотеки:

from langchain_openai import ChatOpenAIimport pandas as pdimport sqlalchemy as sqlimport osimport yamlimport pprintfrom ai_data_science_team.agents import make_sql_database_agent

3. Установите соединение с базой данных: воспользуйтесь таким инструментом, как SQLAlchemy:

engine = sql.create_engine('sqlite:///'+PATH_ROOT+'/northwind.db')conn = engine.connect()

Шаг 2: Создание и настройка SQL-агента

Следующим шагом является создание и настройка SQL-агента для взаимодействия с базой данных.

Это включает настройку языковой модели и ключей API.

1. Настройка LLM: подключитесь к поставщику LLM, чтобы включить анализ кода. Вот пример:

   llm = ChatOpenAI(model = MODEL)

2. Настройка агента: для настройки агента необходим ключ OpenAI.

os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"os.environ["OPENAI_API_KEY"] = yaml.safe_load(open('./credentials.yml'))['openai']

Предупреждение: убедитесь, что вы настроили правильные учетные данные с вашим ключом OpenAI, чтобы избежать ошибок. Это сэкономит время, которое лучше потратить на улучшение моделей машинного обучения.

Шаг 3: Запуск SQL Agent и извлечение данных

После настройки SQL Agent вы можете запускать запросы и извлекать данные из базы данных.

Сначала подключите источник данных, чтобы извлечь данные.

1. Что находится в базе данных? Обычная задача — определить количество таблиц. Используйте следующий запрос:

   response = sql_agent.invoke({"user_instructions": "Какие таблицы находятся в базе данных?"})

   Агент создает базу данных SQL, чтобы помочь извлечь соответствующие таблицы.

2. Отображение ключа: Вы можете извлечь важные объекты, такие как:

   • Сообщения
   • SQL-база данных
   • Функция базы данных SQL

3. Создание фрейма данных: сгенерируйте фрейм данных, сохраненный в каталоге курса. Из этого ответа мы можем извлечь все данные из разных ключей.

Цены Open AI: понимание затрат

Соображения по использованию Open AI API.

Хотя автоматизация SQL-запросов с помощью AI предлагает значительные преимущества,

важно помнить о затратах, связанных с использованием LLM. OpenAI взимает плату в зависимости от использования токенов, которая может варьироваться в зависимости от сложности запроса и объема данных. Имейте в виду следующие стратегии ценообразования:

• Экономическая эффективность: выберите эффективную и бюджетную модель OpenAI, чтобы снизить затраты.
• Установите ограничения на токены: контролируйте использование OpenAI, чтобы не выйти за рамки бюджета.
• Ограниченные выборки: предоставьте достаточное количество выборок, чтобы запрос к базе данных работал правильно. Не всегда необходимо предоставлять все выборки.

SQL Agent: взвешивание вариантов

Плюсы

Автоматизирует процесс обработки данных.

Сокращает время настройки с помощью команды специалистов по данным.

Увеличивает объем выводимых данных.

Минусы

Может быть дорогостоящим из-за необходимости приобретения ключа OpenAI.

Примеры баз данных часто бывают большими, что требует времени для настройки под нужды пользователя.

Основные функции SQL Agent

Каковы основные функции SQL Agent

Вот основные функции SQL Agent:

• Код SQL-запроса: использует естественный язык для управления функциями SQL Agent.
• Функция Python: использует функции Python для запуска кода SQL, который можно сохранить в папке пользователя.
• Выполнение кода агента: запускает код на соединении SQL.

Часто задаваемые вопросы

Что такое SQL-агент?

SQL-агент — это инструмент искусственного интеллекта, который автоматизирует создание и выполнение запросов, сокращая рутинную работу и увеличивая количество полезной информации.

Каковы преимущества использования AI-Automated SQL?

Повышает производительность и точность. Позволяет сосредоточиться на анализе данных, моделировании машинного обучения и бизнес-аналитике.

Какой тип науки о данных мне нужен, чтобы начать использовать SQL Agent?

Ученый-специалист по генеративному искусственному интеллекту специализируется на генеративном искусственном интеллекте и LLM для науки о данных. Спрос на эту подгруппу растет.

Связанные вопросы

Как AI Copilots подключаются к SQL?

Такие компании, как OpenAI, NVIDIA, Walmart и Home Depot, подключают базы данных клиентов к крупным языковым моделям. Для настройки необходимо сконфигурировать крупную языковую модель, ключ OpenAI и ключ API.