L'IA transforme la science des données : automatisez vos requêtes SQL

Dans le domaine en constante évolution de la science des données, l'efficacité est essentielle. L'automatisation des tâches répétitives libère un temps précieux qui peut être consacré à des analyses plus approfondies et au développement de modèles. Ce guide explique comment utiliser l'IA pour automatiser les requêtes de bases de données SQL, réduisant ainsi le travail manuel nécessaire à la récupération et à la préparation des données. En intégrant l'IA dans les workflows SQL, les data scientists peuvent accélérer leurs processus, améliorer la précision et consacrer plus de temps à la découverte d'informations pertinentes. Cet article présente une nouvelle approche de ce défi, démontrant comment l'IA générative peut stimuler la productivité de vos opérations SQL.

Points clés

Découvrez une nouvelle méthode basée sur l'IA pour automatiser les requêtes de bases de données SQL.

Découvrez comment configurer un agent IA pour générer et exécuter du code SQL.

Apprenez à utiliser l'« équipe de science des données IA » pour accéder à des agents IA prêts à l'emploi.

Découvrez comment simplifier votre workflow d'analyse de données en automatisant les tâches SQL.

Apprenez à activer la configuration de l'agent à l'aide de votre clé OpenAI.

Gagner en efficacité : automatiser le SQL grâce à l'IA

La puissance du SQL automatisé

Les data scientists consacrent souvent une grande partie de leur journée de travail à la rédaction et à l'exécution de requêtes SQL. Cette approche manuelle peut être lente et source d'erreurs. L'automatisation des requêtes SQL grâce à l'IA apporte plusieurs avantages clés :

• Une plus grande efficacité : l'IA génère automatiquement du code SQL, ce qui permet aux scientifiques des données de gagner un temps considérable.
• Précision accrue : les agents alimentés par l'IA contribuent à réduire les erreurs dans le code SQL.
• Analyse plus rapide des données : les requêtes SQL automatisées accélèrent la récupération et l'analyse des données, ce qui accélère l'ensemble du processus de science des données.
• Concentration sur les informations : l'automatisation des tâches SQL permet aux scientifiques des données de se concentrer sur des tâches à plus forte valeur ajoutée, telles que l'interprétation des données, la création de modèles et l'extraction d'informations exploitables.

Cet article explore l'aspect pratique de la mise en œuvre de l'automatisation SQL basée sur l'IA, en proposant un guide étape par étape pour configurer et utiliser un agent IA pour les interactions avec les bases de données. L'utilisation d'un agent SQL pour automatiser les requêtes élimine les aspects fastidieux de l'écriture de code SQL. Elle vous permet de vous concentrer sur des domaines tels que l'apprentissage automatique et l'analyse des données plutôt que sur la génération du code SQL proprement dit.

Présentation de l'équipe de science des données IA de Copilots

L'« équipe de science des données IA » est un projet qui permet aux scientifiques des données d'accéder à des agents IA préconfigurés conçus pour automatiser les tâches courantes liées aux données. Imaginez disposer d'une équipe d'assistants IA prêts à gérer différentes parties de votre flux de travail lié aux données !

Ce projet a été conçu pour améliorer l'efficacité et augmenter la productivité, en accélérant considérablement les tâches liées aux données.

• Agent de traitement des données : fusionne, joint et prépare les données pour l'analyse.
• Agent d'ingénierie des fonctionnalités : transforme les données préparées en formats prêts pour l'apprentissage automatique. Ajoute des fonctionnalités pour améliorer la puissance prédictive des modèles d'apprentissage automatique.
• Agent de nettoyage des données : gère les étapes de préparation des données telles que la gestion des valeurs manquantes, des valeurs aberrantes et des conversions de types de données.
• Agent de base de données SQL : se connecte aux bases de données SQL pour importer des données dans l'environnement de science des données. Crée des pipelines pour automatiser l'extraction des données. Effectue des jointures, des agrégations et d'autres opérations SQL.

Référentiel GitHub : le processus d'automatisation SQL basé sur l'IA repose sur un référentiel GitHub bien organisé, qui compte près de 400 étoiles et sert de ressource centrale pour accéder aux agents IA pré-intégrés. Il fournit divers outils, notamment :

• Agent de nettoyage des données
• Tutoriel sur l'agent SQL
• Agent de base de données SQL

Automatisation des interactions SQL avec l'agent de base de données SQL

L'agent de base de données SQL est un élément central de l'« équipe de science des données IA »,

qui permet d'interagir facilement avec les bases de données SQL à l'aide de requêtes en langage naturel. Cet agent évite aux data scientists d'avoir à écrire manuellement du code SQL complexe. Une base de données ERP exemple a été créée pour relier la base de données clients et automatiser les workflows de science des données. La base de données est conçue pour :

• Générer du code de requête SQL.
• Créer des fonctions Python pour exécuter le code SQL.
• Exécuter le code de l'agent sur la connexion SQL.

Guide étape par étape : automatisation des requêtes SQL avec l'IA

Étape 1 : configuration de votre environnement

Avant de commencer le processus d'automatisation, il est important de configurer votre environnement avec les outils et bibliothèques requis.

1. Installez le package AI Data Science Team :

   pip install git+https://github.com/business-science/ai-data-science-team.git --upgrade

   Cette commande installe la dernière version du package « AI Data Science Team », vous donnant accès à l'agent de base de données SQL et à d'autres agents IA pré-intégrés.

2. Importez les bibliothèques :

Pour gérer efficacement l'agent, assurez-vous que ces bibliothèques sont disponibles :

from langchain_openai import ChatOpenAIimport pandas as pdimport sqlalchemy as sqlimport osimport yamlimport pprintfrom ai_data_science_team.agents import make_sql_database_agent

3. Établir une connexion à la base de données : Utilisez un outil tel que SQLAlchemy pour vous aider :

engine = sql.create_engine('sqlite:///'+PATH_ROOT+'/northwind.db')conn = engine.connect()

Étape 2 : Création et configuration de l'agent SQL

L'étape suivante consiste à créer et à configurer l'agent SQL pour l'interaction avec la base de données.

Cela implique la configuration du modèle linguistique et des clés API.

1. Configurer le LLM : connectez-vous à un fournisseur LLM pour activer l'analyse de code. Voici un exemple :

   llm = ChatOpenAI(model = MODEL)

2. Configurer l'agent : vous avez besoin d'une clé OpenAI pour activer la configuration de l'agent.

os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"os.environ["OPENAI_API_KEY"] = yaml.safe_load(open('./credentials.yml'))['openai']

Avertissement : veillez à configurer les informations d'identification appropriées avec votre clé OpenAI afin d'éviter toute erreur. Cela vous permettra de gagner du temps que vous pourrez consacrer à l'amélioration des modèles d'apprentissage automatique.

Étape 3 : Exécution de l'agent SQL et récupération des données

Une fois SQL Agent configuré, vous pouvez désormais exécuter des requêtes et récupérer des données depuis votre base de données.

Commencez par connecter votre source de données pour récupérer les données.

1. Que contient la base de données ? Une tâche courante consiste à identifier le nombre de tables. Utilisez cette invite :

   response = sql_agent.invoke({"user_instructions": "Quelles tables se trouvent dans la base de données ?"})

   L'agent crée une base de données SQL pour aider à récupérer les tables pertinentes.

2. Afficher la clé : Vous pouvez extraire des objets importants tels que :

   • Messages
   • Base de données SQL
   • Fonction de base de données SQL

3. Créer un cadre de données : générez un cadre de données enregistré dans un répertoire de cours. À partir de cette réponse, nous pouvons extraire toutes les données des différentes clés.

Tarification Open AI : comprendre les coûts

Considérations relatives à l'utilisation de l'API Open AI.

Si l'automatisation des requêtes SQL à l'aide de l'IA offre des avantages majeurs,

il est important d'être conscient des coûts liés à l'utilisation des LLM. OpenAI facture en fonction de l'utilisation des jetons, qui peut varier en fonction de la complexité de la requête et de la taille des données. Gardez à l'esprit ces stratégies de tarification :

• Rentabilité : choisissez un modèle OpenAI efficace et économique pour limiter les coûts.
• Définissez des limites de jetons : contrôlez l'utilisation d'OpenAI pour rester dans les limites de votre budget.
• Échantillons limités : fournissez suffisamment d'échantillons pour que la requête de base de données fonctionne correctement. Vous n'avez pas toujours besoin de fournir tous les échantillons.

SQL Agent : peser le pour et le contre

Avantages

Automatise le pipeline d'ingénierie des données.

Réduit le temps de configuration avec l'équipe de science des données.

Augmente le rendement des données.

Inconvénients

Peut être coûteux en raison de la clé OpenAI requise.

Les bases de données d'échantillons sont souvent volumineuses, ce qui nécessite du temps pour les configurer en fonction des besoins des utilisateurs.

Principales fonctionnalités de SQL Agent

Quelles sont les principales fonctionnalités de SQL Agent ?

Voici les fonctionnalités principales de SQL Agent :

• Code de requête SQL : utilise le langage naturel pour guider les fonctions de SQL Agent.
• Fonction Python : utilise des fonctions Python pour exécuter du code SQL qui peut être enregistré dans le dossier de l'utilisateur.
• Exécute le code de l'agent : exécute le code sur la connexion SQL.

FAQ

Qu'est-ce qu'un agent SQL ?

Un agent SQL est un outil d'IA qui automatise la création et l'exécution de requêtes, réduisant ainsi les tâches routinières et augmentant les informations exploitables.

Quels sont les avantages de l'utilisation du SQL automatisé par l'IA ?

Améliore la productivité et la précision. Vous permet de vous concentrer sur l'analyse des données, la modélisation ML et les informations commerciales.

Quel type de science des données dois-je maîtriser pour commencer à utiliser un agent SQL ?

Un data scientist spécialisé en IA générative est expert en IA générative et en LLM pour la science des données. Ce sous-ensemble est de plus en plus demandé.

Questions connexes

Comment les copilotes IA se connectent-ils à SQL ?

Des entreprises telles que OpenAI, NVIDIA, Walmart et Home Depot connectent les bases de données clients à de grands modèles linguistiques. Pour mettre cela en place, vous devez configurer le grand modèle linguistique, la clé OpenAI et la clé API.