在當今數據驅動的世界中，從網站中提取資訊對於商業情報、市場調查和競爭分析等各種目的來說至關重要。網頁抓取，即自動從網站中提取數據的過程，已成為一項重要工具。然而，傳統的網頁抓取方法通常需要複雜的編碼和因網站結構變化而進行的定期更新。這就是ScrapeGraphAI登場的時機——這是一款創新的開源Python庫，旨在通過利用大型語言模型（LLMs）的能力來改變網頁抓取的方式。

關鍵要點

• ScrapeGraphAI是一款簡化網頁抓取的開源Python庫。
• 它使用大型語言模型（LLMs）更有效地從網站中提取數據。
• 該工具通過適應網站的變化，減少了對持續開發者干預的需求。
• 它支持包括GPT、Gemini、Groq、Azure和Hugging Face在內的一系列LLMs。
• 安裝很簡單，只需使用pip，並建議使用虛擬環境。
• ScrapeGraphAI使用戶能夠以比傳統方法更少的代碼來抓取數據並提取特定資訊。
• 通過Ollama進行本地託管，提供了一個私密且高效的抓取環境。

了解網頁抓取及其演變

傳統網頁抓取時代

網頁抓取自1990年代末和2000年代初互聯網開始發展時就已存在。那時，抓取涉及從HTML頁面中提取數據的密集編碼。定制編碼對於導航不同的在線HTML結構至關重要。常用正則表達式來解析HTML數據，這既繁瑣又複雜。這種方法主要用於離線應用，需要手動更新才能上線。整個過程需要大量時間和專業知識，使其主要對於具備高級編碼技能的人可行。

隨著時間的推移，已經出現了許多工具和技術來簡化網頁抓取。Python憑藉其強大的庫生態系統，已成為此任務的首選語言。像Beautiful Soup和Scrapy這樣的庫提供了更結構化的數據提取方法，但適應變化的網站結構仍然是一個挑戰。

隨著大型語言模型（LLMs）的引入，這個領域已經發生了重大變化，它們自動化了傳統網頁抓取中的許多複雜性。讓我們來探索一款使這一切變得更簡單的工具。

介紹ScrapeGraphAI：重新構想網頁抓取

ScrapeGraphAI作為一個強大的解決方案，利用AI驅動的大型語言模型來自動化和簡化網頁抓取過程。這是一款設計用來革新我們如何進行網頁抓取的開源Python庫。

與通常依賴固定模式或手動調整的傳統網頁抓取工具不同，ScrapeGraphAI能夠適應網站結構的變化，最大限度地減少對持續開發者干預的需求。它通過整合大型語言模型（LLMs）和模塊化圖形基礎管道來自動化從各種來源抓取數據，脫穎而出。

與傳統抓取工具相比，這款庫提供了一個更靈活且維護成本更低的解決方案。它允許用戶輕鬆從HTML標記中提取特定資訊，無需大量編碼或處理複雜的正則表達式。你只需指定需要什麼資訊，ScrapeGraphAI就會處理剩下的部分。它支持多種LLMs，包括GPT、Gemini、Groq和Azure，以及可以使用Ollama在你的機器上運行的本地模型。

關鍵組件和架構

ScrapeGraphAI使用不同的解析節點來處理HTML中的所有節點。它使用搜索節點來定位HTML頁面內的特定區域。更聰明的圖形生成器管理所有HTML中的標記語言。

這裡是其架構的快速概述：

• 節點類型： ScrapeGraphAI使用各種解析節點來處理HTML的不同部分，包括條件節點、獲取節點、解析節點、Rag節點和搜索節點。這些節點啟用條件解析、數據獲取、內容解析以及在HTML結構內搜索相關資訊。
• 圖形生成器： ScrapeGraphAI的更聰明的圖形生成器通過處理所有HTML標記語言來簡化所需資訊的提取。
• 大型語言模型（LLMs）： ScrapeGraphAI支持如Gemini和OpenAI這樣的LLMs，利用它們的自然語言處理能力來高效提取數據。

該庫能夠手動定義圖形或讓LLM根據提示創建圖形，這增加了一層靈活性，以適應不同的用戶需求和項目要求。這種高層次架構使得實現複雜的抓取管道更加簡單，只需最少的編碼。

設置ScrapeGraphAI：安裝和配置

先決條件和安裝步驟

在深入使用ScrapeGraphAI之前，請確保你的系統符合必要的先決條件。

這裡是設置一切的詳細指南：

1. Python版本： ScrapeGraphAI需要Python 3.9或更高版本，但不超過3.12。通常Python 3.10就足夠了。
2. PIP： 確保你有最新版本的PIP，Python包安裝程序。你可以使用命令pip install --upgrade pip來更新它。
3. Ollama（可選）： 如果你計劃運行本地大型語言模型，你需要安裝Ollama。查看文檔以獲取詳細的安裝和設置說明。

一旦你確認了這些先決條件，安裝ScrapeGraphAI就很簡單了：

pip install scrapegraphai

強烈建議在虛擬環境（conda、venv等）中安裝ScrapeGraphAI，以避免與系統中的其他Python包發生衝突。

對於Windows用戶，你可以使用Windows子系統Linux（WSL）來安裝額外的庫。

選擇適當的大型語言模型

使用ScrapeGraphAI時，一個關鍵決定是選擇適合你網頁抓取需求的正確大型語言模型（LLM）。ScrapeGraphAI支持各種LLMs，每個都有其優勢和能力：

• OpenAI的GPT模型： GPT-3.5 Turbo和GPT-4是用於一般目的網頁抓取任務的強大選項。這些模型能夠有效理解並從不同的網站結構中提取資訊。
• Gemini： 提供先進的自然語言處理能力，使其適合複雜的數據提取任務。
• Groq： 以其速度和效率著稱，當你需要快速處理大量網絡數據時，Groq是一個優秀的選擇。
• Azure： 提供企業級的安全性和可擴展性，使其適合對數據隱私要求嚴格的組織。
• Hugging Face： 提供一系列開源LLMs，允許你為特定網頁抓取任務定制和微調模型。

對於那些關注數據隱私或成本的人，ScrapeGraphAI允許你使用Ollama運行本地LLMs。這種設置讓你能夠利用LLMs的力量，而不依賴外部服務。

實用範例：使用ScrapeGraphAI進行抓取

設置OpenAI模型

要連接並使用OpenAI模型，你需要導入必要的庫並設置你的API密鑰。以下是如何使用OpenAI的GPT模型配置ScrapeGraphAI的範例：

import os
from dotenv import load_dotenv
from scrapegraphai.graphs import SmartScraperGraph
from scrapegraphai.utils import prettify_exec_info
load_dotenv()
openai_key = os.getenv("OPENAI_APIKEY")
graph_config = {
"llm": {
"api_key": openai_key,
"model": "gpt-3.5-turbo",
}
}
使用提示、來源和配置初始化SmartScraperGraph
smart_scraper_graph = SmartScraperGraph(
prompt="列出所有項目及其標題和描述。",
source="https://perinim.github.io/projects/",
config=graph_config
)
運行SmartScraperGraph並儲存結果
result = smart_scraper_graph.run()
print(result)

在這個範例中，graph_config字典被定義來指定API密鑰和你希望使用的模型（gpt-3.5-turbo）。然後，SmartScraperGraph使用提示、來源URL和配置進行初始化。最後，調用run()方法來執行抓取過程並列印結果。

配置本地模型

對於本地模型，ScrapeGraphAI需要更多的配置，但仍然很簡單：

from scrapegraphai.graphs import SmartScraperGraph
from scrapegraphai.utils import prettify_exec_info
graph_config = {
"llm": {
"model": "ollama/llama3",
"temperature": 0.5,
"format": "json",
"model_tokens": 3500,
"base_url": "http://localhost:11434",
},
"embeddings": {
"model": "ollama/nomic-embed-text",
"base_url": "http://localhost:11434",
},
"verbose": True,
}
使用提示、來源和配置初始化SmartScraperGraph
smart_scraper_graph = SmartScraperGraph(
prompt="列出所有項目及其標題和描述。",
source="https://perinim.github.io/projects/",
config=graph_config
)
運行SmartScraperGraph並儲存結果
result = smart_scraper_graph.run()
print(result)

這個配置包括指定模型（ollama/llama3）、溫度、格式以及LLM和嵌入的基礎URL。你可以根據需要調整模型和其他參數，以適應你的特定網頁抓取需求。

了解成本和許可

開源性質

由於ScrapeGraphAI是一個開源庫，因此使用是免費的。你可以根據許可條款下載、修改和分發它。這種開放性鼓勵社區貢獻，並確保該庫對廣大受眾保持可訪問性。

然而，請記住，使用某些大型語言模型，如OpenAI的模型，可能會產生成本。OpenAI、Bardeen AI等採用基於令牌的定價模型。當你向LLM發送提示時，它會處理請求並生成響應。成本取決於提示和響應中使用的令牌數。因此，監控你的使用情況和管理你的API密鑰以避免意外費用至關重要。最好擁有自己的OpenAI API密鑰。

ScrapeGraphAI的優缺點

優點

• 使用LLMs簡化網頁抓取過程。
• 減少對持續維護和調整的需求。
• 支持各種大型語言模型。
• 提供本地LLM託管選項，以增強隱私和安全性。
• 通過圖形基礎管道增加靈活性和定制性。

缺點

• 使用外部LLM服務可能會產生成本。
• 依賴於選擇的LLM的準確性和能力。
• 需要對Python和虛擬環境有一些熟悉。
• 相對較新的庫，因此社區支持和文檔可能仍在增長。

關鍵功能

LLM整合

ScrapeGraphAI利用大型語言模型（LLMs）進行智能網頁抓取。它能夠自動檢測並適應網站結構的變化，減少對持續手動調整的需求。僅僅這一項功能就節省了大量的開發和維護時間。

圖形基礎管道

該庫採用模塊化圖形基礎管道，允許高效且結構化的數據提取。這些管道可以根據不同的網頁抓取場景進行定制，提供靈活性和對提取過程的控制。

支持多種LLMs

ScrapeGraphAI支持各種LLMs，包括GPT、Gemini、Groq、Azure和Hugging Face。這種支持使用戶能夠選擇最適合他們需求的模型，無論是用於一般目的抓取還是更專門的任務。

本地LLM託管

通過與Ollama的整合，ScrapeGraphAI允許你本地託管大型語言模型。這提供了一個安全且私密的網頁抓取環境，無需依賴外部服務。

ScrapeGraphAI的多樣化使用場景

電子商務商業情報

ScrapeGraphAI可用於監控產品價格、追蹤競爭對手的產品和收集客戶評論，為電子商務企業提供競爭優勢。通過自動化數據收集，企業可以做出數據驅動的決策來優化其策略。

投資者研究

投資者可以利用ScrapeGraphAI提取財務數據、分析公司新聞和監控市場趨勢。這些數據為投資者提供所需的洞察力，以做出明智的投資決策並有效管理風險。

行銷和競爭分析

行銷團隊可以使用ScrapeGraphAI收集客戶反饋、分析社交媒體趨勢和追蹤競爭對手策略。這些洞察力使行銷人員能夠創建針對性強的活動、優化內容並提高客戶參與度。

常見問題

什麼是ScrapeGraphAI？

ScrapeGraphAI是一款設計用來簡化和自動化使用大型語言模型（LLMs）進行網頁抓取的開源Python庫。它允許用戶更有效地從網站中提取數據，並減少手動編碼。

安裝ScrapeGraphAI的先決條件是什麼？

先決條件包括Python 3.9或更高版本（但不超過3.12）、PIP，以及可選的Ollama，用於運行本地LLMs。

如何安裝ScrapeGraphAI？

你可以使用PIP命令pip install scrapegraphai來安裝ScrapeGraphAI。建議在虛擬環境中安裝。

ScrapeGraphAI支持哪些大型語言模型？

ScrapeGraphAI支持GPT、Gemini、Groq、Azure、Hugging Face以及使用Ollama運行的本地模型。

如何配置ScrapeGraphAI以使用OpenAI的GPT模型？

你需要在graph_config字典中設置你的OpenAI API密鑰，並指定你想要使用的模型。

我可以免費使用ScrapeGraphAI嗎？

是的，ScrapeGraphAI是一個開源庫，使用是免費的。然而，使用某些LLMs如OpenAI的模型可能會根據令牌使用產生成本。

相關問題

ScrapeGraphAI與傳統網頁抓取工具相比如何？

ScrapeGraphAI利用AI驅動的大型語言模型，減少了由於網站結構變化而需要的持續手動調整。傳統工具通常需要更多的編碼和維護。ScrapeGraphAI能夠適應變化的網站結構，減少了對持續開發者干預的需求。這種靈活性確保了即使網站佈局改變，抓取器仍然可以正常工作。使用ScrapeGraphAI，你只需指定需要什麼資訊，該庫就會處理剩下的部分。傳統的網頁抓取方法自1990年代末和2000年代初互聯網開始成型時就已存在。那時，網頁抓取涉及從HTML網頁中提取數據的繁重編碼。正則表達式常用於解析HTML數據，這是一項繁瑣且複雜的任務。這種方法主要用於離線應用，需要開發人員手動將其上線。

使用ScrapeGraphAI時可以定義哪些類型的提示？

這個配置包括指定模型（ollama/llama3）、溫度、格式以及LLM和嵌入的基礎URL。你可以根據需要調整模型和其他參數，以適應你的特定網頁抓取需求。一些常見的提示如下：

• 列出所有項目及其標題和描述。
• 列出所有內容。