使用 Langchain 和 LLM 建立免費的本機 PDF 查詢工具

在現今以資料為中心的環境中，有效率地處理、總結和查詢 PDF 文件是一項無價的技能。本指南提供了開發您自己的應用程式以達到此目的的全面攻略。透過利用大型語言模型 (LLM) 以及 Langchain、Streamlit 和 Ollama 等工具的功能，您可以建立一個完全在本機上運作的解決方案。這可確保資料隱私，並移除與雲端平台相關的任何成本。此方法可讓您從自己的電腦私下有效地管理文件分析，釋放研究、商業洞察力和個人知識管理的新潛力。

重點

開發分析 PDF 文件的本機應用程式。

利用 Langchain 管理與大型語言模型的互動。

實作 Streamlit 以建立直覺的使用者介面。

使用 Ollama 直接在本機上執行 LLM。

處理文件摘要與查詢，並維護隱私。

應用「stuffing」和「map reduce」技術處理文件。

安裝和設定所有必要的軟體相依性。

調整應用程式以符合您的特定需求。

在本地進行所有文件分析，以確保資料安全。

利用開放原始碼、免成本的解決方案，將開支減至最低。

本地 LLM PDF 分析簡介

本機文件分析的力量

在日益注重資料安全性和成本管理的時代，在本機執行文件分析具有相當大的優勢。與基於雲端的替代方案不同，本機設定可將您的資訊安全地保存在您自己的系統中，讓您對您的資料擁有完全的權限。在您的個人電腦上執行大型語言模型，可讓您繞過外部供應商的持續費用，為持續使用創造財務上可行的選擇。整合 Langchain、Streamlit 和 Ollama 等工具有助於開發強大、適應性強且保密的文件分析系統。此策略對於處理私人資訊的領域特別有利，包括金融、醫療保健和法律服務，因為在這些領域中，保護資料是最重要的。

為何要建立您自己的 PDF 查詢應用程式？

開發您自己的 PDF 查詢應用程式有幾個核心優勢。首先，它提供了卓越的靈活性，使您能夠根據自己的確切需求自訂應用程式。您可以指定查詢類型、調整摘要的深度，並設計使用者介面以符合您的特定流程。其次，它透過在本機系統內儲存您的文件及其分析，保證了資料的機密性。這在處理敏感或專屬資訊時尤其重要。第三，它消除了對外部服務的依賴，賦予您對資料的完全控制權，降低了安全事故或服務中斷的威脅。此外，透過使用開放原始碼軟體，您可以避免昂貴的月費，並支援社群開發的專案。這種自己動手做的方法可以培養文件分析的自立能力，提升整體生產力和資料保護。Open WebUI 等功能允許上傳文件，但會分段處理。

核心技術與工具

Langchain：協調引擎

Langchain 是一個強大的框架，用來簡化大型語言模型的工作。它提供一系列工具和結構，可簡化由 LLM 驅動的應用程式建置。使用 Langchain，您可以有效率地處理提示、處理鏈和自動代理，讓您可以建構複雜的工作流程來處理文件、總結和發問。它的模組化架構可讓您結合各種元素，例如不同的 LLM、資料輸入和結果格式，使它在各種不同的情境下都能發揮極大的功能。Langchain 與本地 LLMs 的相容性以及管理複雜查詢的能力，使其成為私人和可自訂文件分析工具的完美基礎。它包含可程式化存取與管理大型語言模型的輔助函式。Langchain 提供 Python 與 JavaScript 兩種語言版本，以提供使用者彈性。

Streamlit：建立使用者介面

Streamlit 是一個開放原始碼的 Python 套件，可讓您直接建立用於機器學習和資料科學的客製化 Web 應用程式。您只需編寫很少的程式碼，就能開發互動式儀表板和使用者介面，使其成為展示文件分析應用程式功能的絕佳選擇。Streamlit 直觀的 API 可讓您以最少的程式碼整合輸入控制、顯示結果和產生圖表。它與 Python 的順暢相容性，以及在程式碼修改時立即刷新應用程式的功能，使其成為快速開發和啟動的高效工具。使用 Streamlit，您可以設計清晰的介面，讓使用者毫不費力地上傳檔案、輸入查詢資料，並檢查分析結果。這是一個用於建構互動式資料儀表板的 Python 函式庫。

Ollama：本地服務 LLM

Ollama 是為了簡化在本機電腦上執行大型語言模型而建立的實用程式。它讓下載、設定與服務 LLM 變得簡單直接，讓您無需依賴線上服務即可使用其功能。Ollama 可與 Llama 2 和 Mistral 等一系列 LLM 搭配使用，並提供簡單的 API 來與這些 LLM 進行通訊。透過使用 Ollama，您可以確認您的文件分析應用程式完全在內部運作，以保護您的資料，並消除對網際網路連線的需求。Ollama 能有效管理系統資源，並能在標準硬體上運作，使其成為長期使用的預算友好型選擇。Ollama 提供與 OpenAI 標準相容的 API。Ollama 可將模型託管以進行應用程式整合。

建立 PDF 查詢應用程式的步驟指南

安裝 Ollama 並下載 LLM

建立您的本機 PDF 查詢應用程式的初始階段是安裝 Ollama，Ollama 將成為在您的裝置上操作大型語言模型的核心。Ollama 簡化了獲取、配置和服務 LLM 的程序，讓您輕鬆開始本機文件分析。若要安裝 Ollama，請前往 Ollama 官方網站，取得適用於您作業系統的正確版本，例如 macOS 或 Linux。下載後，請遵守網站的安裝指引。安裝 Ollama 後，接下來的步驟就是取得 LLM。Ollama 與多種 LLM 相容，包括 Llama 2 和 Mistral。在本教程中，我們將使用 Mixtral，這是一個高效能的專家混合模型，其權重來自 Mistral AI 的公開資料。命令是ollama pull mixtral。請注意下載模型可能需要一些時間。

安裝相依性

要建立您的文件分析應用程式，您必須安裝許多相依性。這些包括 Langchain、Streamlit、PyPDF 及其他輔助套件。所需的依賴包有

• Langchain
• Streamlit
• PyPDF
• OpenAI (Ollama 整合需要)
• tiktoken
• python-dotenv

要安裝這些套件，請使用 pip 套件管理程式。建立新的虛擬環境，將專案的相依性與主要 Python 安裝隔離。使用虛擬環境有助於管理專案特定的函式庫，並避免與電腦上其他 Python 作業發生衝突。執行安裝腳本以取得相依性。

常見問題

什麼是 Langchain，它如何協助建立 PDF 查詢應用程式？

Langchain 是一個讓大型語言模型更容易運作的框架。它提供開發使用 LLMs 應用程式的工具和結構，包括組織提示、處理序列，以及文件處理、總結和查詢的自動化工具。

為何要選擇建立本機 PDF 查詢應用程式，而非使用雲端服務？

建立本機 PDF 查詢應用程式可提供優異的資料安全性、免除持續訂閱的費用，並賦予您對資訊的完全自主權。它可避免依賴外部供應商，並降低發生安全問題的可能性，因此非常適合管理機密資料。

我可以在此設定中使用不同的 LLM，還是只能使用 Llama 2 和 Mistral？

雖然本指南強調 Llama 2 和 Mistral，但 Ollama 支援各種 LLM。您可以根據您的特定需求和喜好，嘗試使用其他可用的機型，並將它們整合到您的應用程式中。

相關問題

Langchain 中的 'stuffing' 方法是如何進行文件摘要的？

填充 "方法的工作原理是將所有相關的文字放入查詢的上下文中，將每個文件合併為語言模型的單一提示。它將完整的文字直接饋送至 LLM，適用於完全符合模型處理限制的較小文件。填充」技術對於較短的文字效果很好。對於篇幅較長的文件，其他模型往往更有效率。

什麼是 'map reduce' 方法，它如何用於查詢文件？

地圖還原」方法是一個多階段的過程，它會逐一檢查每一頁，以找出相關資訊。它需要將文件分成多個部分，分別總結每個部分，然後將這些總結合併以獲得總結輸出。Map Reduce 更適合較大的檔案，或是某些文件區段需要更徹底調查的情況。要應用 Map Reduce 方法，首先要載入所有文件及其頁面。接下來，您會擷取這些頁面的文字內容，並執行查詢。