Suche in der lokalen Wissensdatenbank – Skill (kb-retriever)

Erläuterungen zum Wissensdatenbankverzeichnis

• Die Wissensdatenbank ist in einem Stammverzeichnis abgelegt und enthält verschiedene Dateitypen (z. B. .md/.txt、.pdf、.xlsx usw.) und ist in der Regel nach Typ oder Verwendungszweck in mehrstufige Unterverzeichnisse unterteilt.
• Die Dateien werden in einer hierarchischen Verzeichnisstruktur indiziert:
  • Im Stammverzeichnis befindet sich eine data_structure.md, in der die wichtigsten „Bereichsverzeichnisse“ und deren Verwendungszweck beschrieben werden.
  • Jedes Fachverzeichnis kann ein eigenes data_structure.md, in dem aufgeführt ist, welche Unterverzeichnisse/Dateien sich in diesem Verzeichnis befinden und welchem Zweck sie jeweils dienen.
  • Auch Unterverzeichnisse auf tieferer Ebene können wiederum data_structure.mdund bilden so eine mehrstufige Verzeichnisstruktur.
• Konvention für das Stammverzeichnis der Wissensdatenbank:
  • Standardmäßig wird davon ausgegangen, dass sich die Wissensdatenbank im Verzeichnis knowledge/ .
  • Wenn der Benutzer im Dialog ausdrücklich einen anderen Pfad angibt (z. B. „Meine Wissensdatenbank befindet sich unter /data/kb“ oder „Verwende den Ordner ./docs als Wissensdatenbank“), gilt der vom Benutzer angegebene Pfad als Stammverzeichnis.
  • Wenn der Standardpfad knowledge/ nicht vorhanden ist oder der Zugriff fehlschlägt, sollte der Benutzer nach dem tatsächlichen Speicherort des Stammverzeichnisses der Wissensdatenbank gefragt werden, anstatt willkürliche Vermutungen anzustellen.
• Einzelne Geschäftsdokumente können sehr groß sein:
  • Lesen Sie nicht direkt die gesamte Datei mit „Read“
  • Verwenden Sie für PDF- und Excel-Dateien die entsprechenden Skills zur Strukturierung und führen Sie anschließend mithilfe von grep oder lokalem Lesen eine detaillierte Suche durch

Lokalisierung knowledge Stammverzeichnis

• Stammverzeichnis: Bevorzugt die Angaben des Benutzers: Wenn der Benutzer einen Pfad angibt (z. B. ./docs、./knowledge-personal), wird direkt der vom Benutzer angegebene Pfad verwendet.
• Standard-Stammverzeichnis: Andernfalls gilt als Stammverzeichnis das Verzeichnis knowledge/。
  • Exprimite mit der Shell prüfen, ob das Verzeichnis existiert: Vorzugsweise test -d knowledgeverwendet, oder alternativ ls -d knowledge。
  • Hinweis: Die Verwendung von Glob "knowledge" in . solcher Muster zur Feststellung, ob ein Verzeichnis existiert,Glob da dabei nur der Dateipfad zurückgegeben wird, nicht das Verzeichnis selbst; ein leeres Ergebnis lässt keine Unterscheidung zwischen „Verzeichnis existiert nicht“ und „Verzeichnis existiert, ist aber leer“ zu.
• Erst wenn das Stammverzeichnis bereits durch test -d bestätigt wurde, sollte man mit Glob nach Inhalten in diesem Verzeichnis suchen und das Verzeichnis als path, zum Beispiel:
  • Indexdatei:pattern="**/data_structure.md", path="knowledge"
  • Alle Markdown-Dateien:pattern="**/*.md", path="knowledge"
• Wenn standardmäßig knowledge/ nicht vorhanden ist (test -d Fehler): Versuchen Sie nicht, andere Verzeichnisse zu erraten, sondern teilen Sie dem Benutzer ausdrücklich mit, dass das Standard-Stammverzeichnis nicht gefunden wurde, und lassen Sie ihn den tatsächlichen Pfad zur Wissensdatenbank angeben.

Grundprinzip: Erst lernen, dann verarbeiten

Obligatorische Checkliste beim Auftreten von PDF- oder Excel-Dateien:

• ✅ Die entsprechenden Referenzdokumente zur Verarbeitungsmethode wurden gelesen
• ✅ Die empfohlenen Tools und Befehle wurden verstanden
• ✅ Die Verarbeitung der Datei (Extrahieren/Konvertieren) ist abgeschlossen
• ⏭️ Jetzt kann mit der Recherche begonnen werden

Verbotene Vorgehensweisen:

• ❌ Versuchen Sie nicht, PDF-Dateien zu verarbeiten, ohne zuvor die Datei „pdf_reading.md“ gelesen zu haben
• ❌ Versuchen, Excel-Dateien direkt zu verarbeiten, ohne zuvor die Datei „excel_reading.md“ gelesen zu haben
• ❌ Die Dateiverarbeitungsschritte überspringen und direkt eine Suche in den Original-PDF- bzw. Excel-Dateien durchführen

Gesamtablauf

1. Benutzeranforderungen verstehen

   • Benutzeranfrage lesen und Folgendes extrahieren:
     • Themen-/Fachschlüsselwörter (z. B. „Verkaufsberichte“, „Systemarchitektur“, „Schnittstellendokumentation“)
     • Zeitliche oder bereichsbezogene Einschränkungen (z. B. „1. Quartal 2023“, „neueste Version“)
     • Gewünschte Ausgabeform (Erläuterung, Zusammenfassung, konkrete Feldwerte usw.)
   • Ermitteln des Stammverzeichnisses der Wissensdatenbank:
     • Zunächst prüfen, ob der Nutzer in seiner Frage einen Pfad zur Wissensdatenbank angegeben hat.
     • Andernfalls wird das Standard-Stammverzeichnis verwendet knowledge/。
     • Sollte das Standard-Stammverzeichnis nicht vorhanden sein oder die Verzeichnisstruktur fehlerhaft sein, sollte der Benutzer um Bestätigung gebeten werden, anstatt eigene Annahmen zu treffen.

2. Anzeige des Verzeichnisindexes in Hierarchieebenen data_structure.md

   • Verwenden Sie das Konzept eines „aktuellen Arbeitsverzeichnisses“:
     • Standardmäßig wird vom vom Benutzer angegebenen Stammverzeichnis der Wissensdatenbank ausgegangen; hat der Benutzer nichts angegeben, wird das aktuelle Verzeichnis verwendet.
   • Wenn im aktuellen Arbeitsverzeichnis eine Datei data_structure.md：
     • Lesen Sie die ersten paar Zeilen der Datei mit „Read“ ein (z. B. limit=300) und lesen Sie bei Bedarf in Abschnitten weiter.
     • Ziel:
       • Ermitteln, welche Unterverzeichnisse und Dateien sich im aktuellen Verzeichnis befinden
       • die Zweckbeschreibungen der einzelnen Unterverzeichnisse/Dateien zu verstehen
     • Ausgehend von der Benutzeranfrage werden die relevantesten Unterverzeichnisse oder Dateien ausgewählt, um eine Kandidatenmenge zu bilden.
   • Für die Unterverzeichnisse der Kandidatenliste:
     • Rekursiv in diesen Unterordner wechseln, ihn als neuen „aktuellen Arbeitsordner“ festlegen und die Suche darin fortsetzen data_structure.md und wiederholen den oben beschriebenen Vorgang.
     • Vermeiden Sie es während des rekursiven Durchlaufs, alle Verzweigungen auf einmal zu durchforsten, und verfolgen Sie vorrangig den Pfad, der für das Problem am relevantesten ist.
   • Für die in Frage kommenden Geschäftsdokumente (MD/Text, PDF, Excel usw.):
     • Nach Abschluss der erforderlichen Durchsuchung der Verzeichnisebenen werden diese Dateien in einer endgültigen Liste der Suchtreffer zusammengefasst.
   • Bei der Priorisierung:
     • Wählen Sie vorrangig Bereichsverzeichnisse und Dateien aus, deren Verwendungszweck in hohem Maße mit dem Thema des Problems übereinstimmt.
     • Berücksichtigen Sie an zweiter Stelle Einschränkungen wie Zeit oder Version (sofern diese im Index erfasst sind)
     • Allgemeine Anleitungen (z. B. README.md, Dokumente zur Gesamtkonzeption) erhalten eine niedrigere Priorität

3. Lernen Sie die Methoden zur Dateiverarbeitung (zwingend anzuwenden bei PDF- und Excel-Dateien)

   • Vor der Verarbeitung von PDF-Dateien:
     • Lesen Sie zunächst unbedingt die Datei „references/pdf_reading.md“ (beachten Sie, dass sich dieses Verzeichnis im Verzeichnis „Skills“ und nicht im Verzeichnis „Knowledge“ befindet). Lernen Sie die Methoden zur Extraktion kennen
     • Schwerpunkt: Der Befehl „pdftotext“, die Verwendung von „pdfplumber“ und Methoden zur Tabellen-Extraktion
   • Vor der Bearbeitung von Excel-Dateien:
     • Lesen Sie zunächst die Datei „references/excel_reading.md“, um die Auslesemethoden zu erlernen
     • Lesen Sie zunächst die Datei „references/excel_analysis.md“, um die Analysemethoden zu erlernen
     • Wichtige Inhalte: Einlesen mit pandas, Spaltenauswahl, Datenfilterung
   • Ziel: Sicherstellen, dass die richtigen Werkzeuge und Methoden verwendet werden, um eine blindes Durchsuchen zu vermeiden

4. Führen Sie die Verarbeitung und das Abrufen entsprechend dem Dateityp durch

   • Verarbeiten Sie die Dateien mit den gerade erlernten Methoden (Extrahieren, Konvertieren, Strukturieren)
   • Für jede Kategorie von in Frage kommenden Dateien die folgenden Strategien anwenden: „Markdown/Text“, „PDF“, „Excel“
   • Allgemeiner Grundsatz:
     • Beginnen Sie vorrangig mit den relevantesten und präzisesten Dokumenten
     • Führen Sie in jeder Datei schrittweise eine partielle Suche durch, um zu vermeiden, dass der gesamte Inhalt auf einmal geladen wird
     • Wenn die aktuelle Datei keine zufriedenstellenden Informationen liefert, wechsle zur nächsten in Frage kommenden Datei

5. Iterative Suche

   • Für alle Dokumenttypen wird ein einheitlicher „Mehrrunden-Iterationsmechanismus“ verwendet (siehe oben: Allgemeine Suchprinzipien)

6. Antwortgestaltung und Quellenangabe

   • Der aus mehreren Suchrunden gewonnene Kontext wird zusammengefasst, um die Frage des Nutzers umfassend zu beantworten.
   • Soweit möglich:
     • klare und direkte Antworten zu geben
     • die Namen der verwendeten Dokumente angeben (ggf. einschließlich der ungefähren Position, z. B. Kapitel oder ungefähre Zeilen-/Seitenzahl)
   • Falls die Antwort auf Vermutungen beruht oder die Informationen unvollständig sind:
     • Weisen Sie ausdrücklich auf Annahmen und Unsicherheiten hin
     • Weisen Sie den Nutzer darauf hin, dass er den Dokumentbereich oder die Stichwörter konkretisieren kann

Grundsätze der öffentlichen Recherche

Strategie zur Auswahl von Schlüsselwörtern

• 3–8 Schlüsselwörter aus der Nutzeranfrage extrahieren (einschließlich möglicher englischer Abkürzungen, Synonyme sowie Ober- und Unterbegriffe)
• Kombinierbare Wortgruppen (z. B. „Verkaufsberichte“, „API-Timeout“)
• Bei Bedarf Fachbegriffe, technische Begriffe und gängige Abkürzungen einbeziehen (z. B. „uv“, „pv“, „GMV“)

Grundprinzipien der grep-Suche

• Geben Sie stets möglichst präzise „include“- und „path“-Angaben an, um eine Suche im gesamten Verzeichnis zu vermeiden
• Versuchen Sie bei „pattern“, zunächst die Kernbegriffe und Fachbegriffe aus der Anfrage zu verwenden, bevor Sie auf Synonyme zurückgreifen
• Lesen Sie bei jedem Treffer nur den lokalen Bereich in der Nähe der Übereinstimmung (einige Zeilen darüber und darunter)
• Speichern Sie „Dateiname + Positionsangabe + Textausschnitt“

Mehrstufiger iterativer Suchmechanismus (maximal 5 Durchläufe)

Für alle Dateitypen wird eine einheitliche Iterationsstrategie angewendet:

1. Iterationssteuerung
   • Führt einen Zähler für die „Anzahl der Suchversuche“ (maximal 5)
   • Der Zähler wird nach jeder Suche erhöht
2. Ablauf einer Iterationsrunde
   1. Erstellung/Aktualisierung von Suchbegriffen auf Basis der Anfrage (kann Synonyme und erweiterte Begriffe enthalten)
   2. Auswahl von Dateien oder Dateiteilen, die noch nicht ausreichend durchsucht wurden
   3. Durchführung der Suche (grep/lokales Auslesen/Aufruf eines speziellen Skills)
   4. Analyse der gewonnenen Kontextfragmente
   5. Beurteilung, ob diese zur Beantwortung der Frage ausreichen
3. Abbruchkriterien
   • Es wurde ausreichend Kontext gefunden, der die Antwort stützt; oder
   • Nach 5 Versuchen wurden noch keine geeigneten Informationen gefunden
4. Vorgehensweise bei unzureichenden Informationen
   • Den Nutzer ausdrücklich darüber informieren, dass Informationen fehlen oder möglicherweise nicht in der aktuellen Wissensdatenbank enthalten sind
   • Die am ehesten passende Information bereitstellen und die Unsicherheit erläutern
   • Dem Nutzer Hinweise geben, wie er die Suche eingrenzen kann (konkretere Dateinamen, Stichwörter, Zeitrahmen usw.)

Zu beachtende Punkte

• Es ist verboten, beim ersten Mal direkt folgende Aufrufe zu verwenden:Glob "knowledge" in . oder jegliche Aufrufe, die versuchen, die Existenz eines Verzeichnisses mit „Glob“ zu prüfen; die Existenz eines Verzeichnisses sollte über einen Shell-Befehl (z. B. test -d) überprüft werden.
• Bei der Abfrage der Wissensdatenbank mit diesem Skill ist die Verwendung anderer Tools wie der Internetsuche zum Abrufen von Wissen untersagt

Konkrete Richtlinien für verschiedene Dateitypen

1. Markdown-/Textdateien (.md, .txt, .log usw.)

1. Auswahl der in Frage kommenden Dateien

   • Basierend auf data_structure.md dem Dateinamen und dem Pfad
   • Vorrangige Suche nach Titeln und Dokumenten mit Inhaltsverzeichnis (z. B. Zusammenfassungsdokumente, Designübersichten)

2. Lokalisierung und partielles Einlesen mit grep

   • Verwendung des Grep-Tools für bestimmte Kandidatendateien, wobei mit „include“ bestimmte Dateiendungen (z. B. „*.md“) eingeschränkt werden
   • Bei Dateien mit Übereinstimmungen wird mit „Read“ nur der lokale Bereich um die Übereinstimmung herum gelesen:
     • Steuerung des Lesevorgangs über Zeilenversatz und „limit“ (z. B. jeweils einige Dutzend Zeilen vor und nach der übereinstimmenden Zeile lesen)
     • Vermeiden Sie das Einlesen der gesamten Datei

3. Spezielle Behandlung

   • Wenn der Inhalt lediglich aus einem Inhaltsverzeichnis oder einer Überschrift besteht, wird anhand von Links oder Abschnittsnamen die Suche im Inhalt fortgesetzt
   • Anwendung des „mehrstufigen iterativen Suchmechanismus“ (siehe oben unter „Allgemeine Suchprinzipien“)

2. Suchstrategie für PDF-Dateien

Arbeitsablauf:

1. Zunächst: Lesen Sie die Anleitung zur Verarbeitung

   • Bevor Sie eine PDF-Datei bearbeiten, müssen Sie zunächst die Datei „references/pdf_reading.md“ lesen (beachten Sie, dass sich dieses Verzeichnis im Ordner „Skills“ und nicht im Ordner „Knowledge“ befindet)
   • Wichtige Informationen: Der Befehl „pdftotext“, die Verwendung von „pdfplumber“, Methoden zur Tabellenextraktion und die Schnellentscheidungstabelle

2. Auswahl der in Frage kommenden PDF-Dateien

   • Wählen Sie gemäß data_structure.md Wählen Sie die 1–3 relevantesten Dateien aus
   • Wenn der Benutzer eine bestimmte PDF-Datei angibt, wird diese vorrangig verwendet

3. Wenden Sie die erlernten Methoden zur Textextraktion an

   • Verwenden Sie die in pdf_reading.md empfohlenen Tools (vorrangig pdftotext oder pdfplumber)
   • Wichtig: Verwenden Sie pdftotext input.pdf output.txt den Text in eine Datei extrahieren, nicht direkt über stdout ausgeben (um den Verbrauch einer großen Anzahl von Tokens zu vermeiden)
   • Zum Extrahieren von Tabellen die Tabellen-Extraktionsfunktion von pdfplumber verwenden

4. Führen Sie eine Suche in den extrahierten Ergebnissen durch

   • Führen Sie mit `grep` eine Stichwortsuche im extrahierten Text durch
   • Extrahieren Sie für jeden Treffer den Kontext im Umfeld des Treffers (die obigen und unteren Dutzend Zeilen oder die benachbarten Seiten)
   • Speichern Sie „Dateiname + Seitenzahl/ungefähre Position + Textausschnitt“
   • Wenden Sie den „Mehrrunden-Iterationsmechanismus“ an (siehe oben unter „Allgemeine Suchprinzipien“)

3. Strategie zur Suche in Excel-Dateien

Ablauf:

1. Zunächst: Leitfaden zur Verarbeitungsmethode lesen

   • Bevor Sie eine Excel-Datei bearbeiten, müssen Sie zunächst Folgendes lesen:
     • references/excel_reading.md – Erfahren Sie, wie man Arbeitsblätter ausliest (beachten Sie, dass sich dieses Verzeichnis im Verzeichnis „Skills“ und nicht im Verzeichnis „Knowledge“ befindet)
     • references/excel_analysis.md – Hier erfahren Sie, wie Sie Daten analysieren (beachten Sie, dass sich dieser Ordner im Verzeichnis „Skills“ und nicht im Verzeichnis „Knowledge“ befindet)
   • Besondere Schwerpunkte: pandas-Leseverfahren, Spaltenauswahl, Datenfilterung, Aggregationsoperationen

2. Auswahl einer geeigneten Excel-Datei

   • Anhand data_structure.md und der Benennung der Dateien/Arbeitsblätter die relevanteste Tabelle auswählen
   • Bevorzugen Sie Arbeitsmappen/Arbeitsblätter, die Schlüsselwörter wie „Bericht“, „Statistik“, „Protokoll“, „Konfiguration“ oder „Zuordnung“ enthalten
   • Wenn der Benutzer eine bestimmte Excel-Datei angibt, wird diese Datei vorrangig verwendet

3. Wenden Sie die erlernten Methoden an, um die Struktur zu erkunden

   • Lese mit pandas die ersten 10–50 Zeilen ein (unter Berücksichtigung von nrows Parameterbegrenzung)
   • Schwerpunkt: Spaltennamen/Feldnamen, Datentypen (Zahlen, Datumsangaben, Text), Schlüsselfelder
   • Vergleiche die Spaltennamen mit den Fragen des Benutzers, um potenzielle Schlüsselfelder zu identifizieren (z. B. „Einkommen“, „Umsatz“, „error_code“ usw.)

4. Datenabfrage und -analyse durchführen

   • Filtern und Aggregieren mit den erlernten pandas-Methoden (z. B. df[df['column'] == value]）
   • Lesen Sie jeweils nur die Daten in der Nähe der übereinstimmenden Zeilen ein, um zu vermeiden, dass die gesamte Tabelle auf einmal eingelesen wird
   • Wenn die Frage einen Zeitrahmen enthält, fügen Sie bei der Abfrage einen Zeitfilter hinzu
   • Anwendung des „Mehrrundigen Iterationsabfrageverfahrens“ (siehe oben unter „Allgemeine Abfrageprinzipien“)

Zusammenarbeit mit anderen Tools

PDF-Verarbeitung

• Vor der Bearbeitung von PDF-Dateien muss zunächst die Datei „references/pdf_reading.md“ gelesen werden, um die Vorgehensweise zu erlernen
• Verwenden Sie pdfplumber/pypdf zur Textextraktion, Tabellenextraktion und zum Auslesen von Metadaten
• Für eine schnelle Textextraktion sollte vorzugsweise das Befehlszeilentool „pdftotext“ verwendet werden

Excel-Verarbeitung

• Bevor Sie Excel-Dateien verarbeiten, müssen Sie unbedingt folgende Datei lesen:
  • references/excel_reading.md – hier erfahren Sie, wie das Einlesen funktioniert
  • references/excel_analysis.md – Erlernen der Analysemethoden
• Verwenden Sie pandas zur Datenexploration, Vorschau, Filterung und Analyse

Grundsätze zur Verwendung der Tools

• Grep: Dient zum Suchen von Zeilennummern und übereinstimmenden Fragmenten anhand von Schlüsselwörtern in einer bestimmten Datei; geben Sie stets möglichst genaue „include“- und „path“-Angaben an
• Read: Dient ausschließlich zum partiellen Einlesen von Dateien; legen Sie stets einen angemessenen „limit“-Wert (z. B. 200–500 Zeilen) und einen geeigneten Offset fest
• Bei Dateien, die möglicherweise sehr groß sind:
  • Darf nicht direkt von Anfang bis Ende gelesen werden
  • Schränken Sie den Umfang stets zunächst durch Indizes, Verzeichnisse, Schlüsselwörter usw. ein, bevor Sie mit dem Lesen beginnen

Antwortstil und Fehlerbehandlung

• Antwortstil
  • Antworten Sie möglichst in der Sprache der Nutzerfrage (Chinesisch/Englisch).
  • Geben Sie zunächst die Schlussfolgerung an, gefolgt von einer kurzen Begründung.
  • Falls erforderlich, können Sie anschließend die zitierten Dokumente und deren ungefähre Position angeben, zum Beispiel:
    • Quelle: design/api_gateway.md, etwa in Zeile 100
    • Quelle: reports/2023_Q1_sales.xlsx, Arbeitsblatt „Summary“
• Bei fehlenden oder ungewissen Informationen
  • Geben Sie deutlich an, dass in der aktuellen Wissensdatenbank keine vollständig übereinstimmenden Informationen gefunden wurden oder die Frage nur teilweise beantwortet werden kann.
  • Erfinden Sie keine Fakten.
  • Geben Sie dem Nutzer Hinweise, wie er die Suche eingrenzen kann:
    • Geben Sie spezifischere Verzeichnisse/Dateien an
    • Geben Sie präzisere Schlüsselwörter oder Feldnamen an
    • einen Zeit- bzw. Versionsbereich angeben