Konfiguration von Web-Such-APIs und Browsing-Plugins in AgentGPT für autonome Webrecherchen

Autonome KI-Agenten zeichnen sich durch ihre Fähigkeit aus, komplexe Zielsetzungen eigenständig in Teilaufgaben zu zerlegen, diese iterativ abzuarbeiten und aus Zwischenergebnissen zu lernen. Werden sie jedoch ausschließlich auf den statischen Trainingsdaten der zugrundeliegenden Sprachmodelle betrieben, scheitern sie an aktuellen Marktpreisen, neueren Bibliotheks-Dokumentationen und tagesaktuellen Meldungen. In AgentGPT—einer Open-Source-Plattform für die browserbasierte Bereitstellung autonomer Agenten—erfordert eine vollwertige Recherchefunktion daher die gezielte Anbindung externer Such-APIs und Parsing-Werkzeuge.

Ohne konfigurierte Webtrennstellen greift AgentGPT lediglich auf sein internes Modellwissen zurück, was rasch zu Halluzinationen und veralteten Aussagen führt. Sobald ein valider Suchschlüssel sowie Parsing-Mechanismen hinterlegt sind, formuliert der Agent eigenständig Suchanfragen, fragt Google-Suchergebnisse ab, analysiert externe Zielseiten und fasst die Resultate in strukturierten Berichten zusammen. Dieser Leitfaden erklärt Entwicklern und Forschern die Einrichtung der nativen Serper-Schnittstelle in Cloud- und Docker-Umgebungen, die Erweiterung des Backends um Volltext-Scraping und das Verfassen zielgerichteter Prompts zur Vermeidung von Aufgabenabdriften (Task Drift).

1. Wie AgentGPT mit dem Live-Web interagiert

Der Arbeitsablauf von AgentGPT basiert auf einer kontinuierlichen Schleife aus „Denken (Think), Planen (Plan), Ausführen (Act) und Bewerten (Evaluate)“. Bei einer komplexen Rechercheaufgabe (etwa der Analyse aktueller Preismodelle führender Vektordatenbanken im Jahr 2026) zerlegt der Agent die Vorgabe im Arbeitsspeicher in aufeinanderfolgende Teilschritte.

Benötigt ein Arbeitsschritt aktuelle Fakten, steuert AgentGPT über sein Python-Backend (platform/reworkd_platform/web/api/agent/tools/) eine modulare Werkzeugschicht an, die intern auf Werkzeug-Abstraktionen von LangChain aufbaut.

Warum Serper der native Standard ist

Das direkte Auslesen von Suchmaschinen-HTML mittels Headless-Browsern scheitert in der Praxis häufig an CAPTCHAs und dynamischen DOM-Strukturen. AgentGPT setzt daher standardmäßig auf Serper (serper.dev). Serper ist eine schnelle, programmierbare Google-Search-API, die saubere JSON-Antworten liefert:

• Organische Suchergebnis-Snippets und Seitentitel.
• Direkte Quell-URLs.
• Wissensdiagramme (Knowledge Graphs) und verwandte Fragestellungen.

Da das Sprachmodell vorstrukturierte JSON-Daten statt unübersichtlicher HTML-Bäume verarbeitet, wird das Token-Budget im Kontextfenster geschont und das Risiko von Blockaden durch Anti-Bot-Systeme eliminiert.

2. Schritt-für-Schritt-Konfiguration: Cloud-Weboberfläche vs. Docker

Die Aktivierung der Websuche richtet sich danach, ob die gehostete Weboberfläche genutzt oder das Open-Source-Repository lokal via Docker betrieben wird.

Methode A: Cloud-Weboberfläche (agentgpt.reworkd.ai)

1. API-Schlüssel beschaffen:
   • Registrieren Sie sich bei Serper, um einen kostenlosen API-Schlüssel zu erhalten (2.500 Freianfragen inklusive).
   • Halten Sie einen gültigen OpenAI-API-Schlüssel bereit.
2. Einstellungen öffnen: Klicken Sie in der linken Seitenleiste auf das Symbol Settings (Einstellungen).
3. Modell und Schlüssel eintragen:
   • Wählen Sie unter Model GPT-4 oder gpt-4o. Leistungsfähige Modelle entscheiden wesentlich zuverlässiger, wann ein Suchaufruf notwendig ist und wie die Fundstellen gewichtet werden müssen.
   • Tragen Sie Ihren OpenAI API Key ein.
   • Fügen Sie den erhaltenen Schlüssel in das Feld Serper API Key ein.
4. Schleifenlimit (Loop Limit) festlegen: Begrenzen Sie die Ausführung auf 5 bis 15 Iterationen. Dies stellt eine ausreichende Recherchetiefe sicher und unterbindet gleichzeitig Endlosschleifen.

Methode B: Lokales Deployment mit Docker

Wenn Sie AgentGPT auf eigenen Servern oder lokalen Entwicklungsrechnern ausführen:

1. Repository klonen:

   git clone https://github.com/reworkd/AgentGPT.git
   cd AgentGPT
   

2. Umgebungsdatei anlegen: Kopieren Sie die Vorlage im Hauptverzeichnis des Projekts:

   cp .env.example .env
   

3. Schlüssel und Grenzwerte hinterlegen: Öffnen Sie .env und stellen Sie sicher, dass folgende Kernvariablen gesetzt sind:

   # Basis-LLM
   OPENAI_API_KEY=sk-your-openai-api-key-here
   
   # Websuch-Integration
   SERPER_API_KEY=your-serper-api-key-here
   
   # Schleifenbegrenzung
   NEXT_PUBLIC_MAX_LOOPS=15
   REWORKD_PLATFORM_MAX_LOOPS=15
   

4. Container erstellen und starten: Führen Sie das automatisierte Installationsskript aus oder starten Sie die Container via Docker Compose:

   ./setup.sh
   # Oder manuell:
   docker compose up --build
   

   Nach dem Start ist die Benutzeroberfläche unter http://localhost:3000 erreichbar. Das FastAPI-Backend (Port 8000) liest die Variable SERPER_API_KEY automatisch ein und übergibt sie an das Suchmodul (search.py).

3. Erweiterung: Volltext-Browsing und Web-Scraping

Die von Serper gelieferten Textausschnitte (Snippets) umfassen in der Regel lediglich 150 bis 200 Zeichen. Wenn für eine tiefgehende Analyse vollständige Codebeispiele, API-Tabellen oder detaillierte Vertragsklauseln geprüft werden müssen, genügen reine Such-Snippets nicht.

Unterschied zwischen Suche und vollem Browsing

• Suche (Search): Ermittelt zügig relevante Ziel-URLs, die die Antwort enthalten könnten.
• Browsing / Scraping: Ruft die Ziel-URL direkt auf, extrahiert den Haupttext und filtert Stördaten heraus.

Implementierung eines benutzerdefinierten Browsing-Tools

Im Backend-Verzeichnis platform/reworkd_platform/web/api/agent/tools/ können Entwickler eigene Extraktionswerkzeuge definieren. Ein robustes Browsing-Tool erfordert:

1. Textbereinigung: Entfernen von Navigationsmenüs, Fußzeilen, Werbebannern und JavaScript-Elementen (z. B. via BeautifulSoup oder trafilatura).
2. Markdown-Konvertierung: Strukturieren der relevanten Absätze und Tabellen in kompaktes Markdown.
3. Kontextbegrenzung (Truncation): Begrenzen des Textes auf maximal 3.000 bis 4.000 Zeichen, um eine Überlastung des Modellkontextes zu verhindern.

Beispiel einer Python-Implementierung für ein solches Tool:

from pydantic import BaseModel, Field
import httpx
from bs4 import BeautifulSoup

class BrowseInput(BaseModel):
    url: str = Field(..., description="Die vollständige HTTPS-URL der zu lesenden Zielseite")

async def browse_page(url: str) -> str:
    headers = {"User-Agent": "AgentGPT-ResearchBot/1.0"}
    async with httpx.AsyncClient(timeout=10.0, follow_redirects=True) as client:
        response = await client.get(url, headers=headers)
        if response.status_code != 200:
            return f"Fehler: Seite antwortete mit HTTP-Statuscode {response.status_code}."
            
        soup = BeautifulSoup(response.text, "html.parser")
        
        # Nicht-textuelle Elemente entfernen
        for tag in soup(["script", "style", "nav", "footer", "header", "aside"]):
            tag.decompose()
            
        clean_text = soup.get_text(separator="\n", strip=True)
        # Textlänge begrenzen zur Schonung von Token-Ressourcen
        return clean_text[:4000]

Wird dieses Werkzeug parallel zu search.py registriert, entsteht eine vollständige Recherche-Pipeline: Der Agent identifiziert mit Serper Zielseiten, liest relevante Seiten über das Browsing-Tool aus und verfasst den Abschlussbericht.

4. Strukturierte Ziel-Prompts: Aufgabenabdriften (Task Drift) verhindern

Ein wiederkehrendes Problem autonomer Systeme ist das Aufgabenabdriften (Task Drift): Der Agent generiert immer spezifischere, nebensächliche Suchphrasen oder verharrt in redundanten Prüfschleifen. Präzise, mit klaren Grenzen versehene Ziel-Prompts schaffen hier Abhilfe.

Kriterien für verlässliche Recherche-Prompts

• Eindeutiges Untersuchungsobjekt: Spezifische Produkte, Versionsstände oder Kriterien benennen.
• Zeitlicher Bezug: Den Zeitrahmen verbindlich vorgeben (z. B. „Stand 2026“).
• Quellenpriorisierung: Den Vorzug offizieller Dokumentationen und Repositorien einfordern.
• Formatvorgabe: Die Ausgabe in Form von Markdown-Tabellen und prägnanten Stichpunkten anordnen.

Beispiel für einen wirksamen Recherche-Prompt

Agenten-Name: CloudArchitekturAnalyst
Ziel: Führe einen fundierten Kostenvergleich für Vektordatenbanken zwischen Pinecone, Qdrant Cloud und Weaviate Cloud durch.
1. Ermittle über die Websuche die aktuellen Freibeträge, Serverless-Lese-/Schreibpreise und Mindestclusterkosten für das Jahr 2026.
2. Prüfe die Abrechnungslogik für Speicherplatz und Abfrageeinheiten (Read/Write Units).
3. Beende nach der Datenerfassung aller drei Anbieter die Erstellung weiterer Teilaufgaben und fasse die Ergebnisse in einer Markdown-Vergleichstabelle mit offiziellen Quellenlinks zusammen.

Unter diesen Rahmenbedingungen führt AgentGPT die Recherche strukturiert aus:

• Teilaufgabe 1: Recherche der Pinecone-Serverless-Tarife und Abfrageeinheiten 2026.
• Teilaufgabe 2: Recherche der Qdrant-Cloud-Knotenpreise und Speichertarife.
• Teilaufgabe 3: Ermittlung der Weaviate-Cloud-Instanzkosten und Supportstufen.
• Teilaufgabe 4: Konsolidierung der Daten und Ausgabe der finalen Markdown-Tabelle.

5. Fehlersuche und Projektlebenszyklus

Wartungsstatus von AgentGPT

Im Januar 2026 wurde das offizielle Repository reworkd/AgentGPT durch die Entwickler archiviert und in den Read-Only-Modus versetzt. Reworkd konzentriert sich seither auf industrielle Weblösungen zur Datenextraktion. Obwohl AgentGPT keine neuen Funktions-Updates mehr erhält, dient die Architektur weiterhin als hervorragendes Referenzmodell für browsergestützte Agenten. Für moderne Produktivsysteme migrieren Entwickler diese Konzepte in der Regel auf Frameworks wie LangGraph oder CrewAI und kombinieren sie mit spezialisierten Scraping-Diensten wie Firecrawl.

Referenzen

• GitHub - reworkd/AgentGPT: 🤖 Assemble, configure, and deploy autonomous AI Agents in your browser. · GitHub
• Serper - The World's Fastest and Cheapest Google Search API
• LangChain Python integrations - Docs by LangChain