Wie schneidet das LDR (Local Deep Research) von LearningCircuit mit Qwen 27B auf einem NVIDIA Spark ab?

Europas Bestreben nach Datensouveränität (dem Grundsatz, dass Daten den Gesetzen und Regulierungsstrukturen des Staates unterliegen, in dem sie erhoben werden) hat sich allmählich von einem regulatorischen Diskussionsthema zu einer operativen Strategie gewandelt. Angetrieben durch Bedenken hinsichtlich ausländischer Überwachungsgesetze (wie dem US Cloud Act) und der potenziellen rechtlichen Instabilität transatlantischer Datenabkommen gewinnt die Idee, von ausländischer Technologie abzuwandern, bei einer wachsenden Zahl europäischer Organisationen an Zuspruch.

Während massive IT-Migrationen im öffentlichen Sektor, wie das berüchtigte LiMux-Projekt in München, an komplexen Einführungen und bürokratischer Reibung scheiterten, muss moderne Datensouveränität nicht zwangsläufig eine vollständige Erneuerung der Infrastruktur erfordern.

Anstelle von risikoreichen, teuren Komplettmigrationen haben Unternehmen die Möglichkeit, lokalisierte Hardware wie einen NVIDIA DGX Spark oder eine DGX Station zu nutzen, um neue Arbeitsabläufe individuell, sicher und kosteneffizient zu verstehen und einzusetzen. Diese kompakten, leistungsstarken Systeme ermöglichen es Unternehmen, vor Ort zu testen, wie sich neue, souveräne KI-Anwendungen in bestehende Arbeitsabläufe integrieren lassen.

Sowohl für unser Unternehmen als auch für unsere Kunden ist das Thema “Deep Research” von Interesse, eine fortschrittliche KI-Funktion, die Ihnen in letzter Zeit vermutlich ebenfalls begegnet oder von Ihnen genutzt worden ist. Sie stellt einen Wandel von der einfachen Abfrage-Antwort-Suche hin zu einer autonomen, mehrstufigen Analyse-Engine dar.

Es folgt ein faszinierender, frustrierender und technischer Exkurs, in den ich mich kürzlich bei der Evaluierung begeben habe. Das lokale Tiefenrecherche-System (LDR) von LearningCircuit Kabelbaum.

Zusammenfassung: Der unvermeidliche Kontext von kommerzieller Software im Vergleich zu Open Source

Dimension	Lernschaltung LDR	Perplexity Pro / OpenAI / Google (kommerziell)
Datenverarbeitung und Datenschutz	Option zur vollständig lokalen Ausführung; keine Telemetrie- und Analysedaten; benutzerspezifische, AES-256-verschlüsselte SQLite-Datenbanken mit Zero-Knowledge-Architektur. Unabhängige Sicherheitsaudits der Docker-Builds durchgeführt über Trivy und Grype.	Anfragen werden auf einer proprietären Cloud-Infrastruktur verarbeitet; es gelten die Standardrichtlinien für SaaS-Telemetrie und Datenaufbewahrung.
Suchquellen und Abruf	25+ integrierte Quellen: arXiv, PubMed, Semantic Scholar, Wikipedia, SearXNG, GitHub, Wayback Machine sowie native RAG-Pipelines für private Dokumente.	Konzentrieren Sie sich auf Echtzeit-Websuche mit Inline-Zitate (Perplexity), mehrstufige Argumentationsketten (ChatGPT) oder Gemini-Wissensdatenbanken. Keine native private Dokumenteneingabe in großem Maßstab.
Modellflexibilität und Kosten	Hot-swappable lokale Inferenz (Ollama, llama.cpp) und über 10 Cloud-LLM-Anbieter über Umgebungsvariablen. Kostenlose MIT-Lizenz; Kosten fallen nur für optionale Cloud-API-Token an.	Beschränkt auf proprietäre Modellfamilien (GPT-, Gemini- sowie Claude/Perplexity-Modelle). Abonnementbasierte Preisgestaltung (~1 TP4T20–1 TP4T200/Monat) mit gebündelten Abfragelimits.
Erweiterbarkeit & Integration	Vollständige REST-API, LangChain-kompatible Vektorspeicher-Unterstützung (FAISS, Chroma, Pinecone usw.) sowie ein MCP-Server für lokale KI-Assistenten über STDIO-Transport.	Eingeschränkte oder proprietäre APIs; keine native LangChain-/MCP-Integration; optimiert für Endbenutzer-Webschnittstellen anstelle von Entwickler-Pipelines.
Leistung & Benchmarking	~95% SimpleQA-Genauigkeit mit Cloud-Modellen (GPT-4.1-mini) oder leistungsfähigen lokalen Modellen (z. B. Qwen3.6-27B). Von der Community gepflegte Hugging-Face-Ranglisten erfassen die Variabilität von Strategien und Modellen.	Kmerzielle Werkzeuge priorisieren Geschwindigkeit (Perplexity: 2–4 Min./Bericht), Zitiertransparenz und strukturierte Begründungstiefe. Konstante High-End-Genauigkeit ohne Hardwareabhängigkeit.

Installation von Local Deep Research auf dem DGX Spark

Die Einrichtung von Local Deep Research ist nicht trivial, aber auch nicht übermäßig kompliziert. Wenn Sie die Lösung vollständig intern betreiben und die Nutzung kommerzieller Such-APIs von Drittanbietern wie Tavily vermeiden möchten, müssen Sie Ihre eigene SearXNG-Instanz einrichten. Damit ist Ihnen bereits sehr geholfen, jedoch verzeichneten meine Docker-Protokolle dennoch zahlreiche Zeitüberschreitungen, Herausforderungen und Scraping-Sperren, die bei kostenpflichtigen Diensten schätzungsweise bis zu einem gewissen Grad gemildert würden.

SearXNG ist eine Metasuchmaschine. (was eigentlich einen eigenen Artikel verdient). Es muss weiterhin öffentliche Schnittstellen wie Google oder Bing abfragen, um Live-Webdaten abzurufen. Aus struktureller Notwendigkeit sendet es die Suchanfragen selbst an diese externen Dienste. Der architektonische Vorteil liegt jedoch in der Isolation: Anstatt dass eine einzige Drittanbieterplattform Ihren Unternehmens-API-Schlüssel, Benutzerprofile und die gesamte mehrstufige Deep-Research-Absicht verfolgt, aggregiert SearXNG identifizierende Tracker und entfernt diese. Sie berühren zwar nach wie vor das öffentliche Internet, können jedoch einen Teil der Kontrolle von der externen Profilerstellung abziehen.

Ergebnisse

Seit letzter Woche habe ich Dutzende tiefe Suchen mit diesem Local-Deep-Research-Setup durchgeführt. Einige Durchläufe wurden durch echtes Forschungsinteresse motiviert, während andere explizit dazu dienten, als Leistungs-Baselines zu dienen, um einige Grenzen beim Ausführen einer rekursiven Forschungsschleife lokal abzustecken.

Die Ergebnisse fallen gemischt aus.

LDR ist zweifellos ein hervorragendes Projekt mit recht tiefgreifenden Implikationen, sofern es sein Potenzial ausschöpfen kann. Um Missverständnissen vorzubeugen: Ich habe die Option “Kurzzusammenfassung” bei der Arbeit bereits mehrfach genutzt (jeder Durchlauf nahm auf meiner DGX Station zwischen 1 und 4 Stunden in Anspruch!), um mich schnell in regulatorische Fragestellungen einzuarbeiten oder Technologien zu bewerten, die umfassende Zitate erfordern. Wenn es gut funktioniert, ist es sehr nützlich.

Die Erfolge, die ich durch Local Deep Research (LDR) erzielt habe

Aus meiner Sicht empfand ich die Suche als erschöpfend. Noch wertvoller ist jedoch, dass ich bei jeder Anwendung aktiv lokale Intelligenz aufbaue.

Wenn LDR online Dokumente findet, die für meine Suche relevant sind, speichert und organisiert es diese automatisch und baut so eine interne Wissensbibliothek auf.

Umgekehrt besteht bei einem bereits vorhandenen Bestand an geistigem Eigentum eine große Wahrscheinlichkeit, dass LDR diesen direkt integrieren kann, sodass Sie Ihre proprietären Dateien nutzen können, um Ihre Forschungsfragen zu untermauern und zu rahmen. Darüber hinaus gibt es eine “Nachrichten”- und eine “Abonnement”-Funktion, die ich bisher noch nicht genutzt habe und die der Pflege flüchtigerer beziehungsweise aktueller Quellmaterialien dienen.

Die weniger erfreulichen Ergebnisse...

LDR schätzt es nicht, wenn ich mich als Beifahrer einmische.

Als ich versuchte, ihm genaue Anweisungen bezüglich der Stimme oder des Rahmens einer Rechercheaufgabe zu geben, hat es mich entweder komplett ignoriert oder Dokumente mit sehr wenig nützlichem Inhalt erstellt.

Derzeit schlagen viele meiner Aufrufe mit Qwen 3.8 27B gänzlich fehl und liefern keinerlei Recherchen, während 3.6 einwandfrei funktioniert hat. (Kurzer Einschub hierbei: Wenn man Qwen 3.8 mehr als die Hälfte (0.5) seines Kontextfensters zuweist, wird es extrem langsam.) Diese Art von Reibungsverlusten ist angesichts der Tatsache, dass wir uns an vorderster Front der Entwicklung befinden, bis zu einem gewissen Grad akzeptabel, aber das eigentliche Problem besteht darin, dass weder die Benutzeroberfläche noch die Protokolle beim Auftreten dieser Fehler nützliche Debugging-Informationen ausgegeben haben.

Schließlich – dies mag auf einen Anwenderfehler zurückzuführen sein – hatte ich deutlich mehr Erfolg mit allgemeinen, einfachen Fragen. Als eine sehr spezifische Anfrage zur Plugin-Architektur eines von mir verwendeten Frameworks fehlschlug, versuchte ich diese durch die Angabe eines Vergleichs zu präzisieren.

Der Agent nahm es wörtlich und lieferte drei Seiten Recherche zu der in dem Gleichnis erwähnten Technologie anstelle des eigentlichen Frameworks.

Zusammenfassung

Wenn es funktioniert und Sie ein mehrseitiges, datenreiches Dokument ohne verifizierbare Mängel erhalten, fühlt sich das tiefgreifend an, ähnlich wie meine ersten Interaktionen mit ChatGPT. Dämpfen Sie jedoch vorerst Ihre Erwartungen: Betrachten Sie es als ein äußerst nützliches Werkzeug und nicht als einen Dienst, der in der Lage ist, Absichten zu extrapolieren oder Nuancen in dem Maße zu erfassen, wie es modernste Tools vermögen.

Projekte in diesem Bereich entwickeln sich rasch. Es ist noch gar nicht allzu lange her, dass das UI-Paradigma für KI-Chat umstritten war; Entwickler-Frameworks und agentische Architekturen befinden sich derzeit eindeutig auf diesem Kontinuum. Deep Research als lokales, in sich geschlossenes Paradigma ist arguably noch im Entstehen begriffen. In der Zwischenzeit werde ich in das Open-Deep-Research-Repository von LangChain eintauchen, um zu sehen, wie deren LangGraph-Zustandsmaschinen-Ansatz dieselben Arbeitsabläufe handhabt, und um zu sehen, was ich sonst noch aus meiner nächsten Erkundung lernen kann.

Um Beispiele für die Arbeitsergebnisse zu sehen, besuchen Sie bitte mein Repository hier: https://github.com/mwolf-pi3g/harness-ldr

Dies ist keine vollständige Liste, verdeutlicht jedoch das Spektrum der Ergebnisse, die Sie erwarten können.