{"id":32097,"date":"2026-08-30T15:37:36","date_gmt":"2026-08-30T13:37:36","guid":{"rendered":"https:\/\/pi3g.com\/?p=32097"},"modified":"2026-08-30T15:37:39","modified_gmt":"2026-08-30T13:37:39","slug":"how-does-learningcircuits-ldr-local-deep-research-perform-with-qwen-27b-on-an-nvidia-spark","status":"publish","type":"post","link":"https:\/\/pi3g.com\/de\/how-does-learningcircuits-ldr-local-deep-research-perform-with-qwen-27b-on-an-nvidia-spark\/","title":{"rendered":"Wie schneidet das LDR (Local Deep Research) von LearningCircuit mit Qwen 27B auf einem NVIDIA Spark ab?"},"content":{"rendered":"<p class=\"wp-block-paragraph\">Europas Bestreben nach Datensouver\u00e4nit\u00e4t (dem Grundsatz, dass Daten den Gesetzen und Regulierungsstrukturen des Staates unterliegen, in dem sie erhoben werden) hat sich allm\u00e4hlich von einem regulatorischen Diskussionsthema zu einer operativen Strategie gewandelt. Angetrieben durch Bedenken hinsichtlich ausl\u00e4ndischer \u00dcberwachungsgesetze (wie dem US Cloud Act) und der potenziellen rechtlichen Instabilit\u00e4t transatlantischer Datenabkommen gewinnt die Idee, von ausl\u00e4ndischer Technologie abzuwandern, bei einer wachsenden Zahl europ\u00e4ischer Organisationen an Zuspruch.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">W\u00e4hrend massive IT-Migrationen im \u00f6ffentlichen Sektor, wie das ber\u00fcchtigte LiMux-Projekt in M\u00fcnchen, an komplexen Einf\u00fchrungen und b\u00fcrokratischer Reibung scheiterten, muss moderne Datensouver\u00e4nit\u00e4t nicht zwangsl\u00e4ufig eine vollst\u00e4ndige Erneuerung der Infrastruktur erfordern. <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Anstelle von risikoreichen, teuren Komplettmigrationen haben Unternehmen die M\u00f6glichkeit, lokalisierte Hardware wie einen NVIDIA DGX Spark oder eine DGX Station zu nutzen, um neue Arbeitsabl\u00e4ufe individuell, sicher und kosteneffizient zu verstehen und einzusetzen. Diese kompakten, leistungsstarken Systeme erm\u00f6glichen es Unternehmen, vor Ort zu testen, wie sich neue, souver\u00e4ne KI-Anwendungen in bestehende Arbeitsabl\u00e4ufe integrieren lassen.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Sowohl f\u00fcr unser Unternehmen als auch f\u00fcr unsere Kunden ist das Thema \u201cDeep Research\u201d von Interesse, eine fortschrittliche KI-Funktion, die Ihnen in letzter Zeit vermutlich ebenfalls begegnet oder von Ihnen genutzt worden ist. Sie stellt einen Wandel von der einfachen Abfrage-Antwort-Suche hin zu einer autonomen, mehrstufigen Analyse-Engine dar. <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Es folgt ein faszinierender, frustrierender und technischer Exkurs, in den ich mich k\u00fcrzlich bei der Evaluierung begeben habe. <a href=\"https:\/\/github.com\/LearningCircuit\/local-deep-research\" target=\"_blank\" rel=\"noopener\">Das lokale Tiefenrecherche-System (LDR) von LearningCircuit<\/a> Kabelbaum.<\/p>\n\n\n\n<div class=\"wp-block-buttons is-content-justification-center is-layout-flex wp-container-core-buttons-is-layout-fe48e5de wp-block-buttons-is-layout-flex\">\n<div class=\"wp-block-button\"><a class=\"wp-block-button__link wp-element-button\" href=\"\/de\/kontakt\/\">Kontaktieren Sie pi3g, um LLM-Inferenzserver wie den Nvidia Spark und die Station zu kaufen.<\/a><\/div>\n<\/div>\n\n\n\n<p class=\"wp-block-paragraph\">Zusammenfassung: Der unvermeidliche Kontext von kommerzieller Software im Vergleich zu Open Source<\/p>\n\n\n\n<figure class=\"wp-block-table\"><table class=\"has-fixed-layout\"><tbody><tr><th>Dimension<\/th><th>Lernschaltung LDR<\/th><th>Perplexity Pro \/ OpenAI \/ Google (kommerziell)<\/th><\/tr><tr><td><strong>Datenverarbeitung und Datenschutz<\/strong><\/td><td>Option zur vollst\u00e4ndig lokalen Ausf\u00fchrung; keine Telemetrie- und Analysedaten; benutzerspezifische, AES-256-verschl\u00fcsselte SQLite-Datenbanken mit Zero-Knowledge-Architektur. Unabh\u00e4ngige Sicherheitsaudits der Docker-Builds durchgef\u00fchrt \u00fcber Trivy und Grype.<\/td><td>Anfragen werden auf einer propriet\u00e4ren Cloud-Infrastruktur verarbeitet; es gelten die Standardrichtlinien f\u00fcr SaaS-Telemetrie und Datenaufbewahrung.<\/td><\/tr><tr><td><strong>Suchquellen und Abruf<\/strong><\/td><td>25+ integrierte Quellen: arXiv, PubMed, Semantic Scholar, Wikipedia, SearXNG, GitHub, Wayback Machine sowie native RAG-Pipelines f\u00fcr private Dokumente.<\/td><td>Konzentrieren Sie sich auf Echtzeit-Websuche mit Inline-Zitate (Perplexity), mehrstufige Argumentationsketten (ChatGPT) oder Gemini-Wissensdatenbanken. Keine native private Dokumenteneingabe in gro\u00dfem Ma\u00dfstab.<\/td><\/tr><tr><td><strong>Modellflexibilit\u00e4t und Kosten<\/strong><\/td><td>Hot-swappable lokale Inferenz (Ollama, llama.cpp) und \u00fcber 10 Cloud-LLM-Anbieter \u00fcber Umgebungsvariablen. Kostenlose MIT-Lizenz; Kosten fallen nur f\u00fcr optionale Cloud-API-Token an.<\/td><td>Beschr\u00e4nkt auf propriet\u00e4re Modellfamilien (GPT-, Gemini- sowie Claude\/Perplexity-Modelle). Abonnementbasierte Preisgestaltung (~1 TP4T20\u20131 TP4T200\/Monat) mit geb\u00fcndelten Abfragelimits.<\/td><\/tr><tr><td><strong>Erweiterbarkeit &amp; Integration<\/strong><\/td><td>Vollst\u00e4ndige REST-API, LangChain-kompatible Vektorspeicher-Unterst\u00fctzung (FAISS, Chroma, Pinecone usw.) sowie ein MCP-Server f\u00fcr lokale KI-Assistenten \u00fcber STDIO-Transport.<\/td><td>Eingeschr\u00e4nkte oder propriet\u00e4re APIs; keine native LangChain-\/MCP-Integration; optimiert f\u00fcr Endbenutzer-Webschnittstellen anstelle von Entwickler-Pipelines.<\/td><\/tr><tr><td><strong>Leistung &amp; Benchmarking<\/strong><\/td><td>~95% SimpleQA-Genauigkeit mit Cloud-Modellen (GPT-4.1-mini) oder leistungsf\u00e4higen lokalen Modellen (z. B. Qwen3.6-27B). Von der Community gepflegte Hugging-Face-Ranglisten erfassen die Variabilit\u00e4t von Strategien und Modellen.<\/td><td>Kmerzielle Werkzeuge priorisieren Geschwindigkeit (Perplexity: 2\u20134 Min.\/Bericht), Zitiertransparenz und strukturierte Begr\u00fcndungstiefe. Konstante High-End-Genauigkeit ohne Hardwareabh\u00e4ngigkeit.<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n<h3 class=\"wp-block-heading\">Installation von Local Deep Research auf dem DGX Spark<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Die Einrichtung von Local Deep Research ist nicht trivial, aber auch nicht \u00fcberm\u00e4\u00dfig kompliziert. Wenn Sie die L\u00f6sung vollst\u00e4ndig intern betreiben und die Nutzung kommerzieller Such-APIs von Drittanbietern wie Tavily vermeiden m\u00f6chten, m\u00fcssen Sie Ihre eigene SearXNG-Instanz einrichten. Damit ist Ihnen bereits sehr geholfen, jedoch verzeichneten meine Docker-Protokolle dennoch zahlreiche Zeit\u00fcberschreitungen, Herausforderungen und Scraping-Sperren, die bei kostenpflichtigen Diensten sch\u00e4tzungsweise bis zu einem gewissen Grad gemildert w\u00fcrden.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><a href=\"https:\/\/github.com\/beclab\/apps\/issues\/2671\" target=\"_blank\" rel=\"noopener\">SearXNG ist eine Metasuchmaschine.<\/a> (was eigentlich einen eigenen Artikel verdient). Es muss weiterhin \u00f6ffentliche Schnittstellen wie Google oder Bing abfragen, um Live-Webdaten abzurufen. Aus struktureller Notwendigkeit sendet es die Suchanfragen selbst an diese externen Dienste. Der architektonische Vorteil liegt jedoch in der Isolation: Anstatt dass eine einzige Drittanbieterplattform Ihren Unternehmens-API-Schl\u00fcssel, Benutzerprofile und die gesamte mehrstufige Deep-Research-Absicht verfolgt, aggregiert SearXNG identifizierende Tracker und entfernt diese. Sie ber\u00fchren zwar nach wie vor das \u00f6ffentliche Internet, k\u00f6nnen jedoch einen Teil der Kontrolle von der externen Profilerstellung abziehen.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Ergebnisse<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Seit letzter Woche habe ich Dutzende tiefe Suchen mit diesem Local-Deep-Research-Setup durchgef\u00fchrt. Einige Durchl\u00e4ufe wurden durch echtes Forschungsinteresse motiviert, w\u00e4hrend andere explizit dazu dienten, als Leistungs-Baselines zu dienen, um einige Grenzen beim Ausf\u00fchren einer rekursiven Forschungsschleife lokal abzustecken.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Die Ergebnisse fallen gemischt aus. <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">LDR ist zweifellos ein hervorragendes Projekt mit recht tiefgreifenden Implikationen, sofern es sein Potenzial aussch\u00f6pfen kann. Um Missverst\u00e4ndnissen vorzubeugen: Ich habe die Option \u201cKurzzusammenfassung\u201d bei der Arbeit bereits mehrfach genutzt (jeder Durchlauf nahm auf meiner DGX Station zwischen 1 und 4 Stunden in Anspruch!), um mich schnell in regulatorische Fragestellungen einzuarbeiten oder Technologien zu bewerten, die umfassende Zitate erfordern. Wenn es gut funktioniert, ist es sehr n\u00fctzlich.<\/p>\n\n\n\n<div class=\"wp-block-buttons is-content-justification-center is-layout-flex wp-container-core-buttons-is-layout-fe48e5de wp-block-buttons-is-layout-flex\">\n<div class=\"wp-block-button\"><a class=\"wp-block-button__link wp-element-button\" href=\"\/de\/kontakt\/\">Wenden Sie sich an pi3g, um LLM-Inferenzserver zu erwerben<\/a><\/div>\n<\/div>\n\n\n\n<h2 class=\"wp-block-heading\">Die Erfolge, die ich durch Local Deep Research (LDR) erzielt habe<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Aus meiner Sicht empfand ich die Suche als ersch\u00f6pfend. Noch wertvoller ist jedoch, dass ich bei jeder Anwendung aktiv lokale Intelligenz aufbaue. <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Wenn LDR online Dokumente findet, die f\u00fcr meine Suche relevant sind, speichert und organisiert es diese automatisch und baut so eine interne Wissensbibliothek auf. <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Umgekehrt besteht bei einem bereits vorhandenen Bestand an geistigem Eigentum eine gro\u00dfe Wahrscheinlichkeit, dass LDR diesen direkt integrieren kann, sodass Sie Ihre propriet\u00e4ren Dateien nutzen k\u00f6nnen, um Ihre Forschungsfragen zu untermauern und zu rahmen. Dar\u00fcber hinaus gibt es eine \u201cNachrichten\u201d- und eine \u201cAbonnement\u201d-Funktion, die ich bisher noch nicht genutzt habe und die der Pflege fl\u00fcchtigerer beziehungsweise aktueller Quellmaterialien dienen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Die weniger erfreulichen Ergebnisse...<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">LDR sch\u00e4tzt es nicht, wenn ich mich als Beifahrer einmische. <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Als ich versuchte, ihm genaue Anweisungen bez\u00fcglich der Stimme oder des Rahmens einer Rechercheaufgabe zu geben, hat es mich entweder komplett ignoriert oder Dokumente mit sehr wenig n\u00fctzlichem Inhalt erstellt.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Derzeit schlagen viele meiner Aufrufe mit Qwen 3.8 27B g\u00e4nzlich fehl und liefern keinerlei Recherchen, w\u00e4hrend 3.6 einwandfrei funktioniert hat. (Kurzer Einschub hierbei: Wenn man Qwen 3.8 mehr als die H\u00e4lfte (0.5) seines Kontextfensters zuweist, wird es extrem langsam.) Diese Art von Reibungsverlusten ist angesichts der Tatsache, dass wir uns an vorderster Front der Entwicklung befinden, bis zu einem gewissen Grad akzeptabel, aber das eigentliche Problem besteht darin, dass weder die Benutzeroberfl\u00e4che noch die Protokolle beim Auftreten dieser Fehler n\u00fctzliche Debugging-Informationen ausgegeben haben. <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Schlie\u00dflich \u2013 dies mag auf einen Anwenderfehler zur\u00fcckzuf\u00fchren sein \u2013 hatte ich deutlich mehr Erfolg mit allgemeinen, einfachen Fragen. Als eine sehr spezifische Anfrage zur Plugin-Architektur eines von mir verwendeten Frameworks fehlschlug, versuchte ich diese durch die Angabe eines Vergleichs zu pr\u00e4zisieren. <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Der Agent nahm es w\u00f6rtlich und lieferte drei Seiten Recherche zu der in dem Gleichnis erw\u00e4hnten Technologie anstelle des eigentlichen Frameworks.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Zusammenfassung<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Wenn es funktioniert und Sie ein mehrseitiges, datenreiches Dokument ohne verifizierbare M\u00e4ngel erhalten, f\u00fchlt sich das tiefgreifend an, \u00e4hnlich wie meine ersten Interaktionen mit ChatGPT. D\u00e4mpfen Sie jedoch vorerst Ihre Erwartungen: Betrachten Sie es als ein \u00e4u\u00dferst n\u00fctzliches Werkzeug und nicht als einen Dienst, der in der Lage ist, Absichten zu extrapolieren oder Nuancen in dem Ma\u00dfe zu erfassen, wie es modernste Tools verm\u00f6gen. <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Projekte in diesem Bereich entwickeln sich rasch. Es ist noch gar nicht allzu lange her, dass das UI-Paradigma f\u00fcr KI-Chat umstritten war; Entwickler-Frameworks und agentische Architekturen befinden sich derzeit eindeutig auf diesem Kontinuum. Deep Research als lokales, in sich geschlossenes Paradigma ist arguably noch im Entstehen begriffen. In der Zwischenzeit werde ich in das Open-Deep-Research-Repository von LangChain eintauchen, um zu sehen, wie deren LangGraph-Zustandsmaschinen-Ansatz dieselben Arbeitsabl\u00e4ufe handhabt, und um zu sehen, was ich sonst noch aus meiner n\u00e4chsten Erkundung lernen kann.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Um Beispiele f\u00fcr die Arbeitsergebnisse zu sehen, besuchen Sie bitte mein Repository hier: <a href=\"https:\/\/github.com\/mwolf-pi3g\/harness-ldr\">https:\/\/github.com\/mwolf-pi3g\/harness-ldr<\/a><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Dies ist keine vollst\u00e4ndige Liste, verdeutlicht jedoch das Spektrum der Ergebnisse, die Sie erwarten k\u00f6nnen.<\/p>","protected":false},"excerpt":{"rendered":"<p>Europas Bestreben nach Datensouver\u00e4nit\u00e4t (dem Prinzip, dass Daten den Gesetzen und Governance-Strukturen des Landes unterliegen, in dem sie erhoben werden) hat sich allm\u00e4hlich von einem regulatorischen Diskussionsthema zu einer operativen Strategie gewandelt. Angetrieben von Bedenken hinsichtlich ausl\u00e4ndischer \u00dcberwachungsgesetze (wie dem US Cloud Act) und der potenziellen rechtlichen Instabilit\u00e4t transatlantischer\u2026<\/p>","protected":false},"author":865,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":"","_links_to":"","_links_to_target":""},"categories":[1088,1087],"tags":[1074,1068],"class_list":["post-32097","post","type-post","status-publish","format-standard","hentry","category-nvidia-ai-software","category-nvidia-dgx-station","tag-dgx-spark","tag-nvidia"],"_links":{"self":[{"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/posts\/32097","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/users\/865"}],"replies":[{"embeddable":true,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/comments?post=32097"}],"version-history":[{"count":7,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/posts\/32097\/revisions"}],"predecessor-version":[{"id":32193,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/posts\/32097\/revisions\/32193"}],"wp:attachment":[{"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/media?parent=32097"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/categories?post=32097"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/pi3g.com\/de\/wp-json\/wp\/v2\/tags?post=32097"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}