zwuge/dgx-spark
2
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity

Wayfinder: Embedding-Schnittstelle neben Qwen im DGX Spark #6

New issue
Closed
opened 2026-08-10 13:40:05 +02:00 by zwuge · 2 comments
zwuge commented 2026-08-10 13:40:05 +02:00
Owner
Copy link

Destination

Eine getestete und reproduzierbare Embedding-Schnittstelle im dgx-spark-Projekt, die neben Qwen als lokaler Spark-Dienst läuft und von secondbrain-mcp für private Vault-Inhalte genutzt werden kann. Der Weg endet bei dokumentierter Live-Verifikation des API-Vertrags; die vollständige Hybrid-Suche bleibt im Eigentümerprojekt secondbrain-mcp.

Notes

  • Repo-Scope: dgx-spark; keine Implementierung im secondbrain-mcp-Repo.
  • Ausgangsentscheidung: nomic-embed-text-v1.5 zuerst, BGE-M3 später als separater Vergleich.
  • Qwen bleibt der generative Chat-/VLM-Dienst; Embedding läuft als eigener Dienst.
  • API-Basis: dedizierter POST /embed-Endpunkt mit model, task, texts und embeddings.
  • Sicherheitsbasis: HTTPS, Bearer-Token, Zugriff nur vom secondbrain-mcp-Client.
  • Backfill/Retry/Job-Queue gehören nicht in diesen Dienst, sondern in secondbrain-mcp.

Decisions so far

n- [Embedding-Endpunkt absichern und deploybar machen](https://git.platz-consulting.de/zwuge/dgx-spark/issues/10) — direkte HTTPS-Terminierung, geschütztes Token-File, Firewall-Allowlist, metadatenbasiertes Logging sowie versioniertes Deployment mit Rollback.nn- [Ressourcenschutz und Lastgrenzen neben Qwen festlegen](https://git.platz-consulting.de/zwuge/dgx-spark/issues/9) — ein aktiver Request, Batch 16, Größenlimits, retrybares 429/503-Backpressure und konfigurierbarer Memory-Schwellenwert.nn- [Embedding-Modell und Runtime auf dem Spark festlegen](https://git.platz-consulting.de/zwuge/dgx-spark/issues/8) — separater fastembed/ONNX-FastAPI-Service, CPU-only neben Qwen, gepinnte Revision und expliziter rollbackfähiger Updateprozess.nn- [Embedding-API-Vertrag und Servicegrenze festlegen](https://git.platz-consulting.de/zwuge/dgx-spark/issues/7) — POST /embedmit semantischemtask, festem serverseitigem Modell, minimaler Vektorantwort und Retry-Verantwortung bei secondbrain-mcp.n

  • Die sechs Empfehlungen aus der Wayfinder-Grillrunde wurden am 2026-08-10 bestätigt: Scope, Modellstart, API-Vertrag, Service-Isolation, Sicherheitsumfang und Live-Verifikationsziel.

  • Embedding-Schnittstelle gegen secondbrain-mcp live verifizieren — lokale Contract-/Sicherheitstests, Spark-Baseline, synthetischer HTTPS-E2E-Lauf, Rollback und getrennte Reifegrade.

Not yet specified

Keine weiteren Entscheidungsfragen für diese Map.

Out of scope

  • Implementierung der Hybrid-Suche, SQLite-/Vektorindex und Reconciler in secondbrain-mcp.
  • Qwen-Modellwechsel, OCR-/VLM-Änderungen und allgemeine Spark-Updates.
  • Aufbau eines neuen Qdrant-basierten Vault-Indexdienstes.
## Destination Eine getestete und reproduzierbare Embedding-Schnittstelle im `dgx-spark`-Projekt, die neben Qwen als lokaler Spark-Dienst läuft und von `secondbrain-mcp` für private Vault-Inhalte genutzt werden kann. Der Weg endet bei dokumentierter Live-Verifikation des API-Vertrags; die vollständige Hybrid-Suche bleibt im Eigentümerprojekt `secondbrain-mcp`. ## Notes - Repo-Scope: `dgx-spark`; keine Implementierung im `secondbrain-mcp`-Repo. - Ausgangsentscheidung: `nomic-embed-text-v1.5` zuerst, BGE-M3 später als separater Vergleich. - Qwen bleibt der generative Chat-/VLM-Dienst; Embedding läuft als eigener Dienst. - API-Basis: dedizierter `POST /embed`-Endpunkt mit `model`, `task`, `texts` und `embeddings`. - Sicherheitsbasis: HTTPS, Bearer-Token, Zugriff nur vom `secondbrain-mcp`-Client. - Backfill/Retry/Job-Queue gehören nicht in diesen Dienst, sondern in `secondbrain-mcp`. ## Decisions so far `n- [Embedding-Endpunkt absichern und deploybar machen](https://git.platz-consulting.de/zwuge/dgx-spark/issues/10) — direkte HTTPS-Terminierung, geschütztes Token-File, Firewall-Allowlist, metadatenbasiertes Logging sowie versioniertes Deployment mit Rollback.`n`n- [Ressourcenschutz und Lastgrenzen neben Qwen festlegen](https://git.platz-consulting.de/zwuge/dgx-spark/issues/9) — ein aktiver Request, Batch 16, Größenlimits, retrybares 429/503-Backpressure und konfigurierbarer Memory-Schwellenwert.`n`n- [Embedding-Modell und Runtime auf dem Spark festlegen](https://git.platz-consulting.de/zwuge/dgx-spark/issues/8) — separater fastembed/ONNX-FastAPI-Service, CPU-only neben Qwen, gepinnte Revision und expliziter rollbackfähiger Updateprozess.`n`n- [Embedding-API-Vertrag und Servicegrenze festlegen](https://git.platz-consulting.de/zwuge/dgx-spark/issues/7) — `POST /embed` mit semantischem `task`, festem serverseitigem Modell, minimaler Vektorantwort und Retry-Verantwortung bei `secondbrain-mcp`.`n - Die sechs Empfehlungen aus der Wayfinder-Grillrunde wurden am 2026-08-10 bestätigt: Scope, Modellstart, API-Vertrag, Service-Isolation, Sicherheitsumfang und Live-Verifikationsziel. - [Embedding-Schnittstelle gegen secondbrain-mcp live verifizieren](https://git.platz-consulting.de/zwuge/dgx-spark/issues/11) — lokale Contract-/Sicherheitstests, Spark-Baseline, synthetischer HTTPS-E2E-Lauf, Rollback und getrennte Reifegrade. ## Not yet specified Keine weiteren Entscheidungsfragen für diese Map. ## Out of scope - Implementierung der Hybrid-Suche, SQLite-/Vektorindex und Reconciler in `secondbrain-mcp`. - Qwen-Modellwechsel, OCR-/VLM-Änderungen und allgemeine Spark-Updates. - Aufbau eines neuen Qdrant-basierten Vault-Indexdienstes.
zwuge commented 2026-08-10 16:25:00 +02:00
Author
Owner
Copy link

Wayfinding abgeschlossen: Alle fünf Entscheidungstickets sind entschieden und geschlossen. Der Implementierungsweg ist geklärt; die nächste Arbeit ist ein separates Implementierungsticket für den Spark-Embedding-Service.

Wayfinding abgeschlossen: Alle fünf Entscheidungstickets sind entschieden und geschlossen. Der Implementierungsweg ist geklärt; die nächste Arbeit ist ein separates Implementierungsticket für den Spark-Embedding-Service.
zwuge closed this issue 2026-08-10 16:25:00 +02:00
zwuge commented 2026-08-10 16:28:55 +02:00
Author
Owner
Copy link

Season AE ist vollständig dokumentiert. Der Vault-Handoff liegt lokal unter 3000-Projects/3090-dgx-spark/season-ae-embedding-interface-handoff.md; project.md verweist auf ihn. Die Implementierung ist ausdrücklich in eine neue Season vertagt. Es wurden keine Code-, Deployment- oder Infrastrukturänderungen ausgeführt.

Season AE ist vollständig dokumentiert. Der Vault-Handoff liegt lokal unter `3000-Projects/3090-dgx-spark/season-ae-embedding-interface-handoff.md`; `project.md` verweist auf ihn. Die Implementierung ist ausdrücklich in eine neue Season vertagt. Es wurden keine Code-, Deployment- oder Infrastrukturänderungen ausgeführt.
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
master
a02-matrix-transport-review
No results found.
Labels
Clear labels   
agent
Orchestrator-Aufnahme

  
bereit
Freigegebene freie Frontier

  
ready-for-agent
Vollständig spezifiziert für Agent

  
wayfinder:grilling
Wayfinder human decision

  
wayfinder:map
Wayfinder map

  
wayfinder:research
Wayfinder research decision

  
wayfinder:task
Wayfinder prerequisite task

No labels
agent
bereit
ready-for-agent
wayfinder:grilling
wayfinder:map
wayfinder:research
wayfinder:task
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
zwuge/dgx-spark#6
No description provided.