Embedding-Modell und Runtime auf dem Spark festlegen #8

New issue

Closed

opened 2026-08-10 13:40:05 +02:00 by zwuge · 1 comment

zwuge commented

2026-08-10 13:40:05 +02:00

Owner

Question

Wie wird nomic-embed-text-v1.5 auf dem Spark geladen und betrieben, welche Modellrevision wird gepinnt und welche Runtime-/Packaging-Form passt neben dem bestehenden Qwen-Dienst?

Parent map: Wayfinder: Embedding-Schnittstelle neben Qwen im DGX Spark

Starting assumptions

Die bestätigten Wayfinder-Empfehlungen gelten als Ausgangspunkt: separater Dienst neben Qwen, nomic zuerst, kleiner /embed-Vertrag, Sicherheits- und Live-Verifikationsziel.

## Question Wie wird nomic-embed-text-v1.5 auf dem Spark geladen und betrieben, welche Modellrevision wird gepinnt und welche Runtime-/Packaging-Form passt neben dem bestehenden Qwen-Dienst? Parent map: [Wayfinder: Embedding-Schnittstelle neben Qwen im DGX Spark](https://git.platz-consulting.de/zwuge/dgx-spark/issues/6) ## Starting assumptions Die bestätigten Wayfinder-Empfehlungen gelten als Ausgangspunkt: separater Dienst neben Qwen, nomic zuerst, kleiner /embed-Vertrag, Sicherheits- und Live-Verifikationsziel.

zwuge added the

wayfinder:grilling

label

2026-08-10 13:40:05 +02:00

zwuge added a new dependency

2026-08-10 13:40:05 +02:00

#9 Ressourcenschutz und Lastgrenzen neben Qwen festlegen

zwuge added a new dependency

2026-08-10 13:40:06 +02:00

#11 Embedding-Schnittstelle gegen secondbrain-mcp live verifizieren

zwuge self-assigned this

2026-08-10 14:38:35 +02:00

zwuge commented

2026-08-10 14:58:29 +02:00

Author

Owner

Resolution

Die Embedding-Runtime wird als eigenständiger Python-Service im dgx-spark-Repo umgesetzt:

fastembed/ONNX mit nomic-embed-text-v1.5; keine Qwen-/vLLM-Erweiterung und kein neuer Qdrant-Vaultdienst.
Zunächst CPU-only, ohne GPU-/VRAM-Mitbenutzung mit Qwen. GPU-Beschleunigung bleibt eine spätere, separat zu entscheidende Messfrage.
Eigenständiges Service-Paket mit FastAPI/Uvicorn und eigener systemd-Unit auf dem Spark.
Eine konkrete Hugging-Face-Revision wird in Konfiguration/Lock-Nachweis gepinnt; kein latest und kein unpinned Modellstart.

Update- und Rollback-Regel: Ein Modellupdate erfolgt ausschließlich explizit und versioniert. Die neue Revision wird parallel geladen und per Health-, Contract-, Dimensions- und Embedding-Smoke-Test geprüft. Erst danach wird die aktive Revision umgestellt und der Dienst kontrolliert neu gestartet. Die alte Revision bleibt zunächst für Rollback erhalten. secondbrain-mcp behandelt die neue Modellrevision als neue Index-Generation; alte und neue Embeddings werden nie vermischt. Bei Problemen wird auf alte Revision und alte Index-Generation zurückgeschaltet.

Die konkrete Modell-Commit-ID wird im Implementierungsticket beim ersten reproduzierbaren Download ermittelt und dokumentiert.

## Resolution Die Embedding-Runtime wird als eigenständiger Python-Service im `dgx-spark`-Repo umgesetzt: - `fastembed`/ONNX mit `nomic-embed-text-v1.5`; keine Qwen-/vLLM-Erweiterung und kein neuer Qdrant-Vaultdienst. - Zunächst CPU-only, ohne GPU-/VRAM-Mitbenutzung mit Qwen. GPU-Beschleunigung bleibt eine spätere, separat zu entscheidende Messfrage. - Eigenständiges Service-Paket mit FastAPI/Uvicorn und eigener systemd-Unit auf dem Spark. - Eine konkrete Hugging-Face-Revision wird in Konfiguration/Lock-Nachweis gepinnt; kein `latest` und kein unpinned Modellstart. **Update- und Rollback-Regel:** Ein Modellupdate erfolgt ausschließlich explizit und versioniert. Die neue Revision wird parallel geladen und per Health-, Contract-, Dimensions- und Embedding-Smoke-Test geprüft. Erst danach wird die aktive Revision umgestellt und der Dienst kontrolliert neu gestartet. Die alte Revision bleibt zunächst für Rollback erhalten. `secondbrain-mcp` behandelt die neue Modellrevision als neue Index-Generation; alte und neue Embeddings werden nie vermischt. Bei Problemen wird auf alte Revision und alte Index-Generation zurückgeschaltet. Die konkrete Modell-Commit-ID wird im Implementierungsticket beim ersten reproduzierbaren Download ermittelt und dokumentiert.

zwuge closed this issue

2026-08-10 14:58:29 +02:00