Technisches Factsheet
Eckdaten für die Planung und Bewertung der Locentia On‑Prem LLM-Lösungen.
Übersicht
Einsatzmodell
On‑Prem / Edge (kein Cloud-Zwang)
Datenhaltung
Lokal, verschlüsselte Volumes, keine Weitergabe
Schnittstellen
REST, gRPC, WebHooks; Integrationen: M365, Confluence, Jira, Slack
Use-Cases
Wissens-Q&A, Meeting-Assistent, Dokument-Assist, Coaching/Qualität
Architektur
Core
LLM Inference Server (vLLM/llama.cpp), Embedding-Service, Vector-DB
Retrieval
Hybrid: Sparse+Dense, Re-Ranking optional, Chunking 512–2k Tokens
Orchestrierung
Next.js (Front), API-Routes (Back), Queue/Workers für Jobs
Monitoring
Prometheus, Grafana, strukturierte Logs (JSON)
Sicherheit & Compliance
Netzwerk
Reverse-Proxy (Nginx), TLS (Let’s Encrypt), HSTS, CSP
Identitäten
SAML/OIDC; Rollen & Policies (RBAC)
Daten
At-Rest: LUKS/FS-Verschlüsselung; In-Transit: TLS 1.2+
Protokollierung
Audit-Logs für Anfragen, Redaktions- und Admin-Aktionen
DSGVO
Daten verbleiben On‑Prem; Aufbewahrungskonzepte und Löschroutinen
Integrationen
Quellen
SharePoint, OneDrive, Confluence, Fileshares (SMB/NFS), E-Mail-Postfächer
Outputs
Tickets (Jira/ServiceNow), E-Mail, Webhooks, PDF/Docx Export
Auth
Service-Accounts, App-Registrierungen, fein-granulare Berechtigungen
Größenordnung & Sizing
Pilot (ohne GPU)
CPU-Inferenz kleiner Modelle (3–7B), 1–2 gleichzeitige Nutzer
Produktiv (eine GPU)
24–48 GB VRAM, 30–60 RPS Context-Retrieval, 10–20 aktive Nutzer
Skalierung
Sharding der Vector-DB, horizontale Worker, GPU‑Scaling je Use‑Case
Speicher
Indexgröße ~20–30% der Quell-Daten; Cold Storage für Originale
Betrieb
Deployment
Systemd Services, Docker optional, Zero-Downtime-Releases
Backups
Snapshots der Vector-DB & Metadaten; Rotation und Offsite möglich
Updates
Rolling Updates für Modelle & Pipelines, Canary möglich
Support
Runbooks, SLOs/SLIs, On‑Call optional