DSGVO-konformer LLM-Router · Infrastruktur in Deutschland

Die KI-Modell-Schicht,
die Ihre Ausgaben halbiert.

AI-Routing sitzt als transparente Schicht zwischen Ihrem System und allen KI-Modellen. Ein einziger API-Endpunkt. Intelligentes Routing zur günstigsten Option. Alle Daten bleiben in der EU.

Demo anfragen → Technische Architektur →

Ab 299 €/Monat · OpenAI-kompatibel · kein Code-Rewrite · Preisübersicht →

Ihr System

Python SDK

Node.js SDK

REST / cURL

On-Premise

OpenAI-kompatibel

AI-Routing Engine

PII-Scan · Classify · Route

günstigstes Modell

KI-Modelle

Mistral (Paris)

Azure OpenAI (IE)

Aleph Alpha (DE)

Llama lokal

30–70%

KI-Kosteneinsparung

<15ms

Routing-Overhead

100%

Daten in der EU

Zeilen Code-Änderung

Das Problem

Was sich in Ihrer KI-Abrechnung versteckt.

Vier Probleme, mit denen jedes Unternehmen mit LLM-Einsatz kämpft.

40–85%

zu viel bezahlt

Unternehmen nutzen für jede Anfrage dasselbe teure Frontier-Modell — obwohl 60 % der Anfragen ein 10× günstigeres Modell problemlos bewältigen.

100%

US-Infrastruktur

OpenRouter, LiteLLM, Portkey — alle US-Unternehmen. Für Banken, Kliniken und Behörden nicht nutzbar. Kein AVV, kein EU-Hosting.

Fallback-Schutz

Wer direkt gegen eine Provider-API codiert, fällt bei Ausfällen komplett aus. Kein Failover, kein automatischer Wechsel.

DSGVO-Dokumentation

Kein bestehender Router liefert automatisch Verarbeitungsverzeichnis, Audit-Log und AVV-Templates. Compliance muss alles manuell bauen.

So funktioniert AI-Routing

Verbinden. Analysieren. Routen. Sparen.

Drei Schritte. Keine Migration. Kein neuer Code.

API-Endpunkt tauschen

Ersetzen Sie api.openai.com/v1 durch api.ai-routing.de/v1. Das ist die einzige Änderung. Ihr bestehendes SDK, Ihre Prompts, Ihre Logik — alles unverändert.

AI-Routing analysiert jeden Request

In unter 15 ms: PII-Scan, Komplexitätsbewertung, Intent-Klassifikation. Die Policy-Engine prüft Ihre DSGVO-Regeln und aktuellen Modell-Preise.

Günstigstes Modell antwortet

Das günstigste Modell, das Ihre Qualitäts-SLA erfüllt und Ihre Datenschutzanforderungen einhält, bekommt den Request. Einsparungen ab dem ersten Tag.

Features

Alles, was ein LLM-Router können muss.

Smart Routing Engine

Jede Anfrage in unter 15 ms auf Komplexität, Intent und Domain analysiert. XGBoost-Classifier mit ONNX Runtime direkt im Router. 30–70 % Kosteneinsparung.

PII-Scanner & Anonymisierung

Microsoft Presidio scannt jeden Request auf personenbezogene Daten — IBAN, Namen, Adressen, Gesundheitsdaten. Automatische Anonymisierung oder Hard-Block je Policy.

EU-Only Datenhaltung

Alle Daten auf Hetzner Frankfurt und Nürnberg. Kein Byte verlässt die EU ohne expliziten Consent. Deutsches Unternehmen — echter AVV, keine AGB aus San Francisco.

Policy as Code

Routing-Regeln als versionierter Code im Git-Repository. Audit-Prüfer lesen welche Policy wann aktiv war. Tenant-spezifisch konfigurierbar.

Automatisches Failover

Konfigurierbare Fallback-Kaskade — fällt Modell A aus, wechselt AI-Routing automatisch zu Modell B. Keine Downtime durch Provider-Ausfälle.

DSGVO-Compliance-Paket

Unveränderliches Audit-Log (AES-256), automatisch generiertes Verarbeitungsverzeichnis, AVV-Templates für alle Provider. EU AI Act konforme Retention.

Echtzeit-Kosten-Dashboard

Jeder Token, jede Routing-Entscheidung, jede Einsparung sichtbar. Per-Tenant Budget-Caps. Monatliche Kostenberichte exportierbar.

On-Premise Option

AI-Routing als Docker Compose oder Kubernetes Helm Chart in Ihrer Infrastruktur. Zero Data Egress. Lokale Modelle (Llama 3, Phi-4) ohne Netzwerkkosten.

Technische Architektur

Unter der Haube: Entscheidung in unter 15 ms.

Rust-Kern für Sub-Millisekunden-Latenz. ML-Classifier direkt eingebettet. Kein externer Hop im Hot-Path.

nginx + Rust

TLS, Auth, Rate-Limit via Redis, Tenant-Isolation

t = 0–2 ms

Presidio (ONNX)

PII-Scan in-process. Anonymisierung oder Hard-Block

t = 2–6 ms

XGBoost (ONNX)

Komplexität, Domain, Intent → Score-Vektor

t = 6–8 ms

OPA + Preise

Policy-Check + Echtzeit-Preise → Modell + Fallback

t < 1 ms

Proxy + Stream

Streaming zum Modell, Logging, Cost-Tracking

t + Modell-Latenz

Routing-Matrix

Use Case	Zielmodell	∅ Kosten	DSGVO-Tier
FAQ / einfache Antworten	Mistral 7B / Haiku	0,0002 €/1k	✓ EU-Only
Dokument-Zusammenfassung	Mistral Large / Sonnet	0,003 €/1k	✓ EU-Only
Code-Generierung (komplex)	GPT-4o (Azure Ireland)	0,015 €/1k	✓ EU-Vertrag
Hochsensible Daten	Llama 3 On-Premise	nur Infra	✓ Zero Egress
Kreativ / Opt-in US	Claude / GPT-4 (US)	0,015 €/1k	~ Consent

Technologie-Stack

Router Core

Kern & API-Server

Rust / axumSub-ms Hot-Path, kein GC

Python / FastAPIAdmin, Konfig, Billing

Redis 7Rate-Limit, Token-Budget

PostgreSQL 16Tenants, Audit, RLS

ML-Classifier

Routing-Intelligenz

XGBoost<0,5ms Inference

ONNX RuntimeIn Rust eingebettet

sentence-transformersMultilingual DE/EN/FR

MLflowModel-Registry, A/B

Security & DSGVO

Compliance-Schicht

PresidioPII-Erkennung DE/EN/FR

VaultSecret-Management

OPAPolicies als Code

pgcryptoAES-256 Audit-Log

Infrastruktur

EU-Only Hosting

Hetzner FRAk8s Primary Cluster

Hetzner NUEDR-Cluster, Backup

TerraformIaC, GitOps

ArgoCDBlue-Green Deployments

Observability

Monitoring & Tracing

PrometheusLatenz, Kosten, Fehler

GrafanaSelf-hosted, Kunden-Zugang

OpenTelemetryDistributed Tracing

ClickHouseAnalytics, 1B+ Rows

DevOps

CI/CD & Testing

GitHub ActionsCI/CD, Rust + Python

k6 + LocustLoad-Tests 50k req/s

NATS JetStreamAsync Events, Billing

MinIO (S3)Audit-Archiv, EU-only

DSGVO & Compliance

DSGVO-Konformität ist keine Funktion — es ist die Architektur.

AI-Routing wurde von Grund auf für den EU-Rechtsraum entwickelt.

🇪🇺

DSGVO Art. 25 — Privacy by Design

PII-Scan vor jeder Verarbeitung. EU-Routing als technische Vorschrift, nicht als Option.

📋

AVV & Verarbeitungsverzeichnis

Automatisch generiertes Verarbeitungsverzeichnis. AVV-Templates für alle angebundenen Provider.

🔒

ISO 27001

Zertifiziertes ISMS. Regelmäßige externe Audits. Vollständige Dokumentation für Ihre Compliance-Nachweise.

🛡

BSI IT-Grundschutz

Voraussetzung für öffentliche Auftraggeber und systemrelevante Infrastruktur in Deutschland.

⚖

EU AI Act Ready

Jede Routing-Entscheidung erklärbar und auditierbar. Vollständiger Evidence-Trail, Human-in-the-Loop konfigurierbar.

🏥

Art. 9 Sonderkategorien

Gesundheits- und Finanzdaten automatisch als sensibel klassifiziert — ausschließlich On-Premise oder EU-Tier-1.

AI-Routing vs. US-Anbieter

Eigenschaft	OpenRouter	LiteLLM	Portkey	AI-Routing
EU-Datenhaltung	✗	~	✗	✓ Frankfurt
AVV-Vertrag	✗	✗	✗	✓ Inklusive
PII-Scanner	✗	✗	~	✓ DE/EN/FR
ISO 27001	✗	✗	✗	✓
BSI IT-Grundschutz	✗	✗	✗	✓
EU AI Act konform	✗	~	✗	✓
Deutsches Unternehmen	✗	✗	✗	✓

Preise

Transparent. Skalierend. Ohne Überraschungen.

Alle Tarife beinhalten DSGVO-Compliance-Paket, AVV und deutschen Support.

Starter

299 €/Monat

bis 1 Mio. Tokens/Tag

OpenAI-kompatibler Endpunkt
3 Modelle angebunden
PII-Scanner (DE/EN)
DSGVO-Audit-Log
AVV inklusive
E-Mail-Support
Kunden-Dashboard

Demo anfragen →

BELIEBTESTER TARIF

Business

999 €/Monat

bis 10 Mio. Tokens/Tag

Alles aus Starter
10+ Modelle angebunden
PII-Scanner + Custom Pattern
Custom Routing-Policies (OPA)
Echtzeit-Kosten-Dashboard
Priority-Support (8h SLA)
Streaming (SSE) + Batch-API

Demo anfragen →

Enterprise

ab 3.000 €/Monat

Individuell + SLA

Alles aus Business
On-Premise Deployment (Helm)
Dedizierter Account Manager
2h SLA-Reaktionszeit
ISO 27001 Nachweisdokumentation
BSI IT-Grundschutz Support
White-Label API möglich

Gespräch vereinbaren →

Alle Preise zzgl. MwSt. · Monatlich kündbar · Individuelles Angebot anfragen →

Häufige Fragen

Was unsere Kunden fragen.

Nein. AI-Routing ist vollständig kompatibel mit der OpenAI API. Sie tauschen lediglich die Basis-URL aus. Ihr bestehendes SDK, Ihre Prompts, Ihre Logik — alles unverändert.

Ab dem ersten Request. Sobald AI-Routing aktiv ist, werden einfache Anfragen sofort zu günstigeren Modellen weitergeleitet. Die durchschnittliche Einsparung liegt zwischen 30 und 70 % der bisherigen LLM-Ausgaben.

Standardmäßig ja — alle Daten werden ausschließlich auf Hetzner-Infrastruktur in Frankfurt und Nürnberg verarbeitet. US-Modelle sind per explizitem Opt-in nutzbar, mit automatischer DSGVO-Dokumentation.

AI-Routing schaltet automatisch auf das nächste Modell in Ihrer Fallback-Kaskade. Ihre Applikation bekommt davon nichts mit — der Request wird transparent an ein alternatives Modell weitergeleitet.

Ja. Jede Routing-Entscheidung ist erklärbar und auditierbar. Vollständige Audit-Logs werden EU AI Act-konform archiviert. Das System arbeitet als transparente Middleware — kein Black-Box-Scoring.

Ja, ab dem Enterprise-Tarif. AI-Routing ist als Kubernetes Helm Chart oder Docker Compose deploybar — in Ihrem Rechenzentrum oder Ihrer EU-Cloud-Instanz. Zero Data Egress.

OpenRouter ist ein US-Unternehmen ohne DSGVO-Compliance, ohne AVV, ohne EU-Datenhaltung. AI-Routing wurde von Grund auf für den EU-Rechtsraum gebaut: deutsches Unternehmen, Infrastruktur Frankfurt, PII-Scanner, ISO 27001, BSI IT-Grundschutz. Das ist keine Feature-Differenz — das ist eine andere Produktkategorie.

Die KI-Modell-Schicht,die Ihre Ausgaben halbiert.