Lokales LLM oder Cloud-API: Was beides 2026 für ein Unternehmen mit 100 Mitarbeitenden wirklich kostet

Kurz gesagt (Oktober 2026). Für ein Unternehmen mit 100 Mitarbeitenden sind Sprachmodelle aus der Cloud günstiger, als viele erwarten. In unseren zwei Nutzungsszenarien kostet ein leichter Büroassistent für 70 Nutzer zu Listenpreisen 16 bis 353 $ im Monat; intensive Arbeit mit Dokumenten und Agenten für 100 Nutzer kostet mit einem kleinen Modell rund 100 $, mit einem Modell der Mittelklasse wie Claude Sonnet 5.5 oder OpenAIs gpt-6.1-sol rund 2.000 $ – Verarbeitung in der EU kostet etwa 10 % mehr. Eine eigene GPU, die ein starkes offenes Modell betreiben kann, kostet bei Hetzner gemietet 1.197 € im Monat, bei Scaleway 2.093 €, oder als gekaufte RTX PRO 6000 über drei Jahre abgeschrieben etwa 505 € im Monat – plus Server und die Ingenieurzeit für den Betrieb. Ein lokales Modell gewinnt in dieser Größe deshalb selten allein über den Preis. Es gewinnt, wenn Daten Ihre Kontrolle nicht verlassen dürfen, wenn das Volumen hoch und gleichmäßig ist oder wenn ein offenes Modell für die Aufgabe genügt; für alles andere ist eine Cloud-API mit Auftragsverarbeitungsvertrag und EU-Endpunkt die einfachere Wahl.

Dieser Beitrag richtet sich an IT-Verantwortliche, die eine Zahl brauchen, kein Prinzip. Er ergänzt unseren früheren Beitrag zu lokalen LLMs und Cloud-APIs für sensible Daten um aktuelle Preise und eine durchgerechnete Kalkulation.

Zwei Nutzungsszenarien

Eine verlässliche öffentliche Zahl, wie viele Tokens eine Wissensarbeiterin am Tag verbraucht, gibt es nicht – wir rechnen deshalb mit zwei ausdrücklichen Szenarien. Passen Sie sie an Ihre eigenen Protokolle an.

• Szenario A, leichter Assistenten-Einsatz: 70 von 100 Mitarbeitenden nutzen einen Chat-Assistenten 20-mal pro Arbeitstag, mit rund 3.000 Tokens Eingabe (Frage plus Kontext) und 500 Tokens Ausgabe. Das sind 88 Mio. Eingabe- und 15 Mio. Ausgabe-Tokens im Monat.
• Szenario B, Dokumente und Agenten: alle 100 Mitarbeitenden arbeiten 40-mal am Tag mit einem RAG-Assistenten und Agenten, mit rund 8.000 Eingabe-Tokens (gefundene Passagen, Anweisungen, Verlauf) und 800 Ausgabe-Tokens. Das sind 672 Mio. Eingabe- und 67 Mio. Ausgabe-Tokens im Monat.

Entwickler mit Coding-Agenten sind ein eigenes Budget: Anthropics Dokumentation zu Claude Code beziffert die typischen Kosten auf 150 bis 250 $ pro Entwickler und Monat, im Schnitt rund 13 $ pro aktivem Tag.

Was die Cloud kostet

Listenpreise pro Million Tokens am 12. Oktober 2026, Eingabe / Ausgabe:

Vier Details ändern diese Zahlen in der Praxis:

• Caching und Batch-Verarbeitung. Wiederkehrender Kontext wie lange Anweisungen oder ein Dokumentensatz kostet im Cache nur einen Bruchteil: Bei Claude Sonnet 5.5 kostet ein Cache-Treffer 5 % des Eingabepreises. Anfragen, die warten können, sind über die Batch-APIs von Anthropic, OpenAI, Google und Mistral 50 % günstiger.
• Tokens sind nicht gleich. Anthropic weist darauf hin, dass sein Tokenizer für Claude 4.7 und neuer für denselben Text rund 30 % mehr Tokens erzeugt. Vergleichen Sie die Kosten Ihrer eigenen Anfragen, nicht den Preis pro Token.
• EU-Verarbeitung kostet extra. OpenAIs EU-Datenresidenz kostet für Modelle ab März 2026 10 % mehr; Claude über regionale Endpunkte bei AWS Bedrock oder Google Vertex AI hat einen Aufschlag von 10 %, und Anthropics eigene API bietet globale oder reine US-Verarbeitung.
• Preise bewegen sich. Googles Gemini 3.8 Flash verdoppelt seinen Preis zum 1. Januar 2027, und Mistrals neuestes großes Modell steht zu einem Aktionspreis in der Liste. Planen Sie mit Puffer und halten Sie das Modell austauschbar.

Was ein eigenes Modell kostet

Das Modell. Starke Open-Weight-Modelle passen inzwischen auf eine einzige GPU. OpenAIs gpt-oss-120b unter Apache-2.0-Lizenz läuft auf einer GPU mit 80 GB; das kleinere gpt-oss-20b passt in 16 GB. Qwen 3.5 und Mistral Small 4 stehen ebenfalls unter Apache 2.0, Gemma 4 zielt auf Workstations, DeepSeek V4 nutzt die MIT-Lizenz. Eine Falle für europäische Unternehmen: Metas Lizenz für die multimodalen Llama-4-Modelle räumt Unternehmen mit Hauptsitz in der EU keine Rechte ein.

Die Hardware.

• In der EU mieten: Hetzners GEX131 mit einer RTX PRO 6000 (96 GB) kostet 1.197,30 € im Monat plus 599 € Einrichtung; Scaleways H100 mit 80 GB kostet 2,87 € pro Stunde, rund 2.093 € im Monat.
• Kaufen: Die RTX PRO 6000 mit 96 GB war im September 2026 im deutschen Handel ab rund 15.490 € erhältlich, das sind über drei Jahre 430 € im Monat. Sie nimmt bis zu 600 W auf; bei 17,2 Cent pro kWh, die kleine und mittlere Industriekunden laut BDEW 2026 in Deutschland zahlen, kommen bei Volllast rund um die Uhr etwa 75 € im Monat hinzu. Server, Speicher, Netzwerk und eine zweite Karte für Redundanz kommen dazu.

Die Kapazität. Szenario B liegt während der Arbeitszeit im Schnitt bei rund 1.200 Tokens pro Sekunde, mit Spitzen um ein Mehrfaches höher. Im InferenceX-Benchmark von SemiAnalysis erreichte gpt-oss-120b auf einer H100 rund 5.900 Tokens pro Sekunde und GPU bei 100 Tokens pro Sekunde je Nutzer. Eine gut eingerichtete GPU deckt Text für ein Unternehmen dieser Größe ab; Spitzen, lange Dokumente und eine Ausfallreserve sprechen für zwei.

Der Teil, der nicht auf der Rechnung steht. Jemand muss Inferenzserver und Modelle installieren und aktualisieren, überwachen, das Betriebssystem patchen, Zugänge verwalten, Protokolle führen und jedes neue Modell vor dem Wechsel testen. Im Cloud-Preis ist diese Arbeit enthalten. Planen Sie sie ausdrücklich als Ingenieurstunden pro Monat ein, bevor Sie Summen vergleichen.

Qualität und Tempo

Der Preis pro Token ist nicht der ganze Vergleich. Die größten Cloud-Modelle liegen bei schwierigem Schlussfolgern, langen Dokumenten und komplexen Agentenaufgaben weiterhin vorn, und sie sind schnell. In unserem eigenen RAG-Projekt für Buchhalter lief derselbe Code gegen eine Cloud-API oder vollständig auf lokalen offenen Modellen; lokal kamen die Antworten langsamer und klangen weniger flüssig, aber kein Dokument verließ den Server des Kunden. Für Extraktion, Klassifizierung, Routing und RAG-Antworten mit Quellen reicht ein gutes offenes Modell oft; für einen Agenten, der mehrstufige Arbeit plant, testen Sie vor der Entscheidung.

Datenschutz

• Die deutschen Datenschutzbehörden schrieben 2024 in ihrer Orientierungshilfe zu KI, technisch geschlossene Systeme seien aus datenschutzrechtlicher Sicht vorzugswürdig, und „offene“ Cloud-Systeme bergen Risiken der Zweitverwertung und der Übermittlung in Drittländer. „Geschlossen“ heißt unter Ihrer Kontrolle und ohne Training mit Ihren Eingaben – das kann auch ein Cloud-Dienst mit passendem Vertrag und passenden Einstellungen sein.
• Ein Cloud-Modell braucht einen Auftragsverarbeitungsvertrag, Einstellungen, die Training mit Ihren Daten ausschließen, und eine klare Antwort, wo Daten verarbeitet und gespeichert werden.
• Übermittlungen in die USA stützen sich derzeit auf das EU-US Data Privacy Framework, das das Gericht der EU im September 2025 bestätigt hat; ein Rechtsmittel (C-703/25 P) ist beim Gerichtshof anhängig. Halten Sie Standardvertragsklauseln als Rückfall bereit.

Wann ein eigenes Modell sinnvoll ist

Ein häufiges Ergebnis ist eine Mischung: sensible Aufgaben wie Verträge, Gesundheits- oder Steuerdaten auf einem eigenen Modell, alles andere über eine Cloud-API, dazwischen ein Gateway, das jede Anfrage routet, protokolliert und die Regeln durchsetzt. Das Gateway hält Sie zudem frei, den Anbieter zu wechseln, wenn sich die Preise ändern – und das tun sie 2026 alle paar Monate.

Checkliste

1. Einen Monat lang das tatsächliche Token-Volumen messen, bevor Sie etwas kaufen.
2. Ihre eigenen Anfragen bei zwei oder drei Anbietern bepreisen, inklusive Caching, Batch und EU-Verarbeitung.
3. Daten klassifizieren: Was darf per Vertrag an eine Cloud-API, was muss bei Ihnen bleiben.
4. Ein offenes Modell an Ihren eigenen Aufgaben gegen das Cloud-Modell testen, das Sie sonst nutzen würden.
5. Wer ein eigenes Modell betreibt: Betriebszeit, Redundanz und Modell-Updates einplanen.
6. Lizenzen offener Modelle für Ihren Einsatz und Standort prüfen.
7. Vor jedes Modell ein Gateway setzen, damit Sie wechseln können.

Wie wir helfen können

Wir bauen individuelle RAG-Anwendungen und agentische KI-Anwendungen, die auf Cloud-APIs, auf offenen Modellen auf eigener oder gemieteter EU-Hardware oder auf beidem laufen, und richten Infrastruktur und Betrieb für selbst betriebene Modelle ein.

FAQ

Ist es günstiger, ein LLM lokal zu betreiben, als eine Cloud-API zu nutzen?

Für ein Unternehmen mit 100 Mitarbeitenden allein über den Preis meist nicht: Intensive Nutzung eines Cloud-Modells der Mittelklasse kostet zu Listenpreisen rund 2.000 $ im Monat, eine eigene GPU gemietet 1.200 bis 2.100 € im Monat plus die Ingenieurzeit für den Betrieb. Ein lokales Modell lohnt sich bei hohem, gleichmäßigem Volumen oder wenn Daten unter Ihrer Kontrolle bleiben müssen.

Welche Hardware brauchen wir für ein gutes offenes Modell?

Eine einzelne GPU mit 80 bis 96 GB Speicher betreibt Modelle wie gpt-oss-120b. Für Redundanz und Spitzen planen Sie zwei. Kleinere Modelle wie gpt-oss-20b laufen auf 16 GB.

Was kostet ein Cloud-LLM pro Mitarbeitendem?

In unseren Szenarien von wenigen Cent bis rund 5 $ im Monat pro Nutzer bei leichtem Assistenten-Einsatz und von rund 1 bis 20 $ im Monat pro Nutzer bei intensiver Arbeit mit Dokumenten und Agenten mit einem kleinen oder mittleren Modell. Coding-Agenten kosten mehr, rund 150 bis 250 $ pro Entwickler und Monat.

Dürfen wir Llama 4 in der EU nutzen?

Die multimodalen Llama-4-Modelle nicht: Metas Lizenz räumt Unternehmen mit Hauptsitz in der EU keine Rechte ein. Andere offene Modelle wie gpt-oss, Qwen 3.5 oder Mistral Small 4 sind unter Apache 2.0 verfügbar.

Ist eine Cloud-LLM-API mit der DSGVO vereinbar?

Das kann sie sein – mit Auftragsverarbeitungsvertrag, ohne Training mit Ihren Daten, mit klarem Verarbeitungsort und einer Rechtsgrundlage für jede Übermittlung außerhalb der EU. Für hochsensible Daten bevorzugen viele Unternehmen ein eigenes Modell.

Kosten EU-Datenresidenz-Optionen mehr?

Meist rund 10 %: OpenAIs EU-Verarbeitung für neuere Modelle und Claudes regionale Endpunkte bei AWS Bedrock und Google Vertex AI haben beide einen Aufschlag von 10 %.

Quellen

• Anthropic, Pricing und Data residency, abgerufen am 12. Oktober 2026
• OpenAI, API pricing und Your data, abgerufen am 12. Oktober 2026
• Google, Gemini API pricing; Mistral AI, pricing, abgerufen am 12. Oktober 2026
• Anthropic, Claude Code costs
• OpenAI, gpt-oss-120b model card; Meta, Llama 4 Acceptable Use Policy
• Hetzner, Preisanpassung für GPU-Server, Juni 2026; Scaleway, GPU pricing
• BDEW, Strompreisanalyse August 2026; NVIDIA, RTX PRO 6000 Blackwell
• SemiAnalysis, InferenceX: gpt-oss-120b on H100
• Datenschutzkonferenz, Orientierungshilfe KI und Datenschutz, Mai 2024

Categories

Über den Autor

Pavlo Yablonskyi

CTO & Co-Founder

Vollständiges Profil ansehen

CTO & Mitbegründer von Software Development Hub. Software-Ingenieur mit 20+ Jahren Erfahrung. Python/Django-Fan, Software-Architekt und IT-Teamleiter. Stets auf dem Laufenden mit technischen Trends. Ausgeprägte technische Fähigkeiten und vielfältiges Fachwissen in den Bereichen Software-Strukturdesign, Entwicklung, Teammanagement und Cybersicherheit.

Vollständiges Profil ansehen