Nicht nur KI halluziniert gelegentlich. Auch zahlreiche Unternehmen tun es. Sie glauben, das nächste KI-Modell werde endlich den Durchbruch bringen. Dabei scheitern viele KI-Initiativen nicht am Modell, sondern an einer Architektur, die Daten zwar speichert, ihre Bedeutung aber nicht abbildet. Solange Unternehmenswissen fragmentiert bleibt, reproduziert auch die nächste Generation von KI dieselben Probleme. Der eigentliche Wettbewerbsvorteil mit KI liegt in der Art, wie Unternehmen ihren Kontext organisieren und für KI nutzbar machen.
Die Harvard Business Review stellt Führungskräften seit Jahrzehnten eine unbequeme Frage:
»Are you solving the right problem?«
Bei Enterprise AI lässt sich diese Frage kaum vermeiden, denn die naheliegende Antwort ist meist die falsche.
Die meisten C-Level-Verantwortlichen definieren ihr KI-Problem als Modellproblem: welches System, welcher Anbieter, welche Fähigkeiten. Die Zahlen zeigen etwas anderes. Ihr Unternehmen hat vermutlich schon Millionen in KI investiert. Die realistische Erfolgsquote: Bei 95 von 100 vergleichbaren Initiativen kommt davon nichts im Ergebnis an.
Das ist keine Polemik. Project NANDA am MIT („The GenAI Divide: State of AI in Business 2025", Juli 2025) wertete über 300 offengelegte KI-Initiativen aus und sprach mit 52 Organisationen sowie 153 Führungskräften. Bei 95 Prozent ließ sich kein messbarer Ergebniseffekt nachweisen, trotz 30 bis 40 Milliarden US-Dollar an Investitionen. Als Erfolg zählte dabei nur eine anhaltende Wirkung auf Produktivität oder Ergebnis, bestätigt von Nutzern und Führung. Ein strenger Maßstab, der die Frage verschiebt: Kommt die Technologie im Ergebnis an?
Die Größenordnung steht nicht allein. BCG berichtet 74 Prozent ohne greifbaren Wert, RAND über 80 Prozent gescheiterte KI-Projekte, doppelt so viele wie ohne KI. Drei Methodiken, ein Befund.
Enterprise AI scheitert nicht an Modellen. Sie scheitert daran, dass Unternehmenswissen keine Architektur hat. Die IT-Abteilung ist dabei nur ein Teil des Bildes.
Das typische „Wrong Problem“-Szenario bei Enterprise AI lautet: Es wird über KI-Modelle diskutiert, obwohl längst über Kontext entschieden werden müsste. Warum ist das so? Wie erkennen Organisationen, dass sie auf dem richtigen Weg sind? Und welcher Business Value kann entstehen, wenn Unternehmen das Thema Enterprise AI richtig angehen?
In diesem Beitrag:
1. KI ist kein Experiment mehr. Sie wird zur Infrastruktur.
88 Prozent der Unternehmen setzen KI bereits in mindestens einer Geschäftsfunktion ein (McKinsey Global AI Survey, 2025). Die Frage hat sich damit verschoben, von der Modellwahl zur Betriebsfähigkeit: Wie bringen Unternehmen KI sicher, skalierbar und nachvollziehbar in den Betrieb?
In seinen Prognosen für 2026 geht Gartner davon aus, dass universelle semantische Schichten bis 2030 als kritische Infrastruktur gelten werden, auf einer Stufe mit Datenplattformen und Cybersicherheit (Gartner, Top Predictions for Data and Analytics 2026). Der Engpass verschiebt sich damit von der Modellwahl zur Unternehmensarchitektur, einer strategischen Frage von zunehmendem Gewicht.
Genau hier setzen viele Strategien noch immer falsch an. Budgets fließen in neue Modelle, Lizenzen und Piloten, während die eigentliche Engstelle unangetastet bleibt. Solange diese Engstelle besteht, trifft jedes neue Modell auf dieselbe Grenze, nur mit höheren Kosten.
2. Warum bessere Modelle allein den Business Impact nicht erhöhen
Modelle werden leistungsfähiger, Quartal für Quartal. Der Effekt auf das Geschäft bleibt trotzdem meist aus. BCG stellt fest, dass 74 Prozent der Unternehmen bislang keinen greifbaren Wert aus ihren KI-Initiativen ziehen konnten, und das, obwohl Unternehmen weltweit laut Stanford HAI AI Index 2025 allein 2024 rund 252 Milliarden US-Dollar in KI investiert haben.
Die immer gleichen Symptome tauchen dabei auf, unabhängig von Branche oder Modellwahl:
-
KI versteht den Unternehmenskontext nur eingeschränkt.
-
Wissen bleibt in Silos verteilt.
-
Ergebnisse sind schwer nachvollziehbar.
-
Automatisierung endet an fachlichen Ausnahmen.
Die Ursache liegt in der fehlenden strukturellen Grundlage, auf der Modelle überhaupt etwas Sinnvolles mit Unternehmensdaten anfangen können.
Bezeichnend ist, dass genau die Unternehmen, die intern die größten Fortschritte mit generativer KI melden, in der Breite oft dieselben Ausfälle produzieren. Einzelne Teams berichten von Produktivitätsgewinnen, während sich diese Erfolge nicht in Umsatz, Marge oder Risikoreduktion niederschlagen. Der Grund liegt meist nicht im Team, sondern im Mangel an Skalierbarkeit über Abteilungsgrenzen hinweg.
3. Das eigentliche Problem liegt unterhalb der KI
Die Informatica CDO Insights 2025 zeigen, woran es liegt: Die größten Hindernisse, GenAI-Piloten in den produktiven Betrieb zu bringen, sind Datenprobleme (43 %), technologische Hürden (43 %) und organisatorische Faktoren wie fehlende Prozesse und Kompetenzen (35 %). Die RAND Corporation kommt in einer eigenen, unabhängigen Studie zu einem ähnlichen Befund über einen anderen Weg: Mehr als 80 Prozent der KI-Projekte scheitern, doppelt so oft wie klassische IT-Projekte, und die häufigste Ursache liegt in falsch gerahmten Problemstellungen und mangelnder Führung, deutlich vor rein technischen Faktoren.
4. Warum Kontext zur strategischen Ressource wird
Für das C-Level ist das mehr als eine technische Debatte. Es ist eine Frage von Risiko, Geschwindigkeit, Kosten, Skalierung, Governance und Investitionsschutz, sechs Dimensionen, die alle auf derselben Grundlage aufbauen: einer Architektur für Unternehmenswissen.
-
Risiko: Ohne nachvollziehbaren Kontext werden KI-Entscheidungen zur Black Box, mit entsprechenden Haftungs- und Reputationsfolgen.
-
Geschwindigkeit: Jede neue KI-Anwendung, die bei null beginnt, kostet Monate, die eine wiederverwendbare Wissensbasis einsparen würde.
-
Kosten: Ohne gemeinsame semantische Grundlage vervielfachen sich Integrationsaufwand und Wartungskosten mit jeder neuen Anwendung.
-
Skalierung: Pilotprojekte bleiben Pilotprojekte, wenn das zugrunde liegende Wissen nicht über Abteilungsgrenzen hinweg nutzbar ist.
-
Governance: Regulatorische Anforderungen an Nachvollziehbarkeit lassen sich nur erfüllen, wenn Entscheidungslogik dokumentiert und geprüft werden kann.
-
Investitionsschutz: Modelle wechseln in kurzen Zyklen, eine Wissensarchitektur bleibt über Modellwechsel hinweg bestehen.
Daraus folgt die zentrale These dieses Beitrags: Unternehmen konkurrieren künftig nicht in erster Linie über das beste Modell. Sie konkurrieren darüber, wie schnell und wie zuverlässig sie ihr Unternehmenswissen für KI nutzbar machen. Enterprise AI scheitert nicht an Modellen. Sie scheitert daran, dass Unternehmenswissen keine Architektur hat.
Kontext meint in diesem Zusammenhang mehr als Daten: fachliche Bedeutung, Beziehungen zwischen Entitäten, geltende Regeln, Zeitbezug, Verantwortlichkeiten und die Logik, nach der ein Unternehmen tatsächlich funktioniert. Erst wenn diese Elemente strukturiert vorliegen, entstehen Entscheidungen, die sich nachvollziehen lassen, für Menschen ebenso wie für KI-Systeme. Ohne diesen Kontext bleibt jede Automatisierung an der ersten Ausnahme stehen, die sie nicht kennt.
5. Die Architekturfrage hinter Enterprise AI
KI wird zunehmend Teil der Unternehmensarchitektur. Damit wird eine Frage entscheidend, die in vielen KI-Strategien bislang fehlt: Welche Architektur schafft einen gemeinsamen Kontext über bestehende Systeme hinweg, über ERP, CRM, Fachanwendungen und Datensilos gleichermaßen?
Genau hier setzen Konzepte wie semantische Datenplattformen, Knowledge Graphs (semantische Wissensebenen) und Ontologien (wiederverwendbares, über Modelle hinweg gültiges Unternehmenswissen) an. Sie zählen inzwischen zu den zentralen Architekturentscheidungen der kommenden Jahre.
6. Was Semantic Intelligence leistet
Semantic Intelligence schafft einen gemeinsamen, maschinenlesbaren Kontext über bestehende Systeme hinweg, nutzbar für Menschen, Anwendungen und KI-Systeme gleichermaßen.
Gartner ordnet diese Entwicklung inzwischen auf Vorstandsebene ein. Gartner-Analystin Rita Sallam wies auf dem Gartner Data & Analytics Summit in London im Mai 2026 darauf hin, dass KI-Agenten ohne ein klares Verständnis der spezifischen Beziehungen und Regeln in Unternehmensdaten deutlich anfälliger für Fehler, Verzerrungen und unzuverlässige Ergebnisse sind. Ihre Einordnung: „Context with semantic coherence will become a cost-control and trust strategy, not a nice-to-have.“ Gartner geht davon aus, dass Unternehmen, die Semantik in ihren KI-Daten priorisieren, ihre Agentic-AI-Genauigkeit bis 2027 um bis zu 80 Prozent steigern und ihre Kosten um bis zu 60 Prozent senken können (Gartner, Mai 2026).
7. Was sich dadurch verändert
Sobald diese semantische Grundlage steht, verändert sich der Business Impact spürbar:
-
fundiertere Entscheidungen auf Basis von Zusammenhängen statt Einzeldaten
-
nachvollziehbare, auditierbare KI-Ergebnisse
-
wiederverwendbares Wissen statt Silo-Lösungen
-
intelligentere Automatisierung, die auch an Ausnahmen nicht abbricht
-
geringeres operatives und regulatorisches Risiko
-
schnellere Einführung neuer KI-Anwendungen, weil die Grundlage bereits steht
Gartner zieht daraus eine klare Konsequenz: Der Aufbau einer universellen semantischen Schicht gilt als Pflichtaufgabe für Daten- und Analytics-Verantwortliche, und Budget für semantische Fähigkeiten als nicht verhandelbare Grundlage. Bis 2030 erwartet Gartner, dass universelle semantische Schichten als kritische Infrastruktur behandelt werden, auf einer Stufe mit Datenplattformen und Cybersicherheit (Gartner, Top Predictions for Data and Analytics 2026). Semantische Infrastruktur wird damit zur Budgetfrage auf Vorstandsebene.
8. Wie Bardioc diese Grundlage schafft
Viele Anbieter sprechen heute über Knowledge Graphs, Semantic Layer oder Semantic AI. Der Unterschied liegt darin, was auf dieser Ebene tatsächlich passiert, sobald die Bedeutung von Daten erfasst ist.
Bardioc ist eine KI-gestützte Datenplattform. Sie stellt eine semantische Wissensebene über bestehenden Systemen bereit und macht diese Ebene aktiv nutzbar – durch eine Reasoning-Komponente, die auf semantischen Modellen aufbaut, nicht auf reiner statistischer Wahrscheinlichkeit. Entscheidungen werden dadurch begründbar und prüfbar, nachvollziehbar für Menschen, Anwendungen und KI-Systeme gleichermaßen.
Datenquellen werden über einen semantischen Wissensgraphen miteinander verbunden, mit einer Ontologie, die IT, Organisation und Business Operations gleichermaßen abbildet und als wiederverwendbares Unternehmenswissen erhalten bleibt, unabhängig davon, welches Modell darauf zugreift.
Damit wird die semantische Wissensebene zum Fundament für Enterprise AI. Modelle kommen und gehen. Die Architektur, die ihre Entscheidungen nachvollziehbar macht, bleibt.
9. Fazit
Die Diskussion um Enterprise AI verschiebt sich von der Modellwahl zur Architektur. Modelle werden zunehmend austauschbar, in Leistung wie in Anbieterwahl. Der nachhaltige Wettbewerbsvorteil entsteht nicht im Modell selbst, er liegt in der Ebene darunter: einer gemeinsamen Wissens- und Kontextschicht, die Bedeutung, Regeln und Zusammenhänge über das gesamte Unternehmen hinweg abbildet.
Enterprise AI scheitert nicht an Modellen. Sie scheitert daran, dass Unternehmenswissen keine Architektur hat. Wer diese Architektur nicht aufbaut, reproduziert mit jedem neuen Modell dieselben 95 Prozent Enttäuschung, nur schneller und teurer.
Für das C-Level heißt das: Die Entscheidung über die eigene KI-Architektur wird langfristig wichtiger sein als die Wahl des nächsten Modells. Genau diese Neubewertung steht für die meisten Unternehmen jetzt an.
Kontaktieren Sie uns und Erfahren Sie mehr über die richtige Architektur für Ihr Unternehmenswissen.
Quellen
- Harvard Business Review, „Are You Solving the Right Problem?“ (Dwayne Spradlin, 2012) https://hbr.org/2012/09/are-you-solving-the-right-problem
- MIT Project NANDA, „The GenAI Divide: State of AI in Business 2025“, Juli 2025 https://web.archive.org/web/20250818145714/https://nanda.media.mit.edu/ai_report_2025.pdf
- McKinsey, „The State of AI in 2025“, November 2025 https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai
- BCG, „Where's the Value in AI?“, Oktober 2024 https://www.bcg.com/publications/2024/wheres-value-in-ai
- Stanford HAI, „AI Index Report 2025“ https://hai.stanford.edu/ai-index/2025-ai-index-report/economy
- RAND Corporation, „The Root Causes of Failure for Artificial Intelligence Projects and How They Can Succeed“, RR-A2680-1, August 2024 https://www.rand.org/pubs/research_reports/RRA2680-1.html
- Informatica, „CDO Insights 2025“ https://www.informatica.com/blogs/cdo-insights-2025-global-data-leaders-racing-ahead-despite-headwinds-to-being-ai-ready-latest-survey-finds.html
- Gartner, „Top Predictions for Data and Analytics in 2026“, Orlando, 11. März 2026 https://www.gartner.com/en/newsroom/press-releases/2026-03-11-gartner-announces-top-predictions-for-data-and-analytics-in-2026
- Gartner, „Lack of Semantics Causes Inaccurate AI Agents and Wasted Spending“, London, 11. Mai 2026 https://www.gartner.com/en/newsroom/press-releases/2026-05-11-gartner-says-lack-of-semantics-causes-inaccurate-artificial-intelligence-agents-and-wasted-spending