Der moderne KI-Stack: Warum „ChatGPT oder Copilot?“ die falsche Frage ist

Der KI-Markt wirkt inzwischen wie ein Werkzeugkasten, der explodiert ist. LLMs, Agenten, RAG, Embeddings, MCP, Security, Observability, Memory, Automatisierung, Vektordatenbanken. Wer sich damit beschäftigt, kann schnell den Eindruck bekommen: Das ist viel zu kompliziert. Unsere Sicht bei Digital Skill: Ja, es ist komplexer geworden. Aber genau darin liegt die Chance.

Die KI-Welt ist erwachsener geworden

Vor nicht allzu langer Zeit war die Frage in vielen Organisationen relativ einfach:

„Nutzen wir ChatGPT, Copilot, Claude oder Gemini?“

Das war eine verständliche Frage. Sie war aber schon damals nur ein Teil der Wahrheit.

Heute reicht sie nicht mehr.

Denn KI ist nicht mehr nur ein Modell, dem man eine Frage stellt. KI ist ein Ökosystem geworden.

Ein modernes KI-Setup besteht nicht mehr nur aus einem Chatfenster. Es besteht aus verschiedenen Schichten, die zusammenarbeiten:

• Sprachmodelle als Intelligenzschicht

• RAG und Embeddings für eigenes Organisationswissen

• Agenten, die Aufgaben ausführen

• MCP und Schnittstellen, damit KI mit Tools sprechen kann

• Sicherheits- und Guardrail-Lösungen

• Observability, damit man sieht, was passiert

• Memory, damit Systeme nicht jedes Mal bei null starten

• Automatisierung, damit Ergebnisse in Prozesse fliessen

• Datenbanken und Vektorspeicher, damit Wissen auffindbar bleibt

Das ist viel.

Aber es ist auch eine gute Nachricht.

Warum das eine gute Nachricht ist

Wenn eine Technologie reifer wird, wird sie differenzierter.

Am Anfang wirkt alles einfach:

• Ein Tool.

• Ein Chat.

• Ein Prompt.

• Ein Ergebnis.

Aber sobald Organisationen KI ernsthaft nutzen wollen, entstehen neue Fragen:

• Woher kommt das Wissen?

• Wer darf was sehen?

• Welche Daten dürfen verarbeitet werden?

• Wie prüfen wir Qualität?

• Wie protokollieren wir Entscheidungen?

• Wie verhindern wir falsche oder riskante Antworten?

• Wie integrieren wir KI in bestehende Prozesse?

• Wer übernimmt Verantwortung?

Diese Fragen sind kein Zeichen dafür, dass KI zu kompliziert ist.

Sie sind ein Zeichen dafür, dass KI produktiv wird.

Die falsche Frage: Welches Modell ist das beste?

Viele Diskussionen drehen sich immer noch um Modellwahl.

ChatGPT oder Copilot?

Claude oder Gemini?

Open Source oder Closed Source?

Cloud oder lokal?

Das ist nicht unwichtig.

Aber es ist nicht die entscheidende Frage.

Die bessere Frage lautet:

Welche Schichten des KI-Stacks braucht unsere Organisation wirklich, in welcher Reihenfolge, und wer integriert sie sinnvoll in den Arbeitsalltag?

Das ist keine reine IT-Frage.

Das ist eine Frage von Architektur, Prozessen, Governance und Veränderungsfähigkeit.

Die wichtigsten Schichten des modernen KI-Stacks

Schauen wir die wichtigsten Ebenen etwas praxisnäher an.

1. LLMs: Die Intelligenzschicht

Hier sitzen Modelle wie ChatGPT, Claude, Gemini, Llama, Mistral und andere.

Sie sind die Grundlage.

Sie können:

• schreiben

• zusammenfassen

• strukturieren

• analysieren

• übersetzen

• Ideen entwickeln

• Code erzeugen

• Entscheidungen vorbereiten

Aber ein Modell allein ist noch keine KI-Strategie.

Ein LLM ohne Kontext bleibt generisch.

Es weiss viel.

Aber nicht zwingend das Richtige über deine Organisation.

2. RAG und Embeddings: Aus generischem Wissen wird Organisationswissen

RAG steht für Retrieval-Augmented Generation.

Vereinfacht gesagt:

Das Modell erhält Zugriff auf relevante Dokumente, Richtlinien, Wissensdatenbanken oder Prozessinformationen und beantwortet Fragen auf dieser Basis.

Das ist der Schritt von:

„Was weiss das Modell allgemein?“

zu:

„Was gilt bei uns?“

Für Verwaltungen, KMU und Organisationen ist genau das entscheidend.

Denn viele relevante Informationen stehen nicht im Internet.

Sie stehen in:

• internen Weisungen

• Protokollen

• Fachkonzepten

• Prozesshandbüchern

• SharePoint-Strukturen

• Formularen

• Richtlinien

• Projektdokumentationen

Ohne diese Schicht bleibt KI nett.

Mit dieser Schicht wird sie nützlich.

3. Agentic AI: KI beginnt zu handeln

Agenten sind Systeme, die nicht nur antworten, sondern Aufgaben ausführen können.

Sie können zum Beispiel:

• Informationen suchen

• Dokumente vergleichen

• Aufgaben planen

• Tools aufrufen

• Zwischenschritte ausführen

• Ergebnisse prüfen

• Workflows anstossen

Das klingt spannend. Ist es auch.

Aber es ist auch der Punkt, an dem Governance wichtig wird.

Denn sobald KI nicht nur formuliert, sondern handelt, entstehen neue Fragen:

• Welche Rechte hat der Agent?

• Welche Systeme darf er nutzen?

• Was darf automatisch passieren?

• Wo braucht es Freigabe?

• Was wird protokolliert?

• Wer haftet bei Fehlern?

Agenten sind keine Spielerei.

Sie sind ein nächster Reifegrad.

Aber nur, wenn sie sauber eingebettet sind.

4. MCP und Tool-Zugriff: KI spricht mit Systemen

MCP und ähnliche Ansätze versuchen, den Zugriff von KI-Agenten auf Tools und Systeme zu standardisieren.

Das Ziel:

KI soll nicht isoliert im Chatfenster bleiben, sondern mit Systemen arbeiten können.

Zum Beispiel mit:

• Dateien

• Kalendern

• CRM

• Ticketing

• Datenbanken

• Projektmanagement

• Kommunikationssystemen

• Fachapplikationen

Das ist mächtig.

Aber auch hier gilt:

Je mehr Zugriff, desto wichtiger sind Rechte, Protokollierung und klare Spielregeln.

5. Security und Guardrails: Niemand sollte KI blind produktiv setzen

Sobald KI in Prozesse kommt, braucht es Schutzmechanismen.

Nicht aus Angst.

Sondern aus Professionalität.

Es braucht Antworten auf Fragen wie:

• Welche Daten sind erlaubt?

• Welche Inhalte sind tabu?

• Was darf die KI nicht ausgeben?

• Wie verhindern wir Datenabfluss?

• Wie erkennen wir riskante Antworten?

• Wann braucht es menschliche Freigabe?

• Wie dokumentieren wir Entscheidungen?

Guardrails sind kein Innovationsbremser.

Sie sind die Voraussetzung, damit KI produktiv genutzt werden kann.

6. Observability: Wir müssen sehen, was passiert

In klassischen IT-Systemen ist Monitoring selbstverständlich.

Bei KI wird es oft vergessen.

Dabei ist es zentral.

Wenn KI-Systeme produktiv arbeiten, müssen wir nachvollziehen können:

• Welche Anfragen wurden gestellt?

• Welche Quellen wurden verwendet?

• Welche Tools wurden aufgerufen?

• Welche Antworten wurden generiert?

• Wo gab es Fehler?

• Wo wurden Grenzen verletzt?

• Wie gut war das Ergebnis?

Ohne Observability wird KI zur Blackbox.

Und Blackboxes sind in Organisationen selten eine gute Idee.

7. Memory: Vom Einmal-Chat zum kontinuierlichen Arbeitskontext

Viele KI-Anwendungen starten bei jedem Chat wieder bei null.

Das ist für einfache Aufgaben okay.

Aber für echte Arbeit ist es begrenzt.

Memory bedeutet:

• relevante Informationen bleiben verfügbar

• Projektkontext kann wiederverwendet werden

• Präferenzen werden berücksichtigt

• Arbeitsstände gehen nicht verloren

• Agenten bauen auf früheren Ergebnissen auf

Auch hier gilt:

Memory ist nützlich.

Aber Memory braucht Regeln.

Nicht alles soll gespeichert werden.

Nicht alles darf erinnert werden.

Nicht jeder Kontext gehört in jedes System.

8. Automatisierung: KI muss in den Prozess

Der grösste Fehler vieler KI-Projekte:

Die KI bleibt im Chatfenster.

Das Ergebnis wird kopiert.

Dann irgendwo eingefügt.

Dann manuell weiterverarbeitet.

Das kann für den Anfang reichen.

Aber echte Wirkung entsteht erst, wenn KI in Prozesse eingebunden wird.

Zum Beispiel:

• Formular kommt rein, Zusammenfassung wird erstellt

• Protokoll wird generiert, Aufgaben werden verteilt

• Kundenanfrage wird klassifiziert, Antwort vorbereitet

• Dokument wird geprüft, Risiken werden markiert

• Bericht wird erstellt, Freigabeprozess wird gestartet

Hier kommen Automatisierungstools ins Spiel.

Nicht als Selbstzweck.

Sondern als Verbindung zwischen KI und Arbeit.

9. Vektordatenbanken: Wissen auffindbar machen

Vektordatenbanken helfen dabei, Inhalte semantisch auffindbar zu machen.

Das bedeutet:

Es geht nicht nur um exakte Schlagwörter.

Es geht darum, ähnliche Bedeutungen zu finden.

Das ist wichtig für:

• Wissensdatenbanken

• Dokumentensuche

• RAG-Systeme

• Chatbots mit Organisationswissen

• Supportsysteme

• interne Assistenzsysteme

Für viele kleinere Organisationen ist das nicht der erste Schritt.

Aber es ist eine wichtige Schicht, sobald KI mit grösseren Wissensbeständen arbeiten soll.

Was bedeutet das für KMU und Verwaltungen?

Die gute Nachricht:

Nicht jede Organisation braucht sofort den ganzen Stack.

Niemand muss morgen 80 Tools evaluieren.

Die schlechte Nachricht:

Einfach nur ein Modell auswählen reicht langfristig auch nicht.

Der pragmatische Weg liegt dazwischen.

Digital-Skill-Sicht: Nicht alles bauen, sondern richtig starten

Wir würden nicht empfehlen, direkt mit der vollständigen Architektur zu beginnen.

Der bessere Start ist:

1. Use Cases identifizieren

Welche Aufgaben sind repetitiv, zeitintensiv oder wissenslastig?

Beispiele:

• Protokolle

• Bürgerkommunikation

• interne Richtlinien

• Entscheidungsgrundlagen

• Supportanfragen

• Recherche

• Dokumentenprüfung

• Wissensaufbereitung

2. Daten und Kontext klären

Welche Informationen braucht die KI wirklich?

Dokumente

Prozesse

Vorlagen

Richtlinien

frühere Entscheide

Fachwissen

Hier zeigt sich schnell, ob einfache Prompting-Nutzung reicht oder ob RAG, NotebookLM, M365-Strukturen oder eine Wissensbasis nötig werden.

3. Spielregeln definieren

Ohne Konventionen wird es chaotisch.

Es braucht klare Antworten auf:

• Welche Tools dürfen genutzt werden?

• Welche Daten sind erlaubt?

• Was muss geprüft werden?

• Wann braucht es Freigabe?

• Wie kennzeichnen wir KI-Nutzung?

• Wo sammeln wir gute Prompts und Beispiele?

4. Klein automatisieren

Nicht gleich End-to-End.

Sondern kleine Übergänge:

• aus Notizen wird Protokoll

• aus Protokoll wird Aufgabenliste

• aus Kundenmail wird Antwortentwurf

• aus Richtlinie wird FAQ

• aus Workshop wird Entscheidungsbriefing

So entsteht Wirkung.

Ohne Architekturmonster.

5. Beobachten und verbessern

KI-Systeme müssen beobachtet werden.

Nicht kompliziert, aber konsequent:

• Wo spart es Zeit?

• Wo entstehen Fehler?

• Wo fehlen Quellen?

• Wo ist der Output unbrauchbar?

• Wo braucht es bessere Daten?

• Wo braucht es mehr Schulung?

Das ist der Anfang von KI-Observability im Alltag.

Die eigentliche Aufgabe ist nicht Tool-Auswahl

Der moderne KI-Stack zeigt etwas sehr deutlich:

KI-Reife ist kein einzelner Kaufentscheid.

Es ist ein Entwicklungsprozess.

Von:

„Wir nutzen ChatGPT.“

zu:

„Wir wissen, welche Aufgaben wir mit KI lösen, welche Daten wir nutzen, welche Regeln gelten, welche Prozesse betroffen sind und wie wir Wirkung messen.“

Das ist der Unterschied.

Ein mögliches Reifegradmodell

Für Organisationen könnte der Weg so aussehen:

Stufe 1: Experimentieren

Einzelne Personen testen KI.

Typisch:

• ChatGPT

• Copilot

• Claude

• Gemini

Risiko:

• Wissen bleibt individuell

• keine Regeln

• keine Wiederverwendung

Stufe 2: Konventionen

Organisation definiert erste Spielregeln.

Typisch:

• erlaubte Tools

• Datenklassen

• Quellenprüfung

• Kennzeichnung

• 4-Augen-Prinzip

Nutzen:

• Sicherheit

• Orientierung

• weniger Wildwuchs

Stufe 3: Use Cases

Erste konkrete Anwendungen werden umgesetzt.

Typisch:

• Protokolle

• Zusammenfassungen

• Entscheidungsbriefings

• E-Mail-Entwürfe

• Wissensabfragen

Nutzen:

• messbare Wirkung

• Akzeptanz

• Lernkurve

Stufe 4: Wissensintegration

KI arbeitet mit eigenem Organisationswissen.

Typisch:

• RAG

• NotebookLM

• SharePoint-Wissen

• interne Dokumente

• Wissensdatenbanken

Nutzen:

• relevantere Antworten

• weniger generische Ergebnisse

Stufe 5: Agenten und Automatisierung

KI führt Schritte aus und ist in Prozesse eingebunden.

Typisch:

• Agenten

• MCP

• Automatisierungen

• Tool-Integration

• Workflows

Nutzen:

• Skalierung

• Prozesswirkung

• echte Entlastung

Stufe 6: Governance und Observability

KI wird professionell betrieben.

Typisch:

• Monitoring

• Logs

• Guardrails

• Rollen und Rechte

• Risikomanagement

• kontinuierliche Verbesserung

Nutzen:

• Verlässlichkeit

• Nachvollziehbarkeit

• Skalierbarkeit

Warum das für Digital Skill relevant ist

Genau hier liegt unser Thema.

Nicht:

„Welches Tool ist das beste?“

Sondern:

„Wie machen wir aus KI eine sichere, sinnvolle und messbare Arbeitsweise?“

Der moderne KI-Stack zeigt:

Technologie ist nur ein Teil.

Der Rest ist:

• Organisation

• Befähigung

• Prozesse

• Governance

• Datenqualität

• Veränderungsbereitschaft

Das ist kein reines IT-Projekt.

Das ist Organisationsentwicklung.

Discovery-Fragen für deine Organisation

Wenn du wissen willst, wo ihr steht, starte mit diesen Fragen:

• Nutzen einzelne Mitarbeitende KI bereits informell?

• Gibt es klare Regeln für erlaubte Tools und Daten?

• Welche drei Aufgaben könnten sofort von KI profitieren?

• Haben wir unser Wissen so strukturiert, dass KI damit arbeiten kann?

• Wo braucht es Quellenprüfung oder Freigabe?

• Welche Prozesse könnten durch KI unterstützt werden?

• Müssen wir nur prompten oder bereits Wissen integrieren?

• Wo brauchen wir Automatisierung?

• Wie messen wir Wirkung?

• Wer übernimmt intern Verantwortung für KI-Kompetenz und Governance?

Fazit

Der KI-Stack ist komplizierter geworden. Das ist keine schlechte Nachricht.

Es bedeutet, dass KI erwachsen wird. Aber genau deshalb reicht es nicht mehr, nur über Modelle zu sprechen. Die wichtigste Frage lautet nicht:

„Nutzen wir ChatGPT oder Copilot?“

Sondern:

Welche Schichten des KI-Stacks brauchen wir wirklich, in welcher Reihenfolge, und wie integrieren wir sie in unsere Arbeit? Für viele Organisationen heisst der erste Schritt nicht Tool-Auswahl.

Sondern:

• Use Cases klären

• Regeln definieren

• Mitarbeitende befähigen

• Daten strukturieren

• Wirkung messen

Dann wird aus KI kein Hype.

Sondern ein Werkzeug für bessere Arbeit.

Digital Skill

pragmatisch · sicher · messbar