Ich habe KI in drei Abteilungen getestet – das sind die realen Einsparungen

Bei Web Systems bauen wir seit fast zwanzig Jahren Webanwendungen, B2B-Systeme und Integrationen. Als generative KI den Markt aufzumischen begann, haben wir uns gesagt: Prüfen wir das am eigenen Leib. Nicht anhand fremder Case Studies, nicht anhand von Konferenzberichten. In unserem eigenen Software House in Łódź, am lebenden Organismus. Drei Monate lang haben wir KI-Werkzeuge in drei Abteilungen getestet: im Kundenservice, im Marketing und bei den Entwicklern. Jede Abteilung hatte andere Schmerzpunkte, doch der gemeinsame Nenner war einfach: Berge von sich wiederholenden Aufgaben, die die Zeit von Menschen auffressen, die eigentlich etwas Klügeres tun sollten. Was ist dabei herausgekommen? Viel und wenig zugleich. Bei manchen Prozessen lag die Zeitersparnis bei mehreren Dutzend Prozent. Aber der Weg zu dieser Ersparnis? Datenaufbereitung, Schulung des Teams, ständiges Herumfeilen an Prompts. Ich schreibe das, damit Sie unsere Fehler nicht wiederholen müssen. Wenn Sie sich fragen, ob KI die Kosten in Ihrem Unternehmen tatsächlich senkt, finden Sie hier Antworten aus der Praxis, nicht aus dem Werbeprospekt.

Warum wir genau diese drei Abteilungen für die KI-Tests gewählt haben

Bevor wir irgendein Modell in einer Produktivumgebung gestartet haben, mussten wir entscheiden, wo getestet wird. Wir haben drei Kriterien angesetzt: viele sich wiederholende Aufgaben, ein ordentliches Volumen an Texten zum Erzeugen oder Verarbeiten und die Möglichkeit, die Effekte mit harten KPIs zu messen. Kundenservice, Content-Marketing und die Entwicklungsabteilung – alle drei passten wie angegossen. Die Berater beantworteten täglich Dutzende ähnlicher Anfragen. Die Copywriter produzierten Artikel und Beschreibungen, die Recherche erforderten. Die Entwickler schrieben Unit-Tests und technische Dokumentation – mühselige Arbeit, aber irgendjemand muss sie machen.

Die Vorbereitung der Testumgebung hat zwei Wochen gedauert. Wir haben die Ausgangswerte gemessen: durchschnittliche Reaktionszeit auf ein Kundenticket, wie viele Stunden ein Blogartikel verschlingt, wie viel Zeit ein Programmierer für Tests und Dokumentation verbrennt. Diese Daten wurden unser “Vorher”, damit wir nach drei Monaten einen belastbaren Vergleich haben. Die Abteilungen arbeiteten parallel, aber unabhängig voneinander, damit die Ergebnisse der einen die der anderen nicht verfälschen.

Die Werkzeuge haben wir passend zur Art der Aufgaben im jeweiligen Bereich ausgewählt. Konkret:

• Kundenservice – ein RAG-Chatbot auf Basis der Claude API mit einer Vektordatenbank des Firmenwissens, integriert in das Ticketsystem
• Content-Marketing – GPT-4o als Assistent der Copywriter zum Erzeugen von Entwürfen, Outlines und Überschriftenvarianten mit menschlicher Prüfung
• Entwicklungsabteilung – GitHub Copilot zum Erzeugen von Code und Unit-Tests sowie die Claude API für Code Review und das Erstellen technischer Dokumentation
• Analyseebene – ein eigenes Dashboard zur Verfolgung von Produktivitäts- und Qualitätsmetriken in Echtzeit

Dadurch haben wir nicht nur die Leistung verglichen, sondern auch die Kosten der einzelnen APIs: wie viel sie vom Budget jeder Abteilung tatsächlich auffressen.

Kundenservice – ein RAG-Chatbot statt Standardantworten

Klassische Chatbots auf Basis von Entscheidungsbäumen und fertigen Vorlagen? Die nerven seit Jahren sowohl Kunden als auch Support-Teams. Wir wissen das aus eigener Erfahrung. Wir haben auf RAG gesetzt – Retrieval-Augmented Generation – also die Suche in unserer Wissensbasis kombiniert mit der Antwortgenerierung durch ein großes Sprachmodell. Hineingepackt haben wir technische Dokumentation, FAQ, die Historie gelöster Tickets und interne Prozeduren. Mehr als zweitausend Dokumente, in Fragmente zerlegt, in Embeddings umgewandelt und in eine Vektordatenbank geladen.

Und da fing die eigentliche Arbeit an. Denn die Qualität des Suchmechanismus ist das Fundament der gesamten Lösung. Wenn das System die falschen Fragmente zieht, erzeugt das Modell eine sprachlich glatte, inhaltlich aber danebenliegende Antwort. Völlig daneben. Deshalb haben wir die meiste Zeit mit dem Aufräumen der Quelldaten verbracht: Vereinheitlichung der Formate, Entfernen von Duplikaten, thematisches Tagging, Test verschiedener Chunking-Strategien. Wir haben Kohärenz, Relevanz und Antwortqualität gemessen und dann iterativ nachgebessert. Ohne Raten.

Der Suchmechanismus in RAG ist von kritischer Bedeutung. Sie brauchen die beste semantische Suche auf Basis einer sorgfältig aufbereiteten Wissensbasis, damit die abgerufenen Informationen zur Anfrage passen. Ein metrikgetriebener Ansatz – RAG Ops – der auf der Messung von Kohärenz, Relevanz und Fundierung der Antworten beruht, erlaubt es, die Qualität der erzeugten Inhalte iterativ zu optimieren.

– Google Cloud, Dokumentation der Gemini Enterprise Agent Platform

Die Ergebnisse nach drei Monaten? Bei einfachen Anfragen besser, als wir erwartet hatten. Die durchschnittliche Zeit bis zur ersten Antwort sank um 62%. Die Berater sind rund 40% der wiederkehrenden Fragen zu Status, Prozeduren und typischen technischen Problemen losgeworden. Aber – und das ist ein wichtiges “aber” – komplexe Fälle brauchten weiterhin einen Menschen. Der RAG-Chatbot hat keinen erfahrenen Spezialisten ersetzt. Er hat ihm stattdessen erlaubt, sich um die Fälle zu kümmern, die wirklich Denkarbeit erfordern.

Tipp 1: Die Qualität der Wissensbasis entscheidet stärker über die Wirksamkeit von RAG als die Wahl des Sprachmodells. Nehmen Sie sich vor der Einführung mindestens eine Woche Zeit für Audit, Deduplizierung und Strukturierung der Quelldokumentation – die Investition in Daten zahlt sich um ein Vielfaches schneller aus als Experimente mit verschiedenen LLMs.

Marketing und Content – Texterzeugung unter menschlicher Kontrolle

Bei uns im Marketing kam KI als Assistent herein, nicht als Ersatz. Und diese Unterscheidung hat sich als enorm wichtig erwiesen. Die Copywriter begannen, GPT-4o für erste Artikelfassungen, für Outlines aus dem Briefing und für Überschriftenvarianten für A/B-Tests zu nutzen. Der Prozess der Texterstellung selbst hat sich strukturell nicht verändert – Recherche am Anfang, Redaktion am Ende – aber die einzelnen Etappen wurden schneller. Vor allem die Recherche. KI schafft es in wenigen Sekunden, Informationen zusammenzutragen und zu verdichten, für die ein Mensch eine Stunde verbrennen würde.

Die Zahlen aus unseren Messungen: Zeit für den ersten Entwurf minus 45%. Themenrecherche minus 55%. Die Vorbereitung von Überschriftenvarianten und Meta-Beschreibungen, die einen Copywriter früher zwanzig Minuten gekostet hat, sank inklusive Prüfung auf drei Minuten. Insgesamt hat die Content-Marketing-Abteilung im Schnitt zwölf Arbeitsstunden pro Woche zurückgewonnen. Wir konnten die Content-Produktion um 60% steigern, ohne jemanden neu einzustellen. Aber, ehrlich gesagt, der rohe Output des Modells brauchte immer eine menschliche Korrektur. Immer.

Und hier kommen die Fallstricke. Das Modell erzeugte überzeugend klingende Statistiken, die sich nach der Prüfung als erfunden herausstellten. Ernsthaft, sie sahen absolut glaubwürdig aus. Zitate, die realen Personen zugeschrieben wurden? Frei erfunden. Der Ton der Texte ohne gute Anweisung im Prompt? Generisch und ohne Markencharakter. Jeder Artikel musste auf Zahlen, Eigennamen und Quellenverweise durchgekämmt werden. Ohne diese Etappe ist das Veröffentlichen von KI-Inhalten ein Ruf nach Ärger, sowohl fürs Image als auch inhaltlich.

Tipp 2: Prüfen Sie von KI erzeugte Daten immer vor der Veröffentlichung, das gilt besonders für Statistiken, Zitate und Verweise auf Studien. Halluzinationen von Sprachmodellen sind besonders gefährlich, weil sie glaubwürdig klingen. Führen Sie im Redaktionsprozess eine verpflichtende Faktenprüfung ein, unabhängig davon, wie gut der erzeugte Text wirkt.

Entwicklungsabteilung – KI in Code Review und Dokumentation

Unsere Programmierer sind der KI mit der größten Skepsis aller drei Abteilungen begegnet. Und das Paradox: Genau bei ihnen haben wir die stabilsten Zeitersparnisse gesehen. Wir haben GitHub Copilot für das tägliche Programmieren eingeführt und die Claude API für die Automatisierung von Code Review und technischer Dokumentation. Wo hat KI am meisten gebracht? Bei Aufgaben, die erfahrene Entwickler für mühselig, aber notwendig halten. Unit-Tests schreiben, sich wiederholende Muster refaktorieren, Docstrings für bestehenden Code. Solche Arbeit eben.

Das Erzeugen von Unit-Tests – hier kommen die Modelle überraschend gut zurecht. Nachdem Copilot die Signatur einer Funktion und einige vorhandene Tests gelesen hatte, schlug es Abdeckung für Edge Cases vor, an die der Entwickler nicht sofort gedacht hatte. Die Zeit fürs Testschreiben sank um rund 35% und die Codeabdeckung stieg, weil die Einstiegshürde – das Klopfen von Test-Boilerplate – praktisch verschwand. Technische Dokumentation mit der Claude API? Sie brauchte kleinere Korrekturen als die Marketinginhalte. Vermutlich, weil der technische Kontext eindeutig und weniger anfällig für Halluzinationen ist.

Man muss aber offen sagen, wo KI nicht mithalten kann. Architekturentscheidungen, die Wahl von Entwurfsmustern, komplexe Geschäftslogik, die ein Verständnis des Domänenkontexts erfordert – in diesen Bereichen waren die Vorschläge der Modelle flach oder schlicht irreführend. Wir haben das überprüft. Ein Entwickler, der den Entwurf einer Microservice-Architektur an die KI abgeben wollte, bekam Lösungen, die syntaktisch korrekt, strategisch aber naiv waren. Die Modelle erfassen die Trade-offs zwischen Skalierbarkeit und Komplexität nicht, sie kennen die Infrastruktur des Kunden nicht und sie sagen die Wartungsfolgen ihrer eigenen Vorschläge nicht voraus. Einfach nicht.

Tipp 3: Behandeln Sie KI wie einen fähigen Junior – schnell und wirksam bei einfachen, klar definierten Aufgaben, aber bei jeder größeren Herausforderung überprüfungsbedürftig. Mergen Sie von KI erzeugten Code niemals ohne Review durch einen erfahrenen Entwickler, besonders in den Bereichen Sicherheit, Autorisierung und Datenoperationen.

Harte Zahlen – Zusammenfassung der Ersparnisse nach drei Monaten

Nach einem Quartal Tests haben wir die Daten aus allen Abteilungen gesammelt und mit den Ausgangswerten verglichen. Die Ergebnisse haben bestätigt, was wir intuitiv gespürt haben: KI bringt echte Ersparnisse, aber ihr Ausmaß hängt stark von der Art der Aufgaben und der Qualität der aufbereiteten Daten ab. Hier die Übersicht:

1. Kundenservice: Verkürzung der Zeit bis zur ersten Antwort um 62%, Rückgang der Eskalationen einfacher Anfragen um 40%, Ersparnis von rund 30 Arbeitsstunden pro Monat und Berater, Anstieg der Kundenzufriedenheit gemessen am NPS um 8 Punkte
2. Content-Marketing: Verkürzung der Zeit für den Artikelentwurf um 45%, Beschleunigung der Recherche um 55%, 12 zurückgewonnene Arbeitsstunden pro Woche im Team, Steigerung der Content-Produktion um 60% ohne zusätzliche Stelle
3. Entwicklungsabteilung: Verkürzung der Zeit fürs Schreiben von Unit-Tests um 35%, Beschleunigung der technischen Dokumentation um 50%, Anstieg der Testabdeckung um 15 Prozentpunkte, Ersparnis von durchschnittlich 8 Stunden pro Woche und Entwickler

Und die Kosten? API-Abonnements (Claude API, GPT-4o, GitHub Copilot), Zeit für die Integration mit bestehenden Systemen, Schulung der Teams. Insgesamt rund 2.800 Złoty monatlich für ein zwölfköpfiges Team. Angesichts des Werts der eingesparten Arbeitszeit hat sich die Investition schon im zweiten Monat amortisiert. Klingt großartig, oder? Doch diese Rechnung lässt die versteckten Kosten aus, die man am Anfang leicht übersieht.

Zu den indirekten Kosten gehören die Zeit der Ingenieure für den Aufbau der Integrationen, das regelmäßige Aktualisieren der RAG-Wissensbasis, das ständige Nachbessern der Prompts und das Löschen von Bränden nach Änderungen in den APIs der Modellanbieter (ja, das passiert häufiger, als uns lieb ist). Der Betrieb eines RAG-Systems erfordert dauerhafte Pflege der Daten. Jede neue Prozedur, jede Änderung im Angebot, jede Aktualisierung der Dokumentation muss in die Vektordatenbank gelangen. Sonst antwortet der Chatbot veraltet. Diese Kosten sind nicht dramatisch, aber sie wachsen mit dem Umfang der Einführung und dürfen bei der ROI-Rechnung nicht übergangen werden.

Die häufigsten Fehler bei der Einführung von KI im Unternehmen

In drei Monaten haben wir genug Pannen gesammelt, um eine ordentliche Liste von Warnungen zu füllen. Fehler Nummer eins und der schwerwiegendste: KI-Werkzeuge einzuschalten, ohne vorher Erfolgsmetriken zu definieren. Ohne Bezugspunkt können Sie nicht objektiv beurteilen, ob die Einführung Wert schafft oder nur Geld verbrennt. Messen Sie den Ist-Zustand, bevor Sie irgendetwas einschalten: Bearbeitungszeit der Aufgaben, Anzahl der Fehler, Stückkosten des Prozesses. Danach vergleichen Sie. Viele Manager überspringen diesen Schritt und können das Projekt später vor der Geschäftsführung nicht begründen. Ich habe das mehr als einmal gesehen.

Fehler Nummer zwei: der Versuch, alles auf einmal zu automatisieren. Ein Unternehmen, das KI gleichzeitig in fünf Abteilungen einführt, endet meist mit fünf unfertigen Pilotprojekten statt einem gelungenen. Die bessere Strategie? Ein Bereich mit dem höchsten Renditepotenzial. Sie führen ihn zu stabilen Ergebnissen. Erst dann skalieren Sie. Wir haben mit drei Abteilungen gleichzeitig begonnen, weil wir die Entwicklerressourcen hatten – die meisten Firmen haben diesen Komfort nicht und sollten mit einem einzigen Piloten starten.

Die dritte Falle sind Datensicherheit und DSGVO. Kundendaten ohne rechtliche Prüfung an externe APIs von Sprachmodellen zu schicken? Das ist ein Risiko, das mehr kosten kann als alle Ersparnisse durch KI zusammen. Prüfen Sie die Bedingungen der Datenverarbeitung bei jedem Anbieter, erwägen Sie die Anonymisierung sensibler Informationen vor dem Versand an das Modell, sprechen Sie mit einem Anwalt für Datenschutz. Und das vierte Problem ist das Fehlen eines Human in the Loop, also blindes Vertrauen in die Ergebnisse der KI. Jedes Modell halluziniert. Jedes macht Fehler. Die Frage ist nur, ob jemand sie auffängt, bevor es zu spät ist.

FAQ

Was kostet die Einführung von KI in einem kleinen oder mittleren Unternehmen und womit fängt man an?

Das hängt vom Umfang und vom Vorgehen ab. Allein die APIs der Sprachmodelle bedeuten für ein kleines Team eine Ausgabe von 200-800 Złoty monatlich – die Claude API und GPT-4o rechnen nach Tokens ab, GitHub Copilot kostet rund 80 Złoty pro Nutzer. Der größere Posten ist oft die Integration mit bestehenden Systemen und die Datenaufbereitung: bei einer RAG-Lösung können das einige Tage bis einige Wochen Ingenieursarbeit sein. Wie fängt man an? Mit einem Pilotprojekt in einer Abteilung. Wählen Sie den Bereich mit der größten Zahl sich wiederholender Aufgaben, messen Sie die Ausgangswerte, führen Sie ein einziges Werkzeug ein und bewerten Sie die Ergebnisse nach einem Monat. Bestätigt der Pilot die Ersparnisse, erweitern Sie. Dieses Vorgehen minimiert das finanzielle Risiko und erlaubt es, im kleinen Maßstab zu lernen, bevor Sie ernstes Geld in eine vollständige Automatisierung stecken.

Zusammenfassung

Drei Monate KI-Tests bei Web Systems haben eines über jeden Zweifel hinaus gezeigt: KI ist ein mächtiges Werkzeug, aber kein Zauberstab. Echte Ersparnisse entstehen dann, wenn Sie ordentlich aufbereitete Daten, klar definierte Metriken und einen Menschen haben, der das Ganze im Blick behält. Der RAG-Chatbot hat die Berater entlastet, aber wochenlange Kur an der Wissensbasis war die notwendige Bedingung. Der Assistent der Copywriter hat die Content-Produktion beschleunigt, aber jeder Text ging trotzdem durch menschliche Hände. KI in der Entwicklungsabteilung? Sie kommt mit Tests und Dokumentation hervorragend zurecht. Aber Architekturentscheidungen? Die bleiben die Domäne erfahrener Ingenieure. Und das noch lange.

Fragen Sie nicht, ob KI sich lohnt. Fragen Sie, wo bei Ihnen sich wiederholende Aufgaben die Zeit von Menschen auffressen, die etwas Wertvolleres tun könnten. Dort starten Sie den Piloten, messen die Effekte und entscheiden erst auf Basis der Daten über die Skalierung. Unternehmen, die methodisch vorgehen – Pilot in einer Abteilung, schrittweise Erweiterung – erzielen bessere Ergebnisse als jene, die alles auf einmal automatisieren wollen.

Wenn Sie die Einführung von KI in Ihrem Unternehmen erwägen, sei es ein Chatbot für den Kundenservice, die Automatisierung des Content-Marketings oder Unterstützung für Ihr Entwicklungsteam, nehmen Sie Kontakt mit uns bei Web Systems auf. Wir helfen Ihnen, ein auf die Besonderheiten Ihres Geschäfts zugeschnittenes Pilotprojekt zu planen, KI-Werkzeuge in bestehende Systeme zu integrieren und die realen Ersparnisse zu messen. Seit 2006 bauen wir Lösungen, die in der Produktion laufen, nicht auf Präsentationsfolien.