KI-Ratgeber · 10 Min. Lesezeit
KI im Mittelstand einführen: der Leitfaden in 6 Schritten
Die meisten KI-Projekte im Mittelstand scheitern nicht an der Technik, sondern an der Reihenfolge: Es wird ein Werkzeug gekauft, bevor klar ist, welches Problem es lösen soll. Dieser Leitfaden dreht die Reihenfolge um – vom Prozess zur Technik, nicht andersherum.
Er basiert auf dem Vorgehen, mit dem wir seit 2019 KI-Projekte für mittelständische Unternehmen umsetzen, von der Industrie bis zum Gesundheitswesen.
Schritt 1: Einen Anwendungsfall auswählen – nicht zehn
Der häufigste Fehlstart ist die „KI-Strategie" als Sammelprojekt: zehn Ideen, ein Lenkungskreis, kein Ergebnis. Besser: ein Prozess, der vier Kriterien erfüllt:
- Häufig – er kommt täglich oder wöchentlich vor, nicht dreimal im Jahr.
- Teuer – er bindet spürbar Arbeitszeit oder verursacht Wartezeiten, die Kunden merken.
- Regelhaft mit Ausnahmen – er folgt einem Muster, ist aber zu variabel für starre Wenn-dann-Automatisierung.
- Messbar – du kannst heute beziffern, was er kostet (Stunden, Durchlaufzeit, Fehlerquote).
Typische Kandidaten aus unseren Projekten: Telefon- und E-Mail-Eingang qualifizieren, Dokumente auslesen und ins System übertragen, interne Wissensfragen beantworten, Angebots- und CRM-Nacharbeit. Was davon ein Agent, was ein Assistent und was klassische Automatisierung sein sollte, erklärt Was ist ein KI-Agent?.
Schritt 2: Datenlage nüchtern prüfen
KI-Qualität ist Datenqualität. Vor dem ersten Prototyp gehören drei Fragen auf den Tisch:
- Wo liegt das Wissen? In strukturierten Systemen (ERP, CRM), in Dokumenten (PDFs, Verträge, Handbücher) oder in Köpfen? Nur die ersten beiden kann eine KI direkt nutzen.
- Ist es aktuell und widerspruchsfrei? Ein KI-System, das aus drei Versionen derselben Preisliste schöpft, gibt selbstbewusst falsche Auskünfte. Aufräumen ist Teil des Projekts – das sollte ein Anbieter dir vorher sagen, nicht hinterher in Rechnung stellen.
- Dürfen wir es nutzen? Personenbezogene Daten, Kundenverträge und Gesundheitsdaten brauchen eine saubere Rechtsgrundlage, bevor sie in ein KI-System fließen.
Wichtig: Perfekte Daten sind keine Voraussetzung. Es reicht, wenn die Daten für den einen gewählten Anwendungsfall tragen.
Schritt 3: Datenschutz und Compliance früh klären
Datenschutz ist im Mittelstand der häufigste Grund, warum fertige KI-Piloten nie produktiv gehen. Deshalb gehört er an den Anfang, nicht ans Ende:
- Hosting: Für sensible Daten gibt es EU-Hosting und On-Premise-Optionen; welche Daten das Haus verlassen dürfen, wird pro Anwendungsfall entschieden.
- Auftragsverarbeitung: Mit jedem Modell- oder Cloud-Anbieter in der Kette braucht es einen AV-Vertrag; die Kette sollte dokumentiert sein.
- EU AI Act: Seit 2025/2026 greifen die Pflichten des europäischen KI-Gesetzes gestaffelt. Für die meisten Mittelstandsanwendungen heißt das vor allem: Transparenzpflichten und eine saubere Risikoeinstufung – kein Grund zur Panik, aber ein Grund für Dokumentation von Anfang an.
- Betriebsrat und Team: Wenn KI Arbeitsabläufe verändert, früh einbinden. Ein Pilot, der als Überwachung wahrgenommen wird, ist politisch tot, bevor er technisch fertig ist.
Wie wir das architektonisch lösen, steht unter DSGVO-konforme KI.
Erst der Prozess, dann die Technik – nie andersherum.
Schritt 4: Pilot in Wochen statt Konzept in Monaten
Ob ein KI-Anwendungsfall trägt, entscheidet sich am echten Prozess mit echten Daten – nicht in einem Foliensatz. Deshalb arbeiten wir iterativ: Nach dem Kick-off entsteht in der Regel innerhalb weniger Wochen ein funktionsfähiger Prototyp, der mit einem kleinen Nutzerkreis am Tagesgeschäft getestet wird.
Der Pilot sollte bewusst schmal sein: ein Prozess, eine Abteilung, klare Leitplanken (was darf die KI allein, was braucht Freigabe). Was der Pilot liefern muss, ist eine belastbare Antwort auf drei Fragen: Funktioniert es fachlich? Nutzen es die Leute freiwillig? Rechnet es sich hochgerechnet?
Ein seriöser Pilot darf auch scheitern – das ist billiger als ein gescheiterter Rollout. Wenn ein Anbieter Erfolgsgarantien verspricht, bevor er deine Daten gesehen hat, ist das ein Warnsignal (mehr dazu im Artikel KI-Agentur auswählen).
Schritt 5: Messen statt glauben
Vor dem Piloten wird die Baseline festgehalten: Wie viele Minuten kostet der Vorgang heute, wie lang ist die Durchlaufzeit, wie hoch die Fehler- oder Rückfragequote? Ohne diese Zahlen lässt sich hinterher nicht seriös sagen, ob sich das Projekt gelohnt hat.
Sinnvolle Messgrößen sind fast immer eine Kombination aus:
- Zeit – eingesparte Bearbeitungsminuten pro Vorgang × Vorgänge pro Monat
- Qualität – Fehlerquote, Nacharbeit, Eskalationen an Menschen
- Akzeptanz – wie oft wird das System freiwillig genutzt, wie oft übersteuert
Ein Ergebnis wie „der Agent beantwortet 70 % der Anfragen ohne Rückfrage, der Rest geht ans Team" ist ein Erfolg. 100 % sind nie das Ziel – die Ausnahmen gehören zu Menschen.
Schritt 6: In den Betrieb überführen
Der Unterschied zwischen einem Demo-Erfolg und einem Produktivsystem liegt im Betrieb:
- Monitoring: Antwortqualität, Kosten pro Vorgang und Fehlerfälle werden laufend beobachtet – Sprachmodelle und Datenbestände ändern sich, das System muss mitgepflegt werden.
- Schulung: Das Team muss wissen, was das System kann, was nicht, und wie man Fehler meldet. Eine Stunde Einführung spart Wochen an Frust.
- Verantwortung: Eine Person im Haus besitzt den Prozess – auch wenn eine Agentur den technischen Betrieb übernimmt.
- Ausbau: Erst wenn der erste Fall stabil läuft, kommt der zweite. Die Infrastruktur lässt sich wiederverwenden – der zweite Anwendungsfall ist fast immer deutlich günstiger als der erste.
Was Einführung und Betrieb kosten, schlüsselt Was kostet KI-Entwicklung? auf. Für die Finanzierung lohnt ein Blick auf Förderprogramme wie BAFA und ZIM.
FAQ
Häufige Fragen zur KI-Einführung
Wie lange dauert es, KI im Unternehmen einzuführen?
Ein funktionsfähiger Prototyp für einen klar umrissenen Prozess entsteht in der Regel innerhalb weniger Wochen nach dem Kick-off. Bis zum stabilen Produktivbetrieb inklusive Anbindung an Bestandssysteme, Schulung und Monitoring vergehen je nach Umfang typischerweise zwei bis sechs Monate.
Womit sollte ein mittelständisches Unternehmen bei KI anfangen?
Mit einem einzigen Prozess, der häufig vorkommt, spürbar Arbeitszeit bindet, einem Muster folgt und messbar ist – zum Beispiel Telefon- und E-Mail-Eingang, Dokumentenverarbeitung oder interne Wissensfragen. Ein fokussierter Pilot schlägt jede breite KI-Strategie ohne konkreten Fall.
Brauchen wir perfekte Daten, bevor wir mit KI starten können?
Nein. Es reicht, wenn die Daten für den einen gewählten Anwendungsfall aktuell und widerspruchsfrei genug sind. Gezieltes Aufräumen des relevanten Datenbestands ist normaler Bestandteil des Projekts – eine unternehmensweite Datenbereinigung vorab ist nicht nötig.
Was passiert mit unseren Daten – ist das DSGVO-konform machbar?
Ja. Entscheidend sind die Architektur und die Anbieterkette: EU-Hosting oder On-Premise für sensible Daten, Auftragsverarbeitungsverträge mit allen Dienstleistern und klare Regeln, welche Daten ein Modell überhaupt sieht. Sailrs setzt KI-Lösungen standardmäßig DSGVO-konform auf, auch für Branchen wie Gesundheitswesen oder Immobilien.
Ersetzt die KI Mitarbeitende?
In den Projekten, die wir umsetzen, übernimmt KI Routineanteile – wiederkehrende Anrufe, Dokumentenübertragung, Suchen in Unterlagen – und das Team übernimmt die Ausnahmen und die Freigaben. Ziel ist, dass dieselbe Mannschaft mehr Durchsatz mit weniger Routinearbeit schafft; realistisch ist Entlastung, nicht Ersatz.