KI im Mittelstand einführen: ein Ablauf in sechs Schritten

Wie führt ein kleines oder mittleres Unternehmen KI ein?

Mit einem einzigen, klar umrissenen Anwendungsfall, der häufig vorkommt und heute viel Handarbeit kostet. Diesen Fall testen Sie in einem zeitlich begrenzten Pilot mit festgelegtem Erfolgskriterium. Vorher klären Sie Datenschutz, Zuständigkeit und Schulung, danach entscheiden Sie anhand der Messung über den Ausbau.

Der Ablauf im Überblick:

Wo steht der Mittelstand bei KI heute?

KI ist im Mittelstand angekommen, aber noch nicht in der Breite. Nach dem Statistischen Bundesamt nutzten 2025 rund ein Viertel aller Unternehmen in Deutschland KI, bei kleinen Unternehmen weniger, bei großen deutlich mehr.

Quelle: Statistisches Bundesamt, Unternehmen mit Nutzung von KI-Technologien 2025, Stand 24.11.2025.

Aufschlussreich sind die Gründe, aus denen Unternehmen KI erwogen, aber noch nicht eingesetzt haben. Laut Destatis nannten 72 % fehlendes Wissen, 62 % Unklarheit über rechtliche Folgen, 60 % Bedenken beim Datenschutz und 32 % zu hohe Kosten. Die größten Hürden sind also Wissen und Rechtssicherheit, nicht das Geld. Genau dort setzen die folgenden Schritte an.

Welche Aufgaben eignen sich für den Einstieg?

Für den Anfang eignen sich Aufgaben, die oft vorkommen, nach wiederkehrenden Mustern ablaufen und deren Ergebnis ein Mensch schnell prüfen kann. Ungeeignet sind seltene Einzelfälle und Entscheidungen, bei denen ein Fehler teuer oder rechtlich heikel wäre.

Typische Einstiegsfälle

• E-Mail-Eingang sortieren: Anfragen erkennen, zuordnen und eine Antwort vorformulieren, die ein Mensch freigibt.
• Dokumente auslesen: Rechnungen, Lieferscheine oder Formulare lesen und die Daten in eine Tabelle oder Software übertragen.
• Texte entwerfen: Angebote, Stellenanzeigen, Produktbeschreibungen oder Protokolle als Entwurf erstellen.
• Wissen auffindbar machen: interne Handbücher, Preislisten und Vorlagen so durchsuchbar machen, dass Mitarbeitende Antworten mit Quellenangabe bekommen.

So bewerten Sie Kandidaten

Schreiben Sie für jede Aufgabe auf, wie oft sie anfällt, wie lange sie dauert und was ein Fehler kosten würde. Eine Aufgabe, die täglich anfällt und deren Ergebnis in einer Minute geprüft ist, ist ein guter Kandidat. Eine Aufgabe, die einmal im Quartal anfällt, lohnt den Aufwand selten. Hilfe beim Bewerten bietet der Ratgeber Automatisierungspotenzial erkennen.

Standardwerkzeug, Plattform oder eigene Lösung?

Das hängt davon ab, ob die KI nur Texte bearbeiten oder auch in Ihre Software eingreifen soll. Für Texte und Recherche reicht oft ein Standardwerkzeug, für Abläufe zwischen mehreren Programmen brauchen Sie eine Anbindung über Schnittstellen.

Welche Werkzeuge es konkret gibt und wie sie sich unterscheiden, beschreibt der Ratgeber Welche KI passt zu meinem Unternehmen?. Den Vergleich der Automatisierungswege finden Sie unter n8n, Make oder Eigenentwicklung.

Ein Beispiel für den dritten Weg: Bei einer Steuerkanzlei, für die SaracAI arbeitet, liest ein KI-Modell über einen eigens gebauten Connector Postfächer, die Mandantenakte und DATEV-Daten und bereitet Buchungen vor. Gebucht wird nur in noch nicht festgeschriebene Stapel, und die Kanzlei prüft die Ergebnisse. Eine solche Lösung lohnt sich erst, wenn Standardwerkzeuge an der Fachsoftware scheitern.

Was muss vor dem Start rechtlich geklärt sein?

Vor dem ersten Einsatz mit echten Daten sollten drei Dinge feststehen: wer welche Werkzeuge wofür nutzen darf, welche Daten hineindürfen und ob mit dem Anbieter ein Vertrag zur Auftragsverarbeitung besteht. Dazu kommt die Pflicht zur KI-Kompetenz aus der EU-KI-Verordnung.

Dieser Artikel ist keine Rechtsberatung. Lassen Sie konkrete Fragen von einer Rechtsanwältin, einem Rechtsanwalt oder Ihrer Datenschutzbeauftragten klären.

Datenschutz

Sobald personenbezogene Daten (Kundennamen, E-Mails, Mitarbeiterdaten) verarbeitet werden, gilt die DSGVO. Bei Cloud-Diensten brauchen Sie in der Regel einen Vertrag zur Auftragsverarbeitung nach Art. 28 DSGVO. Kostenlose Privatkonten von KI-Diensten sind für Firmendaten meist ungeeignet. Eine gute Orientierung gibt die Orientierungshilfe „Künstliche Intelligenz und Datenschutz“ der Datenschutzkonferenz vom 6. Mai 2024. Mehr dazu im Ratgeber KI und DSGVO.

EU-KI-Verordnung

Die Verordnung (EU) 2024/1689 gilt schrittweise. Seit dem 2. Februar 2025 gelten die Verbote bestimmter Praktiken (Art. 5) und die Pflicht zur KI-Kompetenz (Art. 4). Die Pflichten für Hochrisiko-Systeme wurden 2026 durch das sogenannte KI-Omnibus verschoben: Laut Europäischem Parlament gelten sie für Anwendungsfälle nach Anhang III ab dem 2. Dezember 2027 und für KI in regulierten Produkten ab dem 2. August 2028. Typische Büroanwendungen wie Textentwürfe oder Belegerkennung fallen in der Regel nicht unter Hochrisiko. Prüfen Sie den Einzelfall trotzdem, etwa bei KI in der Personalauswahl.

Interne Nutzungsrichtlinie

Eine Seite reicht oft. Sie sollte festhalten: erlaubte Werkzeuge, verbotene Daten (zum Beispiel Gesundheitsdaten oder Passwörter), die Pflicht, Ergebnisse vor der Weitergabe zu prüfen, und eine Ansprechperson für Fragen.

Wie bereite ich Mitarbeitende auf KI vor?

Mit einer kurzen, praxisnahen Schulung an den eigenen Aufgaben statt mit allgemeinen Vorträgen. Mitarbeitende müssen wissen, was das Werkzeug kann, wo es Fehler macht und welche Regeln gelten.

Wichtig sind vor allem drei Punkte:

• Halluzinationen: Sprachmodelle formulieren auch dann überzeugend, wenn der Inhalt falsch ist. Zahlen, Namen und Rechtsangaben müssen geprüft werden.
• Datenregeln: Was darf in das Werkzeug, was nicht.
• Verantwortung: Die KI liefert Entwürfe, die Entscheidung bleibt beim Menschen.

Beziehen Sie die Menschen ein, deren Aufgaben sich ändern. Sie kennen die Sonderfälle, an denen ein Pilot sonst scheitert. Zur Schulungspflicht nach Art. 4 gibt es einen eigenen Ratgeber: KI-Kompetenz nach Artikel 4.

Wie misst man, ob sich die KI-Einführung lohnt?

Legen Sie vor dem Pilot fest, woran Sie Erfolg erkennen, und messen Sie den Ausgangswert. Nach vier bis acht Wochen vergleichen Sie und entscheiden bewusst über Ausbau, Anpassung oder Abbruch.

Geeignete Messgrößen

• Bearbeitungszeit je Vorgang vorher und nachher, gestoppt an echten Fällen
• Anteil der KI-Ergebnisse, die ohne Korrektur übernommen werden
• Fehler, die erst später auffallen
• Zufriedenheit der Mitarbeitenden, die mit dem Werkzeug arbeiten

Typische Fehler beim Pilot

• Kein Ausgangswert: Ohne Messung vorher lässt sich hinterher nichts belegen.
• Zu breit gestartet: Fünf Anwendungsfälle gleichzeitig verwischen, was wirkt.
• Keine Zuständigkeit: Ohne eine verantwortliche Person versandet der Pilot.
• Laufende Kosten übersehen: Lizenzen, Nutzungsgebühren und Pflege laufen nach dem Pilot weiter. Welche Posten anfallen, zeigt der Ratgeber Was kostet KI im Unternehmen?.

Wo bekommen kleine Unternehmen Unterstützung?

Erste, kostenfreie Anlaufstelle sind die Mittelstand-Digital Zentren, die anbieterneutral zu Digitalisierung und KI beraten. Für die technische Umsetzung, etwa Schnittstellen zur Fachsoftware, brauchen Sie meist zusätzlich einen Dienstleister oder eigenes Personal mit Programmiererfahrung.

Die Angebote von Mittelstand-Digital werden vom Bundesministerium für Wirtschaft und Energie gefördert. Nach Angaben des Netzwerks läuft die aktuelle Förderphase Ende 2026 aus, ein neues Netzwerk ist ab 2027 geplant. Fragen Sie daher direkt beim Zentrum Ihrer Region nach freien Terminen. Zu Förderprogrammen allgemein informiert der Ratgeber Förderung der Digitalisierung.

Achten Sie bei externen Anbietern darauf, dass sie ihre Arbeit an echten Projekten zeigen können, Grenzen offen benennen und keine pauschalen Einsparversprechen machen. Seriöse Angaben zur Wirkung entstehen erst durch Messung im eigenen Betrieb.