AI-Act-Dokumentationspflicht: Was Mittelständler aufschreiben müssen — und was reicht

„Was muss ich denn jetzt eigentlich aufschreiben?“ — die Frage stellte mir letzte Woche ein Steuerberater im Erstgespräch. Er nutzt ChatGPT für die ersten Drafts von Mandanten-Mails, das Praxisteam nutzt Microsoft Copilot in den Outlook-Postfächern, und einer der Mitarbeiter hat einen eigenen KI-Workflow für Belegerkennung aufgesetzt. Die Frage war berechtigt — und die Antwort ist deutlich pragmatischer, als die meisten Beratungs-Anbieter behaupten.

Hier kommt die Anleitung, was wirklich zu dokumentieren ist, in welcher Form, und wer was wirklich braucht.

Was der AI Act in puncto Dokumentation für Anwender wirklich verlangt

Wichtig vorab: Die große Dokumentations-Pflicht im AI Act trifft die Anbieter von Hochrisiko-KI-Systemen — die müssen technische Dokumentation, Risiko-Management-Verfahren, Logging-Systeme und Konformitäts-Bewertungen vorhalten. Das ist OpenAI, das ist Anthropic, das sind Hersteller von KI-Software für Hochrisiko-Anwendungen.

Für dich als Anwender — als Mittelständler, der KI-Tools im Alltag nutzt — sieht die Pflicht anders aus. Aus Art. 4 (KI-Kompetenz) und Art. 26 (Pflichten von Betreibern) ergeben sich vier konkrete Anforderungen:

1. Du musst nachweisen können, dass dein Team über ausreichende KI-Kompetenz verfügt (= Schulungs-Nachweis).
2. Du musst die Anweisungen des KI-Anbieters einhalten (= Use-Case-Konformität).
3. Du musst bei Hochrisiko-Systemen ein menschliches Aufsichts-Konzept haben (= Kontroll-Protokoll).
4. Du musst bei automatisierter Entscheidung im Sinne der DSGVO (Art. 22) das transparent machen (= Datenschutz-Hygiene).

Mehr ist es nicht. Wer dir ein „AI-Act-Compliance-Paket für 6.000 EUR“ verkauft, verkauft dir vor allem Verkaufs-Lärm.

Die vier Bausteine, die reichen

Baustein 1 — KI-Tool-Inventar

Eine einfache Liste: welche KI-Tools werden im Unternehmen genutzt, von wem, mit welchem Zweck, seit wann. Format: Excel, Notion, Confluence, oder eine Word-Tabelle.

Spalten:

• Tool-Name (ChatGPT, Microsoft Copilot, Claude, ein eingebauter KI-Assistent, eigene Custom-Tools)
• Anbieter (OpenAI, Microsoft, Anthropic, eigene Entwicklung)
• Vertrags-Tarif (Free, Plus, Team, Enterprise — wichtig für DSGVO-Bewertung)
• Eingesetzt seit (Datum)
• Nutzer-Gruppe (alle, nur Geschäftsführung, nur Marketing, nur ein bestimmter Mitarbeiter)
• Use-Case (Texte schreiben, Recherche, Übersetzungen, Bild-Generierung, Buchhaltung-Vorabprüfung)
• Daten-Sensibilität (öffentlich / intern / personenbezogen / besonders sensibel)
• Verantwortlicher (intern, meist Geschäftsführung)

Das Inventar wird quartalsweise aktualisiert. Wer hat ein neues Tool eingeführt? Wer hat eines abgeschafft? Stand-Datum drauf.

Baustein 2 — Schulungs-Nachweis

Pro Mitarbeiter, der KI-Tools nutzt, ein Eintrag: Datum der Schulung, Inhalte (kurz), Teilnehmer-Signatur (digital oder physisch). Plus eine kurze Richtlinie, was in den Schulungen behandelt wurde — typisch:

• Was ist ein Sprachmodell, was ist Halluzination,
• Was darf in den Prompt rein (DSGVO), was nicht,
• Wie wird ein KI-Ergebnis kontrolliert (Vier-Augen-Prinzip, Quellen-Verifikation),
• Was ist Hinweispflicht bei generierten Inhalten (Art. 50),
• Wer ist Ansprechpartner bei Fragen.

Format: Tabelle in Excel, plus ein Word-Dokument mit der Schulungs-Agenda. Mehr nicht nötig. Wer extern schult, hat das Zertifikat als Beleg — wer intern schult, dokumentiert mit Foto vom Whiteboard und Anwesenheitsliste.

Baustein 3 — KI-Anwendungs-Richtlinie

Ein einseitiges Dokument, das festlegt, wie KI im Unternehmen genutzt werden darf. Typische Punkte:

• Welche Tools sind freigegeben (Whitelist),
• Welche Daten dürfen verarbeitet werden (z.B. „keine personenbezogenen Mandanten-Daten in ChatGPT-Free, Mandanten-Daten nur in ChatGPT-Team mit AVV“),
• Welche Ergebnisse müssen menschlich geprüft werden (z.B. „jede KI-Mail vor Versand prüfen“, „KI-Buchhaltungs-Vorschläge nie ungeprüft buchen“),
• Was ist beim Veröffentlichen zu beachten (Hinweispflicht bei generierten Inhalten),
• Wer ist Ansprechpartner bei Fragen.

Die Richtlinie wird allen KI-nutzenden Mitarbeitern zur Kenntnis gegeben (Signatur). Aktualisierung jährlich oder bei größerer Tool-Änderung.

Baustein 4 — Kontroll-Protokoll für Hochrisiko-Einsatz

Nur relevant, wenn du KI in einem der vom AI Act definierten Hochrisiko-Bereiche einsetzt. Für die meisten Mittelständler ist das nicht der Fall. Beispiele für Hochrisiko nach Anhang III AI Act:

• Rekrutierung / Personal-Auswahl (z.B. KI-gestütztes Bewerbungs-Screening),
• Mitarbeiter-Bewertung (z.B. KI-gestützte Leistungs-Beurteilung),
• Bildungs-Zugang (z.B. KI-gestütztes Schul-Zuteilungs-System),
• Strafverfolgung, Migrationskontrolle, Gerichtsbarkeit (für öffentliche Stellen).

Wer in einem dieser Bereiche KI einsetzt, hat erweiterte Pflichten: Risiko-Bewertung, menschliche Aufsicht dokumentieren, Ergebnis-Protokollierung. Dann lohnt sich der Aufbau eines Kontroll-Protokolls.

Für Mittelständler ohne Hochrisiko-Einsatz: Baustein 4 entfällt. Drei Bausteine reichen.

Was NICHT Pflicht ist — auch wenn manche das verkaufen

Risiko-Klassifizierung

Die formale Risiko-Klassifizierung (Hochrisiko, geringes Risiko, minimales Risiko) im Sinne des AI Act ist eine Anbieter-Pflicht, nicht Anwender-Pflicht. Wer ChatGPT nutzt, klassifiziert nichts — das macht OpenAI als Anbieter.

KI-Beauftragter

Es gibt keine Pflicht zu einem „KI-Beauftragten“ oder „AI Officer“ — das ist Verkaufs-Sprache von Schulungs- und Beratungs-Anbietern. Sinnvoll ist, dass jemand im Unternehmen weiß, wo KI eingesetzt wird und ob die Schulungs-Pflicht erfüllt ist. Das kann der Geschäftsführer in Personalunion sein.

Spezielle KI-Versicherung

Es gibt keine gesetzliche Pflicht zu einer KI-Versicherung. Wer KI in Hochrisiko-Bereichen einsetzt, sollte seine Haftpflichtversicherung um eine entsprechende Klausel ergänzen — Versicherer-Gespräch, nicht Pflicht.

Praxis-Beispiel: Wie eine Dokumentation für eine Steuerberater-Kanzlei aussieht

Wer das wirklich pragmatisch will, hier eine Beispiel-Ablage:

• Ordner „AI-Act-Dokumentation“ in der gemeinsamen Cloud (z.B. NextCloud, OneDrive, Google Drive — mit Zugriffs-Schutz),
• Excel-Datei „KI-Tool-Inventar.xlsx“ — eine Zeile pro Tool, quartalsweise gepflegt,
• Excel-Datei „Schulungs-Nachweis.xlsx“ — eine Zeile pro Schulung-Teilnehmer-Kombination, mit Datum und Inhalt,
• PDF-Datei „KI-Anwendungs-Richtlinie.pdf“ — eine Seite, jährlich aktualisiert,
• Optional: PDF-Datei „Kontroll-Protokoll.pdf“ — wenn Hochrisiko-Einsatz vorliegt.

Aufwand für die Erst-Aufnahme: 4–6 Stunden für einen typischen Mittelständler. Pflege pro Quartal: 30 Minuten.

Was Hannes daraus macht

Wir liefern unseren Mandanten Muster-Dokumente mit, wenn sie das wollen: Inventar-Tabelle, Schulungs-Tabelle, Anwendungs-Richtlinie, alles als bearbeitbare Vorlage. Wer Hannes auf seiner Site einsetzt, bekommt zusätzlich einen vorbereiteten Datenschutz-Baustein für die Datenschutzerklärung und einen Hinweis-Text für den Chat-Bubble.

Wer den vollständigen AI-Act-Stand für Mittelstand sehen will: EU-AI-Act-Kurzfassung. Wer wissen will, was eine Chatbot-Hinweispflicht konkret heißt: Chatbot-Hinweispflicht.