Eine überzeugende Demo sagt wenig darüber aus, ob ein KI-Dienst im Unternehmensalltag verlässlich, sicher und kontrollierbar eingesetzt werden kann. Wer einen KI-Anbieter prüfen möchte, braucht deshalb mehr als einen Funktionsvergleich: Entscheidend sind belastbare Nachweise zu Zweck, Datenwegen, Leistungsgrenzen, Verantwortlichkeiten und zum späteren Betrieb.
Die folgenden neun Fragen strukturieren die Prüfung in drei Entscheidungstore. Sie helfen Einkauf, IT, Datenschutz, Informationssicherheit und Fachbereich, einen Pilotversuch vorzubereiten und offene Punkte sichtbar zu machen. Welche rechtlichen Anforderungen gelten, hängt stets vom konkreten Einsatz ab. Bei Zweifeln sollten zuständige Fachstellen und gegebenenfalls eine Rechtsberatung einbezogen werden.
Entscheidungstor 1: Passt der Anbieter zum geplanten Einsatz?
Am Anfang steht nicht die Technik, sondern der reale Prozess. Ein Werkzeug für unverbindliche Ideen birgt andere Folgen als ein System, dessen Ausgabe Personal-, Kredit- oder Qualitätsentscheidungen beeinflusst. Erst wenn der Zweck geklärt ist, lassen sich Nachweise sinnvoll bewerten.
1. Welcher konkrete Zweck ist freigegeben – und was ausdrücklich nicht?
Beschreiben Sie den geplanten Anwendungsfall mit Eingaben, Ausgaben, Nutzergruppen und betroffenen Entscheidungen. Der Anbieter sollte erklären können, wofür sein System entwickelt und getestet wurde und wo Grenzen liegen. Halten Sie ebenso Ausschlüsse fest: Darf das Werkzeug nur Texte entwerfen, aber keine Entscheidung treffen? Sind personenbezogene oder vertrauliche Daten ausgeschlossen? Eine klare Zweckbeschreibung verhindert, dass ein erfolgreicher Pilot unbemerkt zu immer riskanteren Aufgaben ausgeweitet wird.
2. Welche Rolle übernimmt der Anbieter – und welche bleibt beim Unternehmen?
Begriffe wie „KI-konform“ reichen nicht. Lassen Sie sich darlegen, wer das System entwickelt oder wesentlich verändert, wer es bereitstellt und wer es im eigenen Prozess einsetzt. Der europäische AI Act unterscheidet unter anderem Anbieter und Betreiber und knüpft Pflichten an Rolle und Einsatzkontext. Nicht jedes KI-System ist automatisch ein Hochrisiko-System. Die Einordnung muss daher am konkreten System und seiner vorgesehenen Verwendung erfolgen. Die verbindliche Grundlage ist die Verordnung (EU) 2024/1689 auf EUR-Lex.
3. Welche Unterauftragnehmer und technischen Abhängigkeiten gibt es?
Viele Angebote bestehen aus mehreren Diensten: Basismodell, Cloud-Plattform, Suchindex, Monitoring und Support können von unterschiedlichen Unternehmen stammen. Fordern Sie eine verständliche Übersicht der wesentlichen Abhängigkeiten an. Wichtig ist, wer Daten verarbeitet, in welchen Regionen dies geschieht und wie Änderungen in der Lieferkette kommuniziert werden. So wird sichtbar, ob Zusagen des direkten Vertragspartners auch für vorgelagerte Komponenten gelten.
Entscheidungstor 2: Sind die Nachweise belastbar?
Ein guter Anbieter beantwortet kritische Fragen nachvollziehbar und kann Aussagen mit Dokumenten, Testberichten oder vertraglichen Regelungen stützen. Das NIST AI Risk Management Framework ist ein freiwilliger Orientierungsrahmen. Seine Funktionen Govern, Map, Measure und Manage helfen, technische und organisatorische Prüfungen über den Lebenszyklus zu ordnen.
4. Wie werden Eingaben, Ausgaben und Nutzungsdaten behandelt?
Klären Sie, welche Daten gespeichert werden, wie lange sie verfügbar bleiben und ob sie zur Produktverbesserung oder zum Training verwendet werden können. Fragen Sie nach Löschmöglichkeiten, Zugriffsschutz, Verschlüsselung, Protokollierung und der Trennung verschiedener Kunden. Allgemeine Datenschutzhinweise ersetzen keine Antwort für den gewählten Tarif und die konkrete Konfiguration. Dokumentieren Sie außerdem, welche Daten Ihr Unternehmen überhaupt eingeben darf.
5. Welche Leistungsgrenzen und Fehlermuster sind dokumentiert?
Benötigt werden mehr als Durchschnittswerte. Bitten Sie um Informationen zu Testbedingungen, Datenbasis, bekannten Schwächen, Sprachleistung, Aktualität und typischen Fehlerbildern. Für den eigenen Pilot sollten messbare Akzeptanzkriterien feststehen: etwa fachliche Richtigkeit, Quellenprüfbarkeit, Quote notwendiger Korrekturen oder Reaktionszeit. Ein Zertifikat oder Hersteller-Benchmark kann nützlich sein, ersetzt aber keinen Test mit repräsentativen Aufgaben aus dem eigenen Prozess.
6. Welche menschliche Kontrolle ist praktisch möglich?
Eine Freigabe durch Menschen ist nur wirksam, wenn die prüfende Person genügend Informationen, Zeit und Befugnisse hat. Prüfen Sie, ob Ausgaben als KI-Ergebnis erkennbar sind, Quellen oder Unsicherheiten nachvollzogen werden können und Entscheidungen korrigiert oder gestoppt werden dürfen. Für Hochrisiko-KI enthält der AI Act besondere Anforderungen an Transparenz und menschliche Aufsicht. Auch außerhalb dieser Kategorie ist eine passende Kontrolle ein wichtiger betrieblicher Schutz.
Entscheidungstor 3: Bleibt das System im Betrieb beherrschbar?
Die Beschaffung endet nicht mit der Unterschrift. Modelle, Datenquellen und Funktionen verändern sich. Deshalb gehören Überwachung, Eskalation und Ausstieg bereits in die Auswahlentscheidung.
7. Wie werden Änderungen angekündigt und erneut bewertet?
Vereinbaren Sie, welche Änderungen vorab gemeldet werden: zum Beispiel ein neues Basismodell, andere Datenverwendung, geänderte Unterauftragnehmer oder weggefallene Funktionen. Legen Sie fest, wann das Unternehmen neu testet und wer die weitere Freigabe erteilt. Versionshinweise sollten so lange aufbewahrt werden, dass spätere Abweichungen erklärt werden können. Ohne geregeltes Änderungsmanagement kann ein ursprünglich geprüfter Einsatz schleichend zu einem anderen System werden.
8. Was passiert bei Fehlern, Sicherheitsvorfällen oder Ausfällen?
Fragen Sie nach Meldewegen, erreichbaren Ansprechpartnern, Reaktionszielen und den Informationen, die das Unternehmen für seine eigene Bewertung erhält. Intern braucht es ebenfalls einen Stoppschalter: Wer darf den Dienst sperren, betroffene Ergebnisse zurückrufen und Nutzer informieren? Das offizielle NIST-Profil für generative KI empfiehlt unter anderem Lieferantenprüfungen, klare Vertragsregelungen, kontinuierliche Überwachung sowie Notfall- und Ausweichpläne für Drittanbieter-KI.
9. Wie gelingt der Ausstieg ohne Kontrollverlust?
Prüfen Sie vor Vertragsabschluss, ob Daten, Protokolle und Konfigurationen exportiert werden können, wie Restdaten gelöscht werden und welche Fristen gelten. Klären Sie, ob Arbeitsabläufe bei einem Anbieterwechsel weiterlaufen können und welche manuellen Alternativen bestehen. Ein Exit-Plan reduziert Abhängigkeiten und schafft eine sachliche Grundlage, falls Preis, Qualität oder Risikolage später nicht mehr passen.
Aus neun Antworten wird eine dokumentierte Entscheidung
Fassen Sie die Prüfung nicht nur in E-Mails zusammen. Eine kurze Entscheidungsmappe sollte mindestens Zweck und Ausschlüsse, Rollen, Datenfluss, geforderte Nachweise, Pilotkriterien, offene Risiken, verantwortliche Freigaben und das nächste Prüfdatum enthalten. Bewerten Sie offene Punkte nach Auswirkung und Dringlichkeit. So kann ein eingeschränkter Pilot trotz einzelner Restfragen möglich sein, während ein produktiver Einsatz noch gesperrt bleibt.
Für Verantwortliche, die solche Prüfungen unternehmensweit strukturieren möchten, verbindet die Weiterbildung KI-Manager und KI-Beauftragter (AI Manager & AI Officer) technische Grundlagen mit KI-Governance, Umsetzung und organisatorischer Verantwortung.
FAQ: KI-Anbieter prüfen
Reicht die Einordnung nach dem AI Act für die Anbieterauswahl?
Nein. Sie ist ein wichtiger Teil der rechtlichen Prüfung, beantwortet aber nicht alle Fragen zu Informationssicherheit, Datenschutz, Qualität, Kosten, Betriebsstabilität oder strategischer Abhängigkeit. Die Bewertung sollte diese Perspektiven zusammenführen.
Kann ein Zertifikat den eigenen Pilotversuch ersetzen?
Ein einschlägiges Zertifikat kann einen Nachweis unterstützen. Ob das System die eigenen Aufgaben unter realistischen Bedingungen erfüllt, zeigt jedoch erst ein passend konzipierter Test. Prüfumfang, Gültigkeit und Bezug zum angebotenen Dienst müssen ebenfalls betrachtet werden.
Was ist zu tun, wenn der Anbieter das zugrunde liegende Modell wechselt?
Die Änderung sollte anhand vorab definierter Kriterien neu bewertet werden. Je nach Bedeutung können ein begrenzter Regressionstest, eine erneute Sicherheitsprüfung oder eine neue fachliche Freigabe erforderlich sein. Umfang und Verantwortung sollten im Änderungsprozess festgelegt sein.
Wer sollte die Freigabe erteilen?
Das hängt vom Einsatz ab. Meist braucht es mindestens den verantwortlichen Fachbereich sowie die zuständigen Stellen für IT und Informationssicherheit; Datenschutz, Einkauf, Compliance, Arbeitnehmervertretung oder Rechtsberatung können hinzukommen. Entscheidend sind benannte Rollen und eine dokumentierte Entscheidung.
Fazit: Nachweise vor Begeisterung
Wer einen KI-Anbieter prüfen will, sollte nicht nach der längsten Funktionsliste suchen, sondern nach nachvollziehbaren Antworten und belastbaren Nachweisen. Die neun Fragen schaffen eine gemeinsame Sprache für Fachbereich, Einkauf und Kontrollfunktionen. Sie trennen eine interessante Demo von einem vertretbaren Einsatz – und machen sichtbar, welche Bedingungen vor Pilot, Vertrag und Produktivstart noch erfüllt werden müssen.