Der Anwendungsfall entscheidet über die Anforderungen
Ein Assistent soll interne Arbeitsanweisungen zusammenfassen, ein anderes System eingehende Dokumente zuordnen. Beide nutzen KI, haben aber unterschiedliche Fehlerfolgen, Datenbedarfe und Anforderungen an die Prüfung ihrer Ergebnisse. Eine allgemeine Entscheidung für ein Modell oder eine Plattform beantwortet diese Fragen noch nicht.
In sensiblen Organisationen beginnt ein tragfähiges Vorhaben deshalb mit einem eng beschriebenen Zweck. Welche Aufgabe soll unterstützt werden? Wer verwendet das Ergebnis? Welche Entscheidung folgt daraus, und wer trägt dafür Verantwortung? Je konkreter diese Beschreibung ist, desto besser lassen sich Nutzen und Grenzen prüfen.
Der hier vorgeschlagene Ansatz verbindet Anwendungsfall, Datenflüsse und Betrieb in einer gemeinsamen Bewertung. Ein Pilot ist erfolgreich, wenn er anhand vorher vereinbarter Kriterien einen Nutzen nachweist und sich unter den vorgesehenen Bedingungen zuverlässig betreiben lässt.
1. Einen überprüfbaren Nutzen formulieren
Wählen Sie für den Einstieg eine Aufgabe, deren Ergebnis fachlich beurteilt werden kann. Beispielsweise kann ein interner Assistent relevante Abschnitte aus freigegebenen Handbüchern auffinden und einen Antwortentwurf erstellen. Die Mitarbeitenden prüfen den Entwurf anhand der angezeigten Originalstellen.
Vergleichen Sie diesen Ablauf mit einer geeigneten Ausgangslösung, etwa einer bestehenden Suche oder manuellen Bearbeitung. Gemessen werden die gesamte Bearbeitungszeit einschließlich Kontrolle, die fachliche Qualität und die Zahl problematischer Ergebnisse. Eine schnell erzeugte Antwort bringt wenig, wenn ihre Überprüfung mehr Aufwand als der bisherige Ablauf benötigt.
Definieren Sie auch die Grenzen: Welche Aufgaben darf das System nicht übernehmen? Wann muss es auf fehlende Informationen hinweisen? Welche Fälle gehen direkt an eine zuständige Person? Für einen ersten Pilot kann es sinnvoll sein, externe Kommunikation und schreibende Zugriffe auf Fachverfahren auszuschließen.
2. Datenflüsse vollständig verstehen
Erfassen Sie, welche Informationen an welcher Stelle verarbeitet werden. Zu betrachten sind Eingaben, hochgeladene Dokumente, Suchindizes, Modellanfragen, Antworten, Protokolle und Sicherungen. Auch ein intern gestartetes Werkzeug kann externe Dienste für Texterkennung, Einbettungen oder Diagnose verwenden.
Klären Sie für jeden Datenfluss Empfänger, Zweck, Zugriff und Aufbewahrung. Prüfen Sie anhand der konkreten Konfiguration und Vereinbarungen, ob ein Anbieter Inhalte für eigene Zwecke nutzt und welche Unterauftragnehmer beteiligt sind. Ein Standortlabel allein beschreibt diese Verarbeitungskette nicht vollständig.
Bei einer wissensgestützten Antwortgenerierung werden passende Dokumentausschnitte gesucht und dem Modell als Kontext bereitgestellt. Dabei müssen die Zugriffsrechte der fragenden Person bereits beim Abruf berücksichtigt werden. Ein gemeinsamer Suchindex darf keine vertraulichen Inhalte über Antworten oder Quellenhinweise an unberechtigte Personen offenlegen.
Beziehen Sie Datenschutz, Informationssicherheit und die zuständigen Fachstellen früh in die konkrete Bewertung ein. Welche rechtlichen Anforderungen gelten, hängt unter anderem vom Einsatz, den Daten und den beteiligten Rollen ab. Die technische Produktwahl ersetzt diese Einordnung nicht.
3. Modell und Betriebsform am Einsatz messen
Vergleichen Sie Optionen anhand desselben Aufgabenbestands. Ein extern betriebener Dienst kann den Infrastrukturaufwand senken. Ein selbst betriebenes Modell ermöglicht andere Kontrollmöglichkeiten, setzt aber Fähigkeiten für Bereitstellung, Absicherung und Aktualisierung voraus. Offen verfügbare Modellgewichte bedeuten nicht automatisch uneingeschränkte Nutzungsrechte oder transparente Trainingsdaten.
| Kriterium | Externer Modelldienst | Selbst betriebene Modellgewichte |
|---|---|---|
| Datenverarbeitung | Übermittlung, Speicherung und Nutzung beim Anbieter prüfen | Eigene Infrastruktur sowie alle ergänzenden Dienste prüfen |
| Änderungen | Versionsbindung und angekündigte Modellwechsel klären | Updates und erneute Freigaben selbst organisieren |
| Betrieb | Servicegrenzen, Ausfälle und Kontingente bewerten | Kapazität, Überwachung und Fachpersonal sicherstellen |
| Wirtschaftlichkeit | Nutzungsabhängige Entgelte und Integrationsaufwand vergleichen | Hardware, Auslastung und laufende Betreuung einrechnen |
Die Entscheidungsmatrix wird erst mit eigenen Messwerten belastbar. Erproben Sie typische und schwierige Aufgaben unter realistischen Bedingungen. Halten Sie fest, welche Qualität, Antwortzeit und Kosten für den Anwendungsfall akzeptabel sind. Produktvorführungen und allgemeine Ranglisten ersetzen diesen Vergleich nicht.
4. Qualität und Fehlverhalten vor der Freigabe testen
Ein Testbestand sollte normale Fälle, mehrdeutige Fragen, fehlende Quellen und Eingaben außerhalb des vorgesehenen Bereichs enthalten. Fachleute bewerten, ob Antworten korrekt, vollständig und durch die angegebenen Quellen gedeckt sind. Quellenanzeigen erleichtern die Prüfung, garantieren aber keine richtige Schlussfolgerung.
Für generative Systeme beschreibt das NIST-Profil zu generativer KI (PDF) unter anderem Risiken durch plausibel formulierte, falsche Inhalte und Informationssicherheitsprobleme. Für den Pilot leiten wir daraus gezielte Tests ab: widersprüchliche Dokumente, erfundene Voraussetzungen und manipulierte Anweisungen innerhalb gefundener Inhalte.
Externe Dokumente werden als Daten behandelt. Darin enthaltene Anweisungen dürfen keine Berechtigungen erweitern oder eigenständig Aktionen auslösen. Sobald Werkzeuge angebunden werden, brauchen diese begrenzte Rechte und bei folgenreichen Aktionen eine passende Freigabe außerhalb des Sprachmodells.
Erproben Sie menschliche Kontrolle als wirklichen Arbeitsschritt. Prüfer benötigen Zeit, Originalquellen und die Möglichkeit, ein Ergebnis zurückzuweisen. Ein Bestätigungsbutton allein zeigt nicht, ob eine fachliche Prüfung stattgefunden hat.
5. Betrieb und Governance zusammenführen
Benennen Sie Verantwortliche für Zweck, Datenquellen, technische Plattform und fachliche Freigabe. Das freiwillige NIST AI Risk Management Framework strukturiert Risikomanagement mit den Funktionen Govern, Map, Measure und Manage. Es bietet einen methodischen Bezugspunkt für Zuständigkeiten, Kontextbewertung, Messung und Behandlung von Risiken.
Versionieren Sie Modellkonfiguration, Anweisungen und den Stand wichtiger Datenquellen. Änderungen können die Antwortqualität beeinflussen und müssen je nach Tragweite erneut getestet werden. Protokollierung sollte die Fehlersuche ermöglichen, zugleich aber keine unnötige Sammlung vertraulicher Eingaben erzeugen.
Planen Sie einen Ersatzablauf. Wenn der Dienst ausfällt, Kosten aus dem vereinbarten Rahmen laufen oder fachliche Fehler auftreten, muss die Aufgabe weiterhin bearbeitbar sein. In dem illustrativen Wissensassistenten kann die bisherige Dokumentensuche verfügbar bleiben, während die Antwortgenerierung vorübergehend deaktiviert wird.
Freigabecheck für den ersten produktiven Einsatz
- Zweck: Aufgabe, Grenzen und verantwortliche Fachstelle sind dokumentiert.
- Daten: Quellen, Empfänger, Zugriffe und Aufbewahrung sind bewertet und freigegeben.
- Qualität: Repräsentative Tests zeigen den Nutzen einschließlich menschlicher Prüfzeit.
- Kontrolle: Berechtigungsgrenzen, problematische Eingaben und Ablehnung von Ergebnissen wurden erprobt.
- Betrieb: Änderungen, Überwachung, Kostenkontrolle und Ersatzabläufe haben klare Verantwortlichkeiten.
Ein begrenzter, nachweislich nützlicher Einsatz schafft eine bessere Grundlage für weitere Anwendungen als ein breit ausgerollter Pilot ohne klare Abnahme. Übertragen Sie die gewonnenen Erkenntnisse auf den nächsten Anwendungsfall und bewerten Sie dessen Daten und Fehlerfolgen erneut.