MCP-Demo bewerten: So prüfst du Nutzen statt Showeffekt

Eine überzeugende MCP-Demo zeigt zunächst, dass ein KI-Assistent unter vorbereiteten Bedingungen einen vorgesehenen Tool-Aufruf ausführen kann. Für eine Budget- oder Projektentscheidung reicht das nicht. Du musst prüfen, wie sich der Ablauf verhält, sobald Angaben fehlen, mehrere Datensätze infrage kommen oder eine Änderung im Zielsystem bestätigt werden soll.

MCP steht für Model Context Protocol. Das Protokoll kann KI-Assistenten Werkzeuge und Kontext aus angebundenen Systemen bereitstellen. Es kann beispielsweise ermöglichen, Projekte zu suchen, Aufgaben anzulegen oder Informationen aus einem internen System abzurufen. MCP definiert allerdings nicht, wie dein Geschäftsprozess fachlich ablaufen soll. Diese Unterscheidung ist für die Bewertung einer Demo entscheidend.

Eine Demo beweist zunächst nur die technische Verbindung

In einer typischen Vorführung erhält der Assistent eine sorgfältig formulierte Anweisung. Datensatz, gewünschte Aktion und Ziel sind eindeutig. Anschließend wählt er das passende Werkzeug, führt den Aufruf aus und meldet Erfolg. Das sieht rund aus, weil alle schwierigen Entscheidungen bereits im Prompt getroffen wurden.

Im Arbeitsalltag kommen Anfragen selten in dieser Qualität an. Ein Kollege schreibt vielleicht: „Bitte legt für Nordlicht einen Website-Task mit den neuen Teamfotos an, möglichst noch diese Woche.“ Dabei bleiben mehrere Fragen offen: Welche Nordlicht-Gesellschaft ist gemeint? Zu welchem Projekt gehört die Aufgabe? Wo befinden sich die Fotos? Bedeutet „diese Woche“ Veröffentlichung oder interne Vorbereitung?

Eine brauchbare Demo muss zeigen, wie der Assistent mit genau diesen Lücken umgeht. Der erfolgreiche Aufruf von create_task ist kein ausreichendes Ergebnis. Eine Aufgabe im falschen Projekt wäre technisch erfolgreich und fachlich lästig. Das System hätte dann einen Fehler schneller produziert. Auch das ist Automatisierung, nur keine hilfreiche.

Formuliere vor der Vorführung einen eigenen Prüffall

Überlasse das Szenario nicht vollständig dem Anbieter oder dem internen Entwicklungsteam. Wer die Lösung gebaut hat, kennt ihre bevorzugten Formulierungen, Testdaten und Abkürzungen. Du brauchst zusätzlich einen Fall, der sich an einer echten Aufgabe orientiert und dessen erwartetes Ergebnis du selbst beurteilen kannst.

Für den beispielhaften Projektmanagement-Workflow könnte der Prüffall so aussehen:

• Ausgangslage: Eine kurze Kundenanfrage soll in eine Aufgabe für das zuständige Website-Projekt überführt werden.
• Eingabe: Der Kundenname ist verkürzt, der Termin ungenau und ein erwähntes Bildpaket fehlt.
• Erwartetes Verhalten: Der Assistent sucht passende Kunden und Projekte, erkennt die fehlenden Angaben und fragt gezielt nach.
• Erlaubte Aktion: Er darf einen Aufgabenvorschlag vorbereiten. Das tatsächliche Anlegen erfolgt erst nach Bestätigung.
• Prüfbares Ergebnis: Nach der Freigabe existiert genau eine Aufgabe im richtigen Projekt. Verantwortlichkeit, Quelle und Terminstatus sind nachvollziehbar.

Der Prüffall trennt Pflichtanforderungen von Komfort. Eine passende Formulierung des Aufgabentitels ist nützlich. Das richtige Projekt und ein geklärter Termin sind zwingend. Ohne diese Gewichtung kann eine sprachlich elegante Ausgabe leicht über einen fachlichen Fehler hinwegtäuschen.

Prüfe zuerst den Umgang mit fehlenden Angaben

Der Mythos lautet: Ein guter KI-Assistent erledigt den Vorgang ohne Rückfragen. In der Praxis sind gezielte Rückfragen häufig ein Qualitätsmerkmal. Wenn zwei Projekte zum genannten Kunden passen, darf der Assistent nicht raten. Er sollte die relevante Unklarheit benennen und eine Entscheidung verlangen.

Achte dabei auf die Qualität der Frage. „Bitte gib weitere Informationen an“ hilft kaum. Eine brauchbare Rückfrage nennt die konkrete Auswahl, etwa: „Soll die Aufgabe im Projekt Website-Relaunch oder im laufenden Wartungsprojekt angelegt werden?“ Dadurch bleibt die zusätzliche Arbeit für den Nutzer klein.

Teste außerdem, ob der Assistent zwischen fehlenden Pflichtangaben und optionalen Details unterscheidet. Ein nicht vorhandenes Bildpaket kann das Anlegen einer vorbereitenden Aufgabe erlauben, sofern der fehlende Anhang sichtbar vermerkt wird. Ein unbekanntes Zielprojekt sollte die Schreibaktion dagegen stoppen. Diese Regeln müssen aus dem Arbeitsablauf stammen; MCP leitet sie nicht selbst aus dem Protokoll ab.

Lass den Assistenten seine geplante Änderung zeigen

Ein weiterer Mythos besagt, dass jede manuelle Bestätigung den Automatisierungsvorteil zunichtemacht. Das trifft nur zu, wenn die Bestätigung keine sinnvolle Entscheidung enthält. Bei einer Aktion, die Daten anlegt, verschiebt oder verändert, kann eine kompakte Vorschau den entscheidenden Kontrollpunkt bilden.

Vor dem Anlegen der Aufgabe sollte die Demo deshalb mindestens Zielprojekt, Titel, Beschreibung, Termin und zuständige Person zeigen. Du musst erkennen können, welche Angaben aus der Anfrage stammen und welche der Assistent ergänzt hat. Erst danach bestätigst du die Aktion.

Diese Vorschau sollte nicht den vollständigen Arbeitsvorgang erneut auf dich abladen. Wenn du alle Felder selbst zusammensuchen und korrigieren musst, wurde lediglich die Eingabemaske in einen Chat verlegt. Der praktische Nutzen entsteht, wenn der Assistent Vorarbeit übernimmt und dir eine überschaubare fachliche Entscheidung lässt.

Kontrolliere das Zielsystem statt der Erfolgsmeldung

„Aufgabe wurde erfolgreich erstellt“ ist eine Behauptung des Assistenten, noch kein Abnahmekriterium. Öffne nach der Aktion das Projektmanagementsystem und kontrolliere den erzeugten Datensatz. Prüfe, ob die Aufgabe tatsächlich im richtigen Projekt liegt, ob Pflichtfelder gesetzt sind und ob die ursprüngliche Anfrage nachvollziehbar referenziert wird.

Eine gute Rückmeldung liefert eine eindeutige Kennung oder einen direkten Verweis auf das Ergebnis. Fehlt beides, musst du den Datensatz erneut suchen. Bei häufigen Vorgängen wird aus dieser Kleinigkeit schnell ein fester Kontrollschritt, der einen Teil der erhofften Entlastung wieder aufzehrt.

Wiederhole anschließend denselben Auftrag nicht blind, sondern bitte den Assistenten, den bestehenden Vorgang zu prüfen. So erkennst du, ob er eine mögliche Dublette bemerkt oder kommentarlos eine zweite Aufgabe anlegt. Nicht jeder Workflow muss Wiederholungen automatisch verhindern. Er sollte aber ein definiertes Verhalten dafür haben.

Entferne die unsichtbare Hilfe aus der Demo

Viele Vorführungen funktionieren, weil die präsentierende Person den Assistenten unauffällig lenkt. Sie verwendet exakte Systembegriffe, ergänzt eine interne Projektkennung oder formuliert die Anfrage nach einem ersten Fehlschlag um. Für eine technische Erprobung ist das legitim. Für die Nutzenbewertung musst du diese Hilfen sichtbar machen.

Starte den Prüffall deshalb in einer frischen Unterhaltung und verwende die Formulierung, die im Arbeitsalltag tatsächlich zu erwarten ist. Die Person, die das System gebaut hat, sollte während des Ablaufs keine zusätzlichen Hinweise geben. Wenn eine Intervention nötig wird, notiere sie als Teil des erforderlichen Prozesses.

Eine solche Unterbrechung ist nicht automatisch ein Ausschlussgrund. Vielleicht muss die Aufgabenbeschreibung des MCP-Werkzeugs verbessert oder eine fachliche Regel ergänzt werden. Problematisch wird es, wenn die Demo nur mit Wissen funktioniert, das spätere Nutzer nicht besitzen und das im System nirgends abgebildet ist.

Bewerte den gesamten Vorgang, nicht nur die Chatdauer

Der Mythos „per Chat geht es schneller“ führt leicht zu einer falschen Rechnung. Relevant ist die Zeit vom Eingang der Anfrage bis zum korrekt angelegten und kontrollierten Ergebnis. Dazu gehören Rückfragen, Freigabe, Nachprüfung und mögliche Korrekturen.

Vergleiche den MCP-gestützten Ablauf mit dem heutigen manuellen Vorgehen. Wenn das Team eine Aufgabe bisher in wenigen klaren Eingabefeldern anlegt, muss der neue Weg einen erkennbaren Vorteil liefern. Das kann weniger Sucharbeit, eine bessere Übernahme von Quelldaten oder eine konsistentere Dokumentation sein. Eine bloße Verlagerung derselben Eingaben in natürliche Sprache reicht nicht.

Berücksichtige auch, wer die Kontrolle übernimmt. Spart eine Projektleitung zwei Minuten, während ein Administrator regelmäßig falsche Zuordnungen bereinigen muss, ist der Vorgang insgesamt nicht effizienter. Für die Entscheidung zählt die Arbeit im gesamten Prozess, nicht die Geschwindigkeit des sichtbarsten Schritts.

Nutze einen einfachen Prüfbogen für die Entscheidung

Für eine erste Bewertung brauchst du kein umfangreiches Punktesystem. Halte pro Anforderung fest, ob sie erfüllt, teilweise erfüllt oder offen ist. Die folgenden Fragen decken den fachlichen Kern des Prüffalls ab:

• Erkennt der Assistent den richtigen Vorgang und die dafür benötigten Werkzeuge?
• Benennt er fehlende oder widersprüchliche Angaben konkret?
• Vermeidet er Vermutungen bei fachlich entscheidenden Feldern?
• Zeigt er die geplante Änderung vor einer relevanten Schreibaktion?
• Entsteht der Datensatz im richtigen System und im richtigen fachlichen Kontext?
• Ist das Ergebnis über eine Kennung oder einen Verweis direkt kontrollierbar?
• Bleibt die ursprüngliche Anfrage als Quelle nachvollziehbar?
• Gibt es ein definiertes Verhalten bei Wiederholungen oder bereits vorhandenen Datensätzen?
• Benötigt der Ablauf Hilfestellungen, die normale Nutzer nicht kennen können?
• Reduziert der gesamte Vorgang tatsächlich Arbeit gegenüber dem bisherigen Vorgehen?

Markiere vor der Demo, welche Punkte zwingend erfüllt sein müssen. Dadurch verhinderst du, dass eine flüssige Unterhaltung oder eine elegante Zusammenfassung die Entscheidung dominiert. Sprachqualität ist angenehm. Entscheidend bleibt der korrekte Datensatz im richtigen Projekt.

Was ein schwaches Ergebnis über MCP aussagt

Eine misslungene Demo bedeutet nicht automatisch, dass MCP für dein Unternehmen ungeeignet ist. Das Problem kann in der Werkzeugbeschreibung, der Datenqualität, den fachlichen Regeln oder im gewählten Workflow liegen. MCP stellt die Verbindung bereit; es ersetzt keine Prozessklärung.

Für die nächste Entscheidung musst du deshalb die Fehlerart benennen. Wurde das passende Werkzeug gar nicht angeboten, betrifft das die technische Bereitstellung. Wählte der Assistent bei mehreren Treffern das falsche Projekt, braucht der Ablauf eine fachliche Entscheidungsregel. Konnte niemand sagen, welches Ergebnis korrekt gewesen wäre, ist zunächst der Prozess selbst ungeklärt.

Eine belastbare MCP-Demo beginnt daher nicht mit einem spektakulären Prompt, sondern mit einem prüfbaren Arbeitsauftrag. Wenn der Assistent Unklarheiten erkennt, Änderungen kontrollierbar vorbereitet und ein nachvollziehbares Ergebnis im Zielsystem erzeugt, zeigt die Vorführung praktischen Nutzen. Alles andere kann eine gute technische Demonstration sein. Für eine Investitionsentscheidung ist es noch zu wenig.