So prüfen Sie eine AI-Entwicklungsagentur: 12 Fragen vor der Unterschrift

Jede Homepage einer AI-Entwicklungsagentur sagt im Kern dasselbe: schnelle Lieferung, modernste Modelle, echte Ergebnisse. Doch nichts davon verrät Ihnen, ob sie tatsächlich etwas bauen und ausliefern können, das den Umgang mit Ihren Produktionsdaten, Ihren Compliance-Anforderungen und der Fähigkeit Ihres Teams übersteht, es nach Vertragsende weiter zu betreuen. Die Fragen, die eine leistungsfähige Mannschaft wirklich von einem selbstbewussten Pitch trennen, sind präziser als „Verwenden Sie AI“.

Hier sind zwölf Fragen, die sich vor jeder Unterschrift lohnen, und was eine gute Antwort jeweils erkennen lässt.

Fragen zur eigentlichen Umsetzung

1. Was macht Ihr System, wenn es nicht sicher ist?

Jedes AI-System stößt auf Eingaben, die es nicht zuverlässig verarbeiten kann. Ein Team, das sich damit nicht beschäftigt hat, hat entweder keine Antwort oder beschreibt ein System, das trotzdem rät. Eine gute Antwort nennt klare Schwellenwerte für die Sicherheit, definierte Eskalationswege zu einem Menschen und was mit einem Fall passiert, während er auf Prüfung wartet.

2. Wie gehen Sie mit den Ausnahmen um, nicht nur mit dem Happy Path?

Demos sind auf den Happy Path zugeschnitten, weil er sich leicht umsetzen lässt. In Produktion stehen und fallen Systeme mit den Ausnahmen — fehlerhafte Eingaben, Sonderfälle, Anfragen, die nicht ins Schema passen. Fragen Sie ausdrücklich, wie sie in früheren Projekten mit Ausnahmen umgegangen sind, und achten Sie auf konkrete Beispiele statt auf die pauschale Zusicherung, „das Modell kann das“.

3. Können Sie mir ein System zeigen, das Sie gebaut haben und das ein Jahr später noch in Produktion läuft?

Ein funktionierender Prototyp und ein System, das nach einem Jahr noch läuft, noch präzise arbeitet und noch Vertrauen genießt, sind zwei verschiedene Leistungen. Bitten Sie um eine Referenz, mit der Sie wirklich sprechen können, nicht nur um eine Case-Study-Folie. Wenn sie keine nennen können, ist das eine wichtige Information.

4. Wie sieht Ihr Testprozess aus, bevor etwas live geht?

Ein seriöses Team kann erläutern, wie es die Genauigkeit anhand echter, nicht selektiv herausgegriffener Beispiele prüft, wie es Regressionen bei Änderungen an Modell oder Prompt testet und wie es Fehler entdeckt, bevor Nutzer es tun. Ein vages „Wir testen gründlich“ ohne Details sollte hinterfragt werden.

Fragen zu Eigentum und Lock-in

5. Wem gehören Code, Prompts und Data Pipeline, wenn die Zusammenarbeit endet?

Darauf sollte es vor der Unterschrift ein klares, schriftliches Ja geben — nicht erst eine Verhandlung nach Abschluss des Projekts. Manche Agenturen bauen stillen Lock-in über proprietäre Frameworks oder undokumentierte Infrastruktur ein, die nur sie betreuen können. Fragen Sie direkt, ob Sie dieses System morgen an ein anderes Team übergeben könnten und wie diese Übergabe konkret aussehen würde.

6. Was passiert, wenn sich der Anbieter des zugrunde liegenden Modells bei den Preisen ändert, ein Modell abkündigt oder einen Ausfall hat?

Systeme mit einer einzigen, fest verdrahteten Abhängigkeit von einem Modellanbieter, ohne Fallback oder Abstraktionsschicht, sind anfällig auf eine Weise, die erst sichtbar wird, wenn diese Abhängigkeit tatsächlich ausfällt. Ein Team, das bereits AI-Systeme in Produktion ausgeliefert hat, hat dazu schon eine klare Meinung — keinen leeren Blick.

7. Wie ist das Verhalten des Systems für das Team dokumentiert, das es übernimmt?

Wenn Ihr internes Team oder eine andere Agentur dieses System in einem Jahr warten oder erweitern soll, worauf kann es dann zurückgreifen? Prompts und Konfigurationen, die über die Notizen einer Person verstreut sind, sind ein realer und häufiger Ausfallmodus. Fragen Sie, welche Dokumentation Teil der Lieferung ist und nicht bloß ein nachträglicher Gedanke.

Fragen zu Kosten und Umfang

8. Was ist in diesem Angebot ausgeschlossen, und was taucht typischerweise als Zusatzauftrag auf?

Angebote mit festem Umfang bei AI-Projekten schließen oft gerade die Teile aus, die sich am Ende als entscheidend erweisen: Datenbereinigung, Anbindung an Ihre bestehenden Systeme, laufendes Monitoring oder Retraining nach dem Launch. Ein Team, das so etwas schon einmal gemacht hat, kann Ihnen im Voraus sagen, was in einem ersten Angebot meist fehlt, weil es selbst schon daran gescheitert ist.

9. Wie kalkulieren Sie laufende Kosten für Modell und Infrastruktur, getrennt von Ihrem Honorar?

Kosten für Model-API skalieren mit der Nutzung auf eine Weise, die sich in einer Pilotphase leicht unterschätzt. Fragen Sie nach einer realistischen Spanne für Ihr erwartetes Volumen, nicht nur nach dem Honorar für den Bau des Systems, und fragen Sie, wie Sie diese Kosten kontrollieren würden, falls sie höher ausfallen als erwartet.

10. Wie sieht ein realistischer Zeitplan aus, einschließlich der weniger glamourösen Teile?

Datenzugriff, Sicherheitsprüfung und Integrationsarbeit dauern in der Regel länger als die eigentliche Entwicklung des Modells oder Agents. Ein Team, das einen ambitionierten Zeitplan nennt, ohne diese Punkte zu erwähnen, ist entweder ungewöhnlich effizient oder hat sie nicht eingerechnet. Lassen Sie sich den Zeitplan Schritt für Schritt erklären.

Fragen zur Verantwortlichkeit

11. Was passiert, wenn das System in Produktion einen Fehler macht?

Fehler passieren. Entscheidend ist, ob es einen klaren Prozess gibt, um sie zu erkennen, die Ursache zu verstehen und das eigentliche Problem zu beheben statt nur das Symptom zu flicken. Ein Team mit Produktionserfahrung kann dazu einen konkreten Ablauf nennen, weil es ihn schon gebraucht hat.

12. Kann ich mit einem Kunden sprechen, dessen Projekt in Umfang meinem ähnelt?

Nicht mit einer kuratierten Case Study — sondern mit einem echten Gespräch mit jemandem, der etwas Vergleichbares gekauft hat. Wenn eine Agentur zögert, so ein Gespräch zu arrangieren, oder jede Referenz aus einem Projekt stammt, das sich in Größe oder Komplexität deutlich von Ihrem unterscheidet, sollten Sie das ernst nehmen.

Einige feinere Signale, auf die Sie achten sollten

Achten Sie über die zwölf direkten Fragen hinaus darauf, wie sich ein Team schon im Vertriebsprozess verhält, denn das ist oft ein Vorgeschmack darauf, wie es sich später als Ihr Dienstleister verhalten wird. Stellen sie Ihnen detaillierte Fragen zu Ihren tatsächlichen Daten, zum Volumen und zu den bestehenden Systemen, bevor sie ein Angebot für den Umfang machen, oder kalkulieren sie schnell nach einem kurzen Gespräch? Teams, die die Analyse überspringen, lassen sie oft auch im Projekt selbst aus — und das zeigt sich später in unerwarteten Mehrarbeiten beim Umfang.

Achten Sie darauf, ob sie bereit sind zu sagen: „Das ist kein guter Anwendungsfall für AI“, wenn es um irgendeinen Teil dessen geht, was Sie beschreiben. Eine Agentur, die für jedes einzelne Problem, das Sie nennen, einen AI-Ansatz findet — auch für jene, die mit einem einfachen regelbasierten Skript oder einem Standardtool besser gelöst wären — optimiert eher auf den Verkauf von AI als auf die Lösung Ihres Problems. Die Teams, mit denen sich die Zusammenarbeit lohnt, raten Ihnen gelegentlich von der komplexeren oder teureren Option ab.

Es lohnt sich auch zu fragen, wie sie während der Umsetzung mit schleichender Ausweitung des Umfangs und Änderungswünschen umgehen, denn fast jedes Projekt bringt so etwas mit sich. Ein Team mit einem klaren, fairen Prozess für Umfangsänderungen signalisiert, dass es genug Projekte betreut hat, um zu wissen, dass so etwas immer wieder vorkommt; ein Team, das von der Frage überrascht wirkt, hat diese Erfahrung möglicherweise nicht.

Was die Antworten gemeinsam wirklich verraten

Keine einzelne Antwort auf diese Fragen ist für sich allein ein Ausschlusskriterium. Entscheidend ist das Muster: Spricht dieses Team ebenso selbstverständlich über Fehlerquellen, Verantwortlichkeiten und Wartung wie über Fähigkeiten? Teams, die tatsächlich produktive AI-Systeme live gebracht haben, sprechen diese Themen meist von sich aus an, weil sie die Folgen erlebt haben, wenn man sie überspringt. Teams, die das nicht getan haben, antworten eher allgemein und lenken schnell zurück zur Demo.

Wie wir diese Fragen beantworten würden

Wir bekommen diese Fragen in unterschiedlichen Varianten regelmäßig gestellt, und wir würden es vorziehen, wenn ein potenzieller Kunde sie direkt stellt, statt die Antworten erst nach der Unterzeichnung zu erfahren. Unser Ansatz bei jedem Auftrag, den wir übernehmen, basiert auf der Annahme, dass ein System echte Eingaben, echte Skalierung und eine echte Übergabe überstehen muss — nicht nur eine Demo.

Wenn Sie Agenturen für ein AI-Projekt prüfen und ein offenes, unverbindliches Gespräch über Umfang, Kosten und darüber führen möchten, was ein Produktivsystem tatsächlich umfasst, erreichen Sie uns über unsere Kontaktseite oder nutzen Sie den ASTACKRA Project Planner, um vorab eine fundierte Einschätzung Ihres konkreten Projekts zu erhalten, bevor Sie mit jemandem sprechen.