Wie der KI-Assistent der Entwicklungsagentur funktioniert

Er ist seit Monaten auf der EA-Webseite im Einsatz: der KI-Assistent der Entwicklungsagentur Rheinland-Pfalz. Die Maschine beantwortet Fragen zu Projekten der EA. Dazu gehört häufiger die Frage, wie dieser KI-Chatbot realisiert wurde. Da musste er bisher passen, denn mit diesen Informationen hatten wir ihn bisher nicht ausgestattet. Hier die Antworten.

Der KI-Assistent wurde mithilfe eines Dienstleisters aus den USA, TypingMind, realisiert. Das Start-up stellt im Zusammenspiel mit dem IT-Dienstleister der EA in Mainz den Rahmen unter der Adresse ki.ea-rlp.de zur Verfügung – also die Mechanik für den Aufbau der Webseite. Dazu gehören das Eingabefeld für Leserinnen und Leser und die weitere Kommunikation mit einer separat angebundenen KI. Der Dienst läuft auf Servern in Frankfurt.

Stellt ein Nutzer dem Assistenten eine Frage, untersucht er zunächst sein Spezialwissen, das die EA bei ihm intern in Form von Dokumenten und bestimmten Webseiten hinterlegt hat. Das Spezialwissen beinhaltet zum Beispiel die jüngsten Tätigkeitsberichte der EA, Links zu einzelnen Projektwebseiten, aber auch zu Stellenausschreibungen. Damit wurde der Assistent trainiert. Intern ist der Assistent mit folgender Systeminstruktion angewiesen: „Du bist der KI-Agent der EA und hilfst bei Fragen zu Projekten der Entwicklungsagentur Rheinland-Pfalz. Beziehe Dich nur auf Dokumente aus den Trainingsdaten. Antworte stets wahrheitsgetreu und vollständig.“

Aus diesem hinterlegten Wissen schöpft der Assistent seine Antwort – anders als beispielsweise ChatGPT des US-Unternehmens Open AI. Dennoch spielt Open AI auch bei unserem Assistenten eine Rolle: Die KI wird über einen sogenannten API-Zugang angezapft und mit dem Spezialwissen der EA angereichert. Damit ist der EA-Assistent immer auf dem jüngsten Stand der hinterlegten Dokumente. ChatGPT bei Open AI hat zwar mittlerweile auch über die EA Dinge dazugelernt, teilweise datieren die Informationen jedoch auf älteren Besuchen eines ChatGPT-Robots auf der EA-Webseite.

Freie Wahl des verwendeten KI-Modells

Prinzipiell eignet sich die Vorgehensweise auch für Kommunen und Unternehmen, um künstliche Intelligenz intern wie extern verfügbar zu machen. Bei der EA ist es auch intern im Einsatz. Mitarbeitende können aus mehreren KI-Modellen auswählen. Der nach außen sichtbare EA-Assistent nutzt das Modell GPT-4o. Hier wären auch andere Versionen und Anbieter wie Google Gemini oder Claude von Anthropic möglich. Zudem ist für die interne Nutzung das Anlegen eigener spezialisierter Assistenten möglich – sei es für einen Redenschreiber oder einen Pressemitteilungsdienst. Hier können außerdem eigene Prompts angelegt und wiederverwendet werden. Die Prompts sind zusätzlich durchsuchbar.

Chats des EA-Assistenten mit Leserinnen und Lesern der EA-Webseite werden intern und anonymisiert aufgezeichnet. Durch regelmäßige Prüfung wurden so auch Fragen ausfindig gemacht, auf die der Asssistent bisher keine präzise Antwort lieferte – so auch zu der Frage, wie er realisiert wurde. Dies kann der Assistent nun ebenfalls beantworten: Die EA legt ihm diesen Text als weitere Trainingsgrundlage vor.

Monatliche Kosten

Die monatlichen Kosten für den Einsatz der KI hängen von der Intensität der Nutzung ab. Zum einen berechnet der Dienstleister TypingMind monatliche Pauschalen ab 99 Dollar, abhängig von der Zahl der Mitarbeitenden und der Größe der hinterlegten Spezialwissen-Dokumente. Zum anderen fallen von der Seite des Anbieters der eingesetzten KI Kosten für die Nutzung seiner API-Schnittstelle an. Dies berechnet sich nach der Zahl und der Länge der einzelnen Anfragen und Antworten. Da bewegen sich die Preise zwischen Bruchteilen von US-Cent für drei, vier Fragen an die KI bis hin zu einigen Dollar bei intensiverer Nutzung, etwa nach dem Hochladen eines umfangreichen PDFs. Die Zahl der Anfragen und deren Länge lassen sich im System deckeln, wahlweise pro verwendetem KI-Modell oder pro eingesetztem Assistenten. Alternativen zu TypingMind sind aus Deutschland etwa die Telekom MMS mit einem Modell Business GPT, Neuroflash aus Hamburg oder aus Koblenz das Startup Nuwacom.

Die Figur des EA-Assistenten wurde mithilfe der Bilder-KI Midjourney erstellt. Der Prompt dafür lautete:

minimalist logo, AI assistant robot head, simplified geometric shapes, white and burgundy color scheme with gray accents, Entwicklungsagentur Rheinland-Pfalz logo incorporated, professional and businesslike style, vector format

Den Prompt wiederum hatte zuvor eine Illustrationsassistentin über ChatGPT-4 formuliert.