Kennen Sie diese Situation? Sie müssen eine öffentliche Ausschreibung für ein Projekt durchführen und nachdem Sie mit grossem Aufwand die Anforderungen, die erforderlichen Qualifikationen, vertragliche Details etc. feinsäuberlich zusammengetragen haben, ist alles fast schon erledigt.
... Wenn da nicht die unzähligen Fragen der Teilnehmer wären.
Klar, gehört dazu, aber eine grosse Anzahl der gestellten Fragen wäre aber schon mit der bereitgestellten Dokumentation beantwortbar gewesen.
Nun kann man wohl nicht erwarten, dass jeder Teilnehmer unendlich viel Zeit in das Studium aller Dokumente steckt – immerhin ist Zeit Geld und wer bei jeder Ausschreibung den ‘Doktor’ macht, kann wohl nicht an allzu vielen Ausschreibungen teilnehmen. Entsprechend ist es einfacher, eine Frage zu stellen.
Wäre es nicht Toll, wenn man einen Assistenten zur Seite hätte, der alle diese Fragen, welche anhand der bestehenden Dokumentation beantwortbar sind, für mich beantwortet?
Doch woher bekommt man einen solchen Assistenten, der diese Aufgabe pflichtbewusst ausführt und sich nicht nach kurzer Zeit schon einen etwas weniger repetitive Job sucht?
Könnte eine künstliche Intelligenz solch eine Aufgabe übernehmen?
Im Rahmen eines ‘Proof of Concept’ haben wir untersucht, ob moderne LLM (Large Language Models) wie ChatGpt etc. einer solchen Aufgabe gewachsen sind.
Ausgangslage
- Ausschreibungsdokumente
- 400 plus Fragen und antworten die von unterschiedlichen anonymisierten Bewerbern gestellt wurden
In Rot die Antwort des Gutachters:
- Technology: Azure, Low code: Azure Copilot
PoC
Für diese Studie haben wir uns entschieden, eine Low-Code-Lösung auf Azure Copilot mit GPT3.5 Turbo zu testen, da dies zum Stichtag (15.12.2023) das beste verfügbare Modell auf Azure für unser Experiment war. Wir haben verschiedene KI-Schnittstellen ausprobiert und wollten herausfinden, wie weit entwickelt und benutzerfreundlich Azure Copilot ist.
Azure Copilot
Wir stellten fest, dass ein Copilot zwar relativ einfach für unser Experiment einzurichten ist, der eigentliche Ausführungsprozess jedoch nicht wie erwartet funktionierte und wir ihn daher noch nicht als einsatzbereit betrachten.
Identifizierte Probleme
Bitte beachten Sie, dass die folgenden Informationen nur eine Datenprobe darstellen.
Die Antwort des Chatbots
Obwohl ein Chatbot zu diesem Thema einen sehr attraktiven Demo-Effekt aufweist, stellten wir fest, dass für eine Anwendung in der realen Welt bestimmte Überlegungen erforderlich sind.
Prozessintegration
KI würde den Prozess nicht verändern, sondern nur effizienter machen. Wir fanden heraus, dass ein Chatbot keine ideale Schnittstelle ist. Um den maximalen Wert für den Ausschreibenden zu erzielen, müsste die Nutzung von KI in den Ausschreibungsprozess integriert werden:
"Erstantworten" für die Fragen der Ausschreibungsteilnehmer generieren, die vor der Freigabe an die Teilnehmer überprüft werden müssen.
Anwendbares Recht
Die Ergänzung der Daten um geltendes Recht würde es dem KI-Assistenten ermöglichen, mehr Fragen zu beantworten.
Chatbot als semantische Suche
Ein Chatbot, der alle Informationen zur Verfügung stellt, würde aus der Perspektive eines Ausschreibungsteilnehmers die Inhalte der Ausschreibung zugänglicher machen und dem Nutzer ermöglichen, bestimmte Fragen selbst zu beantworten. Wie erwartet, war der Assistent kompetent und lieferte zufriedenstellende Antworten basierend auf den Dokumenten, war jedoch klar, obwohl ausführlich, über das, was er nicht beantworten konnte.
Nutzungsvariationen
Aus Prozesssicht sollten alle Ausschreibungsteilnehmer dieselben Informationen haben. Betrachtet man den Chatbot als semantische Suche, wird diese Prämisse nicht verletzt. Ein Antragsteller könnte den Kontext mit einer spezifischen Frage abfragen und Einblicke erhalten, die anderen möglicherweise nicht zur Verfügung stehen. Da allen denselben Zugang gewährt wird, sollte der rechtliche Hinweis hinzugefügt werden, dass die Dateien verbindlich sind und die rechtliche Grundlage der Ausschreibung darstellen. Wie dies rechtlich zu lösen ist, sollte mit der Rechtsabteilung des Ausschreibers geklärt werden.
Antwortkürze
Wie konfiguriert, lieferte unser KI-Assistent ausführliche Antworten, auch wenn er sich bezüglich der Antwort nicht sicher war. Dies wird durch Anpassung der Systemaufforderung behoben.
Missbrauch der Aufforderungen verhindern
Da eine Standard-LLM verwendet wird, sind die Themen, über die es sprechen kann, endlos. Daher müsste die Systemaufforderung angepasst werden, um nur Fragen zu beantworten, die sich auf ihren Kontext beziehen.
Themen auf die schwarze Liste setzen
Wir können uns vorstellen, dass bestimmte Fragen, auch wenn sie kontextbezogen sind, nur von einem Gutachter beantwortet werden sollten. Auch hierfür würde die Systemaufforderung angepasst.
Nächste Schritte
Unser nächster Schritt hat verschiedene Aspekte:
· Wir werden die Qualität der KI-Antworten detaillierter bewerten und das erste Experiment mit einer selbstbewertenden KI durchführen.
· Wir werden Nutzerantworten nutzen, um eine separate Wissensbasis zu erstellen.
· Dafür werden wir das Microsoft OpenAI SDK und die Azure-Infrastruktur einschließlich MongoDB auf Azure Cosmos DB verwenden.
· Wir werden einen ersten UI-PoC erstellen, um den Prozess zu unterstützen.
Mit Anwendbares Recht ergänzen
Vorausgesetzt, wir finden die relevanten Dokumente, werden wir das Ausschreibungsmaterial um das anwendbare Recht ergänzen.
Bewerten Sie die Qualität der Antworten des KI-Assistenzsystems
Zusätzlich zur Bereitstellung einer ersten Antwort werden wir die KI einsetzen, um zu evaluieren, ob die erste Antwort als adäquat betrachtet wurde. Dies soll dem Gutachter mehr Zeit ersparen und würde einen Standardteil eines „Erste Antwort“-Systems darstellen.
Die Wissensfragmente werden dem Chatbot zur Verfügung gestellt
Fragen mit Wissensfragmenten erneut verarbeiten.
Im Prinzip sollten wir nun alle Informationen im System haben, damit der KI-Assistent alle Fragen zufriedenstellend beantworten kann.
Die Erwartung wäre, dass keine neuen Wissensfragmente entstehen.
Zusammenfassung
Zunächst möchten wir betonen, dass es in unserer Analyse oder geplanten Vorgehensweise immer noch Mängel geben kann. Die hier beschriebene Situation kann auch von Ihren konkreten Anforderungen abweichen. Unabhängig davon freuen wir uns über Ihr Feedback.
Obwohl dies wie ein Bottom-up-Ansatz zur KI-Integration erscheinen mag, sollten wir erwähnen, dass wir intensiv an einem Rahmenwerk arbeiten, mit dem eine KI-Integrationsstrategie für Organisationen formuliert werden kann, und dass es strategische Entscheidungen gibt, die getroffen werden müssen, bevor die einfachen Gewinne erzielt werden können. Dazu gehört die Frage, wo die KI-Dienste gehostet werden. Dies hängt von der bestehenden Infrastruktur, den Compliance-Richtlinien und dem Standort der Daten der Organisation ab. Nicht nur der Schutz des geistigen Eigentums hängt von diesen Entscheidungen ab.
Wir haben mit der konkreten Stichprobe begonnen, da wir erwarten, dass die ersten KI-Tools, die unseren Kunden zur Verfügung gestellt werden, Chatbots sein werden, die auf unstrukturierten Daten basieren. Dies wird dann durch einfache Mittel zur Integration strukturierter Daten ergänzt.
Mit den derzeit vorhandenen KI-Tools ist sehr wenig Aufwand erforderlich, um die grundlegenden Anforderungen des technologischen Nachweises zu erfüllen. Der von uns erstellte deutsche Chatbot, der auf Dokumenten basiert, hat sehr effizient funktioniert und würde als semantisches Suchinterface ausreichen. Dies ist angesichts des aktuellen Stands der KI heute nicht sehr überraschend, aber es ist gut, dies für einen spezifischen Anwendungsfall und eine andere Sprache als Englisch zu bestätigen.
Als Teil des Ausschreibungsprozesses würde der Vorgangsschritt eine Hybridlösung bleiben, bei der KI und Benutzer sich gegenseitig ergänzen, und auf kurze Sicht nicht vollständig automatisierbar sein, da die bereitgestellten Antworten Teil der rechtlich bindenden Ausschreibungsveröffentlichung sind.
Als „Erste Antwort System“ für den Ausschreibungsverleger, der gesetzlich bindend über 400 Fragen beantworten muss, wäre die KI eine zeitsparende und wissensaggregierende Verbesserung.
Aus der Perspektive des Ausschreibungsteilnehmers würde der Chatbot das Wissen zugänglicher machen und einen umfassenderen Blick bieten, da er den gesamten Kontext berücksichtigt, wenn er eine Frage beantwortet.
Auch wenn dies für den Benutzer ein kleiner Schritt wäre, wäre es für eine Organisation ein großer Schritt, weshalb wir vorschlagen, mit einem einfacheren Problem zu beginnen, wenn es um die Grundlagen geht.
Wir werden einige der identifizierten Probleme untersuchen und die nächsten Schritte unten für den nächsten Blogbeitrag verfolgen – bleiben Sie dran.
Comments