top of page

Kann maschinelles Lernen die Qualität eines Meilensteins bestimmen?

Paul Groenewoud


Suchen Sie nach einer Möglichkeit, eine einheitliche Bewertung der Datenqualität während der finanziellen Überprüfung von Projekten sicherzustellen? Maschinelles Lernen könnte die Antwort sein! Dieser Beitrag gibt einen Überblick darüber, wie maschinelles Lernen eingesetzt werden kann, um die Textqualität von Meilensteinen in einem System für die finanzielle Prüfung von Projekten zu bewerten. Ausserdem werden wir die wichtigsten Herausforderungen und Erfahrungen, die potenziellen Vorteile und die Auswirkungen des maschinellen Lernens für diesen Zweck erörtern. Abschliessend werden wir uns mit der Datenerfassung und den Optionen für die Überwachung der Datenqualität in der Produktion befassen. Machen Sie sich bereit, Ihre finanziellen Projektaudits auf die nächste Stufe zu heben!


Meilensteine


Meilensteine sind wichtig für den Erfolg eines jeden Projekts, unabhängig von dessen Grösse und Komplexität. Sie helfen dabei, den Fortschritt zu verfolgen und zu kommunizieren, den Erfolg zu messen und bieten einen Bezugspunkt für das Team und das Management.


Der Kunde


Unser Kunde war daran interessiert, maschinelles Lernen zu nutzen, um die Textformulierungen von Tausenden von Meilensteinen, die in einem prozessgesteuerten, finanziellen Projektauditsystem erstellt wurden, neutral und konsistent zu bewerten. Die Bewertung der Meilensteinformulierungen würde einen KPI ermöglichen, der das Bewusstsein für die Datenqualität verbessern und die Risiken der Rechnungsprüfung mindern würde.


Die Anfrage


Wir wurden um eine Machbarkeitsstudie gebeten, um festzustellen, ob maschinelles Lernen die Qualität von Meilensteinformulierungen bestimmen kann. Die Geschäftsanforderung bestand darin, Statistiken für einen Meilenstein-Qualitäts-KPI bereitzustellen. Die Lösung sollte sich in den Technologie-Stack des Kunden einfügen und von der bestehenden Support-Struktur gewartet werden.


In diesem Blogbeitrag werden wir das Potenzial des maschinellen Lernens zur Bewertung der Qualität von Meilensteinen untersuchen und einige der Ergebnisse und Auswirkungen diskutieren, die wir beobachtet haben. Wir hoffen, dass diese Diskussion dazu beiträgt, die potenziellen Vorteile und die damit verbundenen Herausforderungen zu erhellen.


Die Studie und das Konzept


Obwohl wir auch IBMs Watson und Googles TensorFlow in Betracht gezogen haben, haben wir uns für ML.NET von Microsoft entschieden. ML.NET passt zum bestehenden Technologie-Stack des Kunden und ist mit den sehr ausdrucksstarken TensorFlow-Modellen von Google kompatibel.


Unsere Analyse der Daten ergab, wie vom Kunden angegeben, dass der Prozess oft die Formulierung von Meilensteinen vorgab. Dies reduzierte die Aussagekraft der Meilensteine, erforderte mehr Aufwand bei der Bewertung und stellt somit ein Risiko dar.


Für die Entwicklung des Machine Learning Modells zur Bewertung der Qualität von Meilensteinen wurde die Qualitätsspanne zur Bewertung der Meilensteine von fünf auf drei Punkte reduziert. Dadurch konnten die erforderlichen Daten um 40 % reduziert und der Fokus eingegrenzt werden. Kurz gesagt, das Modell wandelt den Text des Meilensteins in eine Zahl um, 1, 2 oder 3. Für die drei verschiedenen Kategorien werden Stichprobendaten und Validierungsdaten in gleicher Menge benötigt.


Eine typische erste Hürde, die es zu überwinden galt, bestand darin, den Kunden in die Lage zu versetzen, schnell und effizient genügend Trainings- und Validierungsdaten bereitzustellen. In wenigen Iterationen wurde eine App zur Datenerfassung (POC) entwickelt, die es den Ingenieuren ermöglicht, bestehende Meilensteine mit minimalem Aufwand zu bewerten oder anzupassen. Excel ist grossartig, aber eine benutzerdefinierte Benutzeroberfläche erhöht die Effizienz der Datenerfassung immens und bietet zusätzliche Möglichkeiten zur Datenerfassung.


Nachfolgend das Konzept der drei Varianten von Meilensteinbewertungen. Der Benutzer wählt eine eigene Bewertung aus - die angezeigte aktuelle ML-Bewertung. Zusätzlich kann der Benutzer den Text wie im dritten Beispiel ändern.




Das Modell des maschinellen Lernens wurde intuitiv erstellt, und nach einigen Iterationen und mehr Daten war klar, dass das Ziel in greifbarer Nähe lag. Mit Hilfe des maschinellen Lernens kann man die Eigenschaften analysieren und die Qualität eines Meilensteins bewerten.


Ursprünglich lag der Schwerpunkt auf der Machbarkeit und der Sensibilisierung für die Datenqualität mithilfe von KPIs. Im Laufe der Entwicklung des Datenerfassungstools verlagerte sich der Schwerpunkt jedoch auf den Mehrwert einer genauen Bewertung des Meilensteintextes zum Zeitpunkt der Dateneingabe.


Neben der nahtlosen Umsetzung der Geschäftsanforderungen und dem positiven Ergebnis der Machbarkeitsstudie konnten wir den Vorschlag unterstützen, dem Lenkungsausschuss des datengenerierenden Auditsystems ein direktes Feedback zur Datenqualität zum Zeitpunkt der Erfassung zu geben. Diese Art des Datenqualitätsbewusstseins wäre viel effizienter und würde ein breiteres Publikum erreichen.




Learnings


Maschinelles Lernen kann verwendet werden, um die Textformulierung eines Meilensteins zu bewerten. Dies trägt dazu bei, potenzielle Prüfungsrisiken zu mindern und kann sich positiv auf die Gesamtleistung einer Organisation auswirken.


  • · Es ist wichtig zu beachten, dass die Genauigkeit der Qualitätsschätzungen von Meilensteinen, zusätzlich zu einem sorgfältig entwickelten maschinellen Lernmodell, stark von der Qualität und Relevanz der Trainings- und Validierungsdaten abhängt.

  • Selbst bei kleinen Projekten ist ein agiler Prozess eine Grundlage für eine gute Zusammenarbeit mit dem Kunden.

  • Auch wenn es sich nur um ein Ein-Personen-Projekt handelte - der Erfolg war der des Kollektivs, des Kunden und der Kollegen, die alle zusammenarbeiteten, auch wenn sie nicht "an einem Projekt" arbeiteten.

  • Vertrauen, Transparenz und die Erlaubnis, Fragen ausserhalb des Kontextes zu stellen, schufen ein Umfeld, in dem grossartige Ergebnisse erzielt werden konnten.


Wenn Sie Fragen haben, die ChatGPT nicht auf Anhieb beantworten kann, nehmen Sie bitte Kontakt mit uns auf. Letzteres wird aus Neugierde an diesem Thema ausgewertet, also bleiben Sie dran und verfolgen Sie die Ergebnisse hier.

Kommentarer


bottom of page