Auf dem #38c3 gehen Marte Henningsen und Rainer Mühlhoff mit dem KI-BEWERTUNGS-Tool von fobizz.com hart ins Gericht. Fazit:
"Das Tool weist grundlegende Defizite auf, von denen die Studie mehrere als “fatale
Gebrauchshindernisse” klassifiziert (siehe Tabelle #tab:D:gravität). Es wird darauf hingewiesen, dass die meisten der beobachteten Mängel auf die inhärenten technischen Eigenschaften und Limitationen großer Sprachmodelle (LLMs) zurückzuführen sind. Aus diesen Gründen ist eine schnelle technische
Lösung der Mängel nicht zu erwarten.
Die Ergebnisse legen nahe, dass das Tool für den Schulalltag ungeeignet ist. Die beobachteten Mängel werfen erhebliche Fragen hinsichtlich der Zuverlässigkeit und Fairness des Tools auf. Zudem kritisiert die Studie die unverantwortliche und irreführende Bewerbung und Vermarktung des Tools durch Fobizz."
Studie gibt es hier: https://arxiv.org/pdf/2412.06651
#FediLZ #AI #KI #DASS #Privacy #Schule #edu
Edit: Das Missverstsändnis im ersten Satz ausgeräumt: Nicht die gesamten Tools von fobizz.com sind betroffen, sondern nur das KI-Bewertungstool. Vielen Dank an @InfNITSH!
