Orange Fairness Add-On

KI per GUI auf Diskriminierung prüfen mit dem Orange Fairness Add-On

Die Open-Source-Software Orange Data Mining ermöglicht es Data Science Workflows und künstliche Intelligenzen mit Drag-and-Drop Elementen zu erstellen. Für die Workshops, Forschung und Anwendungen in Unternehmen eignet sich das Tool besonders um KI zu lernen, zu kommunizieren, Projekte verständlich zu machen, und schnelle Erfolge zu erzielen. Mit dem Fairness Add-On kann man Machine Learning Modelle mit Orange nun auch fairer machen.

Fairness & Künstliche Intelligenz? Ein Exkurs

Wenn wir uns immer mehr Entscheidungen von künstlichen Intelligenzen und Machine Learning Modellen abnehmen lassen, dann wird es immer wichtiger sicherzustellen, dass die Modelle auch Entscheidungen treffen, die mit unseren Werten, Gesetzen und der Unternehmenskultur übereinstimmen. Das betrifft vor allem solche KI, die Entscheidungen trifft, die Menschen beeinflussen, z.B. bei der Kreditvergabe, Preisgestaltung, oder Kommunikation. Im Bereich Data Science und Machine Learning galt es lange vor allem die Genauigkeit und Vorhersagekraft von Modellen zu optimieren. Durch zahlreiche Negativbeispiele in den Medien wurde in den letzten Jahren immer offensichtlicher das neben der Vorhersagekraft auch Aspekte wie Fairness, Interpretierbarkeit, und Datenschutz eine wichtige Rolle in der Entwicklung und Anwendung von Künstlicher Intelligenz spielen. An der Mainzer Uni existiert dazu das interdisziplinäre, von der Carl-Zeiss-Stiftung gefördertes Forschungszentrum TOPML. Aus der akademischen Forschung sind erprobte Methoden hervorgegangen, die dabei helfen Black-Box Modelle zu verstehen, oder KI-Modelle fair zu gestalten. Im AI Bootcamp lernen Absolventen von IOMIDS mehr über Fairness und Interpretierbarkeit von Künstlicher Intelligenz. Kürzlich erschienene Add-Ons für Orange ermöglichen es die Methoden nun besonders einfach zu nutzen, und das sogar ganz ohne zu programmieren.

2023 hat die Universität Ljubljana eine Fairness Extension für Orange veröffentlicht. Dieses Paket lässt sich leicht über den python packaging index (pip) installieren, oder auch per Link downloaden. Mit der kostenlosen Erweiterung zum ebenfalls kostenlosen Tool können Datensets und Machine Learning Modelle schnell auf Bias und Diskriminierung geprüft, und mit fortschrittlichen Methoden verbessert werden. Ein guter Anlass einen kleinen Überblick zu Fairness -Metriken, -Methoden, und der Implementierung in Orange zu geben.

Dataset Bias – Ursprung vieler Data Science Übel

Da jedes statistische Modell, jeder Machine Learning Algorithmus aus Daten lernt, und schlussendlich Zusammenhänge generalisieren soll, ist die Datenbasis essentiell, um starke KI zu entwickeln. Inakkurat gemessene oder eingetragene Daten sind ein Graus für Data Science und Künstliche Intelligenz: Sie verzerren Insights und Modelle, machen es schwer eine geeignete Funktion zwischen Input-Daten und Output-Label zu finden. Neben klassischen Methoden wie der Outlier-Analyse, Plausibilitätschecks oder dem Prüfen von Multikollinearität gibt es auch Metriken, die die Fairness eines Datensatzes bestimmen. Aber wie kann ein Datensatz überhaupt (un)fair sein?

Zunächst einmal ist ein Datenset mehr oder weniger objektiv entstanden. Messfehler und unvollständige Daten sind dafür Hauptursachen. Die normative Dimension kommt vor allem ins Spiel, sobald es sich um personenbezogene Daten handelt. Denn KI-Modelle reproduzieren in der Regel Diskriminierung, die in den Daten enthalten sein kann. Geht es zum Beispiel um Straftaten, so kann es sein, dass Taten von Menschen mit Migrationshintergrund aufgrund fokussierter Polizeiarbeit eine höhere Aufklärungsrate aufweisen. Die Straftaten von weißen Menschen wären dann unterproportional wenig dokumentiert. Dies kann zu verzerrten Modelloutputs führen. Bestimmt ein Unternehmen datengetrieben z.B. das Risiko eines Betrugsfalles und lehnt einen Auftrag (wie z.B. eine Paketlieferung) ab, so ist es möglich, dass vermehrt Migranten den Service verwehrt bekommen. Ungleichbehandlung aufgrund sensibler Attribute wie Herkunft oder Geschlecht ist laut AGG allerdings illegal. Neben rechtlichen Konsequenzen können auch Rufschäden die Folge sein. Fairness spielt im Bereich Data Science und Machine Learning also eine wichtige Rolle, wenn es einen bevorzugten Outcome gibt (z.B. Kreditvergabe, Jobinterview), der von Attributen wie dem Geschlecht, der Herkunft, sexuellen oder religiösen Orientierungen abhängt. Mit dem Widget „As Fairness Data“ können Datensätze in Orange so notiert werden, dass daraufhin Fairness-Metriken und faire Modelle berechnet werden können. Dazu muss der favorisierte Outcome, das sensitive Attribut, sowie die privilegierte Gruppe markiert werden.

Fairness-Metriken – Damit KI gerecht lernt

Mit dem Widget DataSet Bias können Fairness-Metriken bereits auf dem Datensatz berechnet werden. Die Kennzahlen Disparate Impact, sowie die Statistical Parity Difference beziffern dabei, inwieweit sich die Gruppen hinsichtlich des gewünschten Outcomes unterscheiden. Ist der Disparate Impact 1, so würde dies bedeuten, dass z.B. Frauen und Männer im Datensatz die gleiche Wahrscheinlichkeit haben einen favorisierten Outcome zu bekommen, wenn also z.B. 30% der Frauen, und 30% der Männer einen angefragten Kredit genehmigt bekommen hatten. Ein solcher Datensatz wäre damit zunächst unproblematisch. Bekamen in der Vergangenheit 70% der Männer einen Kredit genehmigt, und nur 20% der Frauen, wäre der Disparate Impact deutlich unter 1. Ein statistisches Modell würde diese Ungleichheit reproduzieren. Die naheliegende Lösung: Das sensible Attribut wie Geschlecht aus dem Datensatz zu entfernen. Das hilft leider nur sehr bedingt, da komplexe ML-Modelle über korrelierte Attribute (z.B. die Bestellhistorie, Name, etc.) implizit auf das Geschlecht oder auch die Herkunft schließen können. Selbst nach Entfernen des Geschlecht-Attributes wird eine künstliche Intelligenz Männern dann bevorzugt einen Kredit genehmigen. Um dies zu verhindern gibt es verschiedene Methoden um faire Modelle zu trainieren. Dazu kann man die Daten vor dem Lernen des Machine Learning Modells gezielt bearbeiten (Preprocessing), die Optimierungsfunktion eines Algorithmus erweitern (In-Processing), oder die Modellergebnisse im Nachhinein anpassen (Post-Processing).

Reweighing – Maschinelles Lernen mit Gewichten

Als praktisches Orange Widget kann die Preprocessing Methode Reweighing einfach in den DataScience-Workflow integriert werden. Der Reweighing-Algorithmus fügt dem Datensatz eine neue Spalte mit Gewichten zu. Diese Gewichte können dann bei der Modellbildung genutzt werden, um von bestimmten Fällen mehr oder weniger stark zu lernen. Was genau hinter dem Algorithmus steckt führt hier zu weit. Besonders zu beachten ist, dass nicht alle Machine Learning Algorithmen mit Gewichten lernen können. Umgehen lässt sich dies, indem man den Datensatz mit den Gewichten als Wahrscheinlichkeiten samplet, sodass alle Modellfamilien von Reweighing profitieren können.

Adversarial Debiasing – KI Wissen begrenzen, Diskriminierung verlernen

Dieses Orange Widget, und der zugrunde liegende Algorithmus ^[1] sind eine In-Processing Methode. Hierbei wird die Optimierungsfunktion eines Modells um einen Term erweitert wird. Neben einer klassischen Error Metrik wie dem Mean Squared Error, soll ein solches faires Modell zusätzlich die Beziehung zwischen dem sensitiven Attribut und dem Outcome verlernen. Somit wird das Modell möglichst unabhängig von problematischen Attributen wie Geschlecht oder Herkunft. In-Processing Methoden tendieren im Vergleich zu anderen Fairness-Methoden dazu eine besonders hohe Modellgüte zu erzielen.

^[1] Zhang et al., 2018, DOI 10.1145/3278721.3278779

Equal Odds Postprocessing – Machine Learning nach dem Training verbessern

Dieses Orange Widget greift auf die AIF360 Python Bibliothek zurück, um die Ergebnisse eines Modells anzupassen. Gezielt minimiert wird die Ungleichheit zwischen den Falsch-Positiv, und Falsch-Negativ Raten der sensitiven Gruppen. Denn Fairness geht über Gleichheit hinaus. Viel relevanter als gleiche Outcomes (z.B. 30% Kreditwürdigkeit bei Männern, 30% Kreditwürdigkeit bei Frauen) ist die Ausgewogenheit der Fehler eines Modells. Unfair ist eine KI nämlich besonders dann, wenn sensitive Gruppen fälschlicherweise einem negativen konnotierten Output zugewiesen bekommen.

Der berühmte COMPAS-Fall illustriert das Problem hervorragend: das in Florida eingesetzte Richter-unterstützende KI-System bewertete die Rückfallwahrscheinlichkeit von farbigen Menschen innerhalb von zwei Jahren deutlicher höher als es dann tatsächlich der Fall war. Erneute Straffälligkeit von weißen Menschen unterschätzte das Modell systematisch. Die Falsch-Positiv Raten waren also ungleich.

Fazit – Lernen KI fair & interpretierbar zu machen

KI-Modelle werden immer häufiger eingesetzt um relevante Entscheidungen zu treffen, weshalb es immer wichtiger wird auch deren Fairness zu gewährleisten. Pre-, In- und Post-Processing Methoden können Sicherheit schaffen, und dazu beitragen, dass der Einsatz von künstlicher Intelligenz rechtlich unproblematisch geschieht, und keine Rufschäden entstehen. Mit dem Orange Add-On lässt sich Fairness besonders einfach in den Data-Science Workflow integrieren. Daten und Modelle können auf Diskriminierung geprüft, und angepasst werden.

Das Thema interessiert Sie? Im AI Bootcamp von IOMIDS lernen Absolventen Künstliche Intelligenz richtig einzusetzen, und auch fortgeschrittene Themen wie Fairness oder Interpretierbarkeit fundiert zu begreifen.