Technology

Kann die Prüfung Verzerrungen durch Algorithmen beseitigen?

Seit mehr als einem Jahrzehnt schreiben Journalisten und Forscher über die Gefahren, sich auf Algorithmen zu verlassen, um wichtige Entscheidungen zu treffen: Wer wird eingesperrt, wer bekommt einen Job, wer bekommt einen Kredit – selbst wer hat Priorität für COVID-19-Impfstoffe.

Anstatt Verzerrungen zu beseitigen, hat ein Algorithmus nach dem anderen sie kodifiziert und fortgeführt, da Unternehmen gleichzeitig ihre Algorithmen mehr oder weniger vor öffentlicher Kontrolle geschützt haben.

Die große Frage seitdem: Wie lösen wir dieses Problem? Gesetzgeber und Forscher haben sich für algorithmische Audits ausgesprochen, bei denen Algorithmen analysiert und einem Stresstest unterzogen werden, um festzustellen, wie sie funktionieren und ob sie ihre festgelegten Ziele erreichen oder voreingenommene Ergebnisse erzielen. Und es gibt ein wachsendes Feld privater Wirtschaftsprüfungsunternehmen, die vorgeben, genau das zu tun. Unternehmen wenden sich zunehmend an diese Unternehmen, um ihre Algorithmen zu überprüfen, insbesondere wenn sie wegen voreingenommener Ergebnisse kritisiert wurden. Es ist jedoch nicht klar, ob solche Audits Algorithmen tatsächlich weniger voreingenommen machen – oder ob sie einfach gute PR sind.

Die algorithmische Prüfung wurde in letzter Zeit vielfach kritisiert, als HireVue, ein beliebtes Unternehmen für Einstellungssoftware, das von Unternehmen wie Walmart und Goldman Sachs eingesetzt wird, kritisiert wurde, dass die Algorithmen zur Bewertung von Kandidaten durch Videointerviews voreingenommen waren.

HireVue hat eine Wirtschaftsprüfungsgesellschaft um Hilfe gebeten und im Januar die Ergebnisse der Wirtschaftsprüfung in einer Pressemitteilung angepriesen.

Bei der Prüfung wurde festgestellt, dass die Prognosen der Software in Bezug auf Fairness- und Bias-Probleme wie angekündigt funktionieren “, sagte HireVue in einer Pressemitteilung und zitierte die von ihr beauftragte Wirtschaftsprüfungsgesellschaft O’Neil Risk Consulting & Algorithmic Auditing (ORCAA).

Trotz Änderungen an seinem Prozess, einschließlich der Eliminierung von Videos aus den Interviews, wurde HireVue weithin beschuldigt, das Audit – das sich eng mit einem Einstellungstest für Kandidaten für eine frühe Karriere befasste, nicht mit dem gesamten Bewertungsprozess für Kandidaten von HireVue – als PR-Stunt zu verwenden.

Artikel in Fast Company, VentureBeat und MIT Technology Review forderten das Unternehmen auf, das Audit falsch zu charakterisieren.

HireVue erklärte, es sei für die Prüfung transparent, indem der Bericht öffentlich zugänglich gemacht werde, und fügte hinzu, dass in der Pressemitteilung angegeben wurde, dass die Prüfung nur für ein bestimmtes Szenario bestimmt sei.

“Während HireVue für jede Art von Prüfung offen war, einschließlich einer Prüfung, bei der unser Prozess im Allgemeinen betrachtet wurde, bat ORCAA darum, sich auf einen einzigen Anwendungsfall zu konzentrieren, um konkrete Diskussionen über das System zu ermöglichen”, sagte Lindsey Zuloaga, Chief Data Scientist von HireVue eine E-Mail. “Wir haben mit ORCAA zusammengearbeitet, um einen repräsentativen Anwendungsfall auszuwählen, der sich erheblich mit den Bewertungen der meisten HireVue-Kandidaten überschneidet.”

[Read: How do you build a pet-friendly gadget? We asked experts and animal owners]

Aber auch algorithmische Prüfer waren über die öffentlichen Erklärungen von HireVue zur Prüfung unzufrieden.

„Bei der Umnutzung [ORCAA’s] Durch eine sehr sorgfältige Analyse der Marketingmaterialien untergraben sie die Legitimität des gesamten Bereichs “, sagte Liz O’Sullivan, Mitbegründerin von Arthur, einem Startup für KI-Erklärbarkeit und Bias-Überwachung.

Und das ist das Problem bei der algorithmischen Prüfung als Instrument zur Beseitigung von Verzerrungen: Unternehmen könnten sie verwenden, um echte Verbesserungen vorzunehmen, aber möglicherweise nicht. Und es gibt keine Industriestandards oder Vorschriften, die die Wirtschaftsprüfer oder die Unternehmen, die sie zur Rechenschaft ziehen, zur Rechenschaft ziehen.

Was ist algorithmische Prüfung – wie funktioniert sie?

Gute Frage – es ist ein ziemlich undefiniertes Feld. Im Allgemeinen laufen Audits auf verschiedene Arten ab: indem der Code eines Algorithmus und die Daten aus seinen Ergebnissen betrachtet werden oder indem die möglichen Auswirkungen eines Algorithmus durch Interviews und Workshops mit Mitarbeitern betrachtet werden.

Mithilfe von Audits mit Zugriff auf den Code eines Algorithmus können Prüfer beurteilen, ob die Trainingsdaten des Algorithmus verzerrt sind, und hypothetische Szenarien erstellen, um die Auswirkungen auf verschiedene Populationen zu testen.

Es gibt nur etwa 10 bis 20 seriöse Firmen, die algorithmische Überprüfungen anbieten, sagte Rumman Chowdhury, Twitter-Direktor für Ethik des maschinellen Lernens und Gründer des algorithmischen Prüfungsunternehmens Parity. Unternehmen verfügen möglicherweise auch über eigene interne Revisionsteams, die sich mit Algorithmen befassen, bevor sie der Öffentlichkeit zugänglich gemacht werden.

Im Jahr 2016 förderte ein Bericht der Obama-Regierung über algorithmische Systeme und Bürgerrechte die Entwicklung einer algorithmischen Prüfungsbranche. Die Einstellung eines Wirtschaftsprüfers ist jedoch nach wie vor keine gängige Praxis, da Unternehmen nicht dazu verpflichtet sind. Laut mehreren Wirtschaftsprüfern möchten Unternehmen nicht die Prüfung oder potenzielle rechtliche Probleme, die diese Prüfung möglicherweise aufwirft, insbesondere für Produkte, die sie vermarkten.

“Anwälte sagen mir:” Wenn wir Sie einstellen und herausfinden, dass es ein Problem gibt, das wir nicht beheben können, haben wir die plausible Leugnung verloren und wollen nicht die nächste Zigarettenfirma sein “, so die Gründerin von ORCAA, Cathy O. Neil, sagte. “Das ist der häufigste Grund, warum ich keinen Job bekomme.”

Für diejenigen, die Wirtschaftsprüfer einstellen, gibt es keine Standards dafür, was eine „Prüfung“ beinhalten sollte. Selbst ein Gesetzesvorschlag in New York City, der jährliche Prüfungen von Einstellungsalgorithmen vorschreibt, legt nicht fest, wie die Prüfungen durchgeführt werden sollten. Ein Gütesiegel eines Abschlussprüfers könnte viel mehr Kontrolle bedeuten als das eines anderen.

Und da Prüfungsberichte auch fast immer an Geheimhaltungsvereinbarungen gebunden sind, können die Unternehmen ihre Arbeit nicht miteinander vergleichen.

“Das große Problem ist, dass wir feststellen werden, dass wir, wenn dieses Feld lukrativer wird, wirklich Standards für die Prüfung benötigen”, sagte Chowdhury. “Es gibt viele Leute da draußen, die bereit sind, etwas als Audit zu bezeichnen, eine gut aussehende Website zu erstellen und es als Tag zu bezeichnen und ohne Standards Geld zu verdienen.”

Und Tech-Unternehmen sind nicht immer bereit, selbst mit den Auditoren, die sie einstellen, sagen einige Auditoren.

“Wir haben diese Situation, in der Geschäftsgeheimnisse ein guter Grund sind, diese Algorithmen dunkel und im Dunkeln arbeiten zu lassen, und das können wir nicht haben”, sagte Arthurs O’Sullivan.

Auditoren befanden sich in Szenarien, in denen sie keinen Zugriff auf den Code der Software haben und daher möglicherweise gegen die Computerzugriffsgesetze verstoßen, sagte Inioluwa Deborah Raji, Auditorin und Forschungsmitarbeiterin bei der Algorithmic Justice League. Chowdhury sagte, sie habe Audits abgelehnt, als Unternehmen verlangten, dass sie ihnen erlauben, sie vor der Veröffentlichung zu überprüfen.

Für die Prüfung von HireVue befragte ORCAA Stakeholder, darunter HireVue-Mitarbeiter, Kunden, Bewerber und Experten für algorithmische Fairness, und identifizierte Bedenken, die das Unternehmen berücksichtigen musste, sagte Zuloaga.

Bei der Bewertung von ORCAA wurden die technischen Details der HireVue-Algorithmen nicht berücksichtigt – beispielsweise die Daten, auf denen der Algorithmus trainiert wurde, oder der Code -, obwohl Zuloaga sagte, das Unternehmen habe den Zugriff der Prüfer in keiner Weise eingeschränkt.

“ORCAA bat um Details zu diesen Analysen, aber ihr Ansatz konzentrierte sich darauf, zu untersuchen, wie Stakeholder von dem Algorithmus betroffen sind”, sagte Zuloaga.

O’Neil sagte, sie könne das HireVue-Audit nicht kommentieren.

Viele Audits werden durchgeführt, bevor Produkte veröffentlicht werden, aber das heißt nicht, dass sie nicht auf Probleme stoßen, da Algorithmen nicht im luftleeren Raum existieren. Nehmen wir zum Beispiel, als Microsoft einen Chatbot erstellte, der schnell rassistisch wurde, sobald er Twitter-Nutzern ausgesetzt war.

“Sobald Sie es in die reale Welt gebracht haben, können eine Million Dinge schief gehen, selbst mit den besten Absichten”, sagte O’Sullivan. „Der Rahmen, den wir gerne annehmen würden, ist, dass es nicht gut genug gibt. Es gibt immer Möglichkeiten, die Dinge fairer zu gestalten. “

Einige Prerelease-Audits bieten daher auch eine kontinuierliche Überwachung, obwohl dies nicht üblich ist. Die Praxis gewinnt bei Banken und Gesundheitsunternehmen an Dynamik, sagte O’Sullivan.

Die Überwachungsfirma von O’Sullivan installiert ein Dashboard, das nach Anomalien in Algorithmen sucht, in denen sie verwendet werden Echtzeit. Zum Beispiel würde es Unternehmen Monate nach dem Start alarmieren, wenn ihre Algorithmen mehr weibliche Antragsteller für Kredite ablehnen würden.

Und schließlich gibt es auch eine wachsende Zahl von kontroversen Audits, die größtenteils von Forschern und einigen Journalisten durchgeführt werden und Algorithmen ohne Zustimmung eines Unternehmens überprüfen. Nehmen wir zum Beispiel Raji und Joy Buolamwini, Gründer der Algorithmic Justice League, deren Arbeit am Amazon Rekognition-Tool hervorhob, wie rassistisch und geschlechtsspezifisch die Software war, ohne dass das Unternehmen daran beteiligt war.

Korrigieren Unternehmen ihre Algorithmen nach einem Audit?

Es gibt keine Garantie, dass Unternehmen die bei einer Prüfung aufgeworfenen Fragen angehen.

“Sie können ein Qualitätsaudit durchführen lassen und trotzdem keine Rechenschaftspflicht vom Unternehmen erhalten”, sagte Raji. “Es erfordert viel Energie, um die Lücke zwischen dem Erhalten der Prüfungsergebnisse und der anschließenden Umsetzung in Rechenschaftspflicht zu schließen.”

Der öffentliche Druck kann Unternehmen manchmal dazu bringen, sich mit der algorithmischen Verzerrung der Technologie zu befassen – oder mit Audits, die nicht auf Geheiß des Technologieunternehmens durchgeführt wurden und unter eine Geheimhaltungsvereinbarung fallen.

Raji sagte, die Gender Shades-Studie, in der geschlechtsspezifische und rassistische Vorurteile in kommerziellen Gesichtserkennungstools festgestellt wurden, nannte Unternehmen wie IBM und Microsoft, um ein öffentliches Gespräch darüber zu führen.

Aber es kann schwierig sein, die algorithmische Rechenschaftspflicht in Schwung zu bringen, sagte sie.

Während Verzerrungen bei der Gesichtserkennung erkennbar sind – Menschen können Fotos und Fehlerraten sehen und die Konsequenzen von rassistischen und geschlechtsspezifischen Verzerrungen in der Technologie verstehen -, ist es möglicherweise schwieriger, sich auf Verzerrungen bei Zinsalgorithmen zu beziehen.

“Es ist ein bisschen traurig, dass wir uns so sehr auf öffentlichen Aufschrei verlassen”, sagte Raji. „Wenn die Öffentlichkeit es nicht versteht, gibt es keine Geldstrafe, es gibt keine rechtlichen Auswirkungen. Und das macht es sehr frustrierend. “

Was kann also getan werden, um die algorithmische Prüfung zu verbessern?

Im Jahr 2019 führte eine Gruppe demokratischer Gesetzgeber das Bundesgesetz über die algorithmische Rechenschaftspflicht ein, nach dem Unternehmen ihre Algorithmen prüfen und alle von den Prüfungen aufgedeckten Verzerrungsprobleme angehen müssten, bevor sie in Betrieb genommen werden.

AI For the People-Gründer Mutale Nkonde war Teil eines Teams von Technologen, die bei der Ausarbeitung des Gesetzentwurfs behilflich waren, und sagte, es hätte Regierungsmandate für Unternehmen geschaffen, um beide Prüfungen durchzuführen und diese Prüfungen durchzuführen.

“Ähnlich wie bei Drogentests müsste es eine Art Agentur wie die Food and Drug Administration geben, die sich mit Algorithmen befasst”, sagte sie. “Wenn wir die unterschiedlichen Auswirkungen sehen würden, würde dieser Algorithmus nicht auf den Markt gebracht.”

Die Rechnung hat es nie zu einer Abstimmung geschafft.

Senator Ron Wyden, ein Demokrat aus Oregon, sagte, er plane, die Gesetzesvorlage mit Senator Cory Booker (D-NJ) und Rep. Yvette Clarke (D-NY) mit Aktualisierungen der Version 2019 wieder einzuführen. Es ist unklar, ob der Gesetzentwurf Standards für Audits festlegen würde, aber es würde erfordern, dass Unternehmen auf ihre Ergebnisse reagieren.

“Ich stimme zu, dass Forscher, Industrie und Regierung darauf hinarbeiten müssen, anerkannte Benchmarks für die Prüfung von KI festzulegen, um sicherzustellen, dass Prüfungen so effektiv wie möglich sind”, sagte Wyden in einer Erklärung. „Es steht jedoch zu viel auf dem Spiel, um auf einen vollständigen akademischen Konsens zu warten, bevor der Kongress Maßnahmen zum Schutz vor Verzerrungen durch automatisierte Systeme ergreift. Ich bin der Meinung, dass wir an beiden Tracks arbeiten müssen. “

Dieser Artikel wurde ursprünglich auf The Markup veröffentlicht und unter der Creative Commons Attribution-NonCommercial-NoDerivatives-Lizenz erneut veröffentlicht.

Veröffentlicht am 27. Februar 2021 – 14:00 UTC

Leave your vote

0 points
Upvote Downvote

Related Articles

Log In

Forgot password?

Forgot password?

Enter your account data and we will send you a link to reset your password.

Your password reset link appears to be invalid or expired.

Log in

Privacy Policy

Add to Collection

No Collections

Here you'll find all collections you've created before.