Technology

Der wütende KI-Forscher erstellt eine Liste nicht reproduzierbarer Papiere für maschinelles Lernen

Am 14. Februar eröffnete ein Forscher, der frustriert war, die Ergebnisse eines Forschungspapiers zum maschinellen Lernen zu reproduzieren, ein Reddit-Konto unter dem Benutzernamen ContributionSecure14 und veröffentlichte das r / MachineLearning subreddit: „Ich habe gerade eine Woche damit verbracht, ein Papier als Basis zu implementieren, und konnte die Ergebnisse nicht reproduzieren. Nachdem ich ein bisschen gegoogelt hatte, wurde mir heute klar, dass einige andere die Ergebnisse ebenfalls nicht reproduzieren konnten. Gibt es eine Liste solcher Papiere? Das spart den Menschen viel Zeit und Mühe. “

Der Beitrag hat bei anderen Benutzern von r / MachineLearning, der größten Reddit-Community für maschinelles Lernen, einen Nerv getroffen.

“Einfacher, eine Liste reproduzierbarer zu erstellen …”, antwortete ein Benutzer.

„Wahrscheinlich sind 50% -75% aller Papiere nicht reproduzierbar. Es ist traurig, aber es ist wahr “, schrieb ein anderer Benutzer. „Denken Sie darüber nach, die meisten Papiere sind ‘optimiert’, um an einer Konferenz teilzunehmen. Meistens wissen die Autoren, dass ein Artikel, den sie versuchen, in eine Konferenz einzusteigen, nicht sehr gut ist! Sie müssen sich also keine Sorgen um die Reproduzierbarkeit machen, da niemand versuchen wird, sie zu reproduzieren. “

Einige andere Benutzer veröffentlichten Links zu Papieren zum maschinellen Lernen, die sie nicht implementiert hatten, und äußerten sich frustriert darüber, dass die Implementierung von Code in ML-Konferenzen nicht erforderlich war.

Am nächsten Tag erstellte ContributionSecure14 „Papers Without Code“, eine Website, die darauf abzielt, eine zentralisierte Liste von nicht implementierbaren Papieren für maschinelles Lernen zu erstellen.

“Ich bin nicht sicher, ob dies die beste oder schlechteste Idee überhaupt ist, aber ich dachte, es wäre nützlich, eine Liste von Papieren zu sammeln, die die Leute zu reproduzieren versucht haben und die fehlgeschlagen sind”, so ContributionSecure14 schrieb auf r / MachineLearning. „Dies gibt den Autoren die Möglichkeit, entweder ihren Code freizugeben, Hinweise zu geben oder das Papier zu widerrufen. Ich hoffe, dass dies einen Anreiz für eine gesündere ML-Forschungskultur darstellt, nicht reproduzierbare Arbeiten nicht zu veröffentlichen. “

Reproduktion der Ergebnisse von Papieren zum maschinellen Lernen

Forscher des maschinellen Lernens veröffentlichen regelmäßig Artikel auf Online-Plattformen wie arXiv und OpenReview. Diese Artikel beschreiben Konzepte und Techniken, die neue Herausforderungen in maschinellen Lernsystemen hervorheben oder neue Wege zur Lösung bekannter Probleme einführen. Viele dieser Artikel finden ihren Weg in gängige Konferenzen für künstliche Intelligenz wie NeurIPS, ICML, ICLR und CVPR.

Der Quellcode für ein Forschungspapier hilft sehr dabei, die Gültigkeit einer maschinellen Lerntechnik zu überprüfen und darauf aufzubauen. Dies ist jedoch keine Voraussetzung für Konferenzen zum maschinellen Lernen. Infolgedessen haben viele Studenten und Forscher, die diese Artikel lesen, Schwierigkeiten, ihre Ergebnisse zu reproduzieren.

“Nicht reproduzierbare Arbeit verschwendet die Zeit und Mühe wohlmeinender Forscher, und Autoren sollten sich bemühen, sicherzustellen, dass mindestens eine öffentliche Umsetzung ihrer Arbeit existiert”, sagte ContributionSecure14, der es vorzog, anonym zu bleiben TechTalks in schriftlichen Kommentaren. “Die Veröffentlichung eines Papiers mit empirischen Ergebnissen im öffentlichen Bereich ist sinnlos, wenn andere nicht aus dem Papier aufbauen oder es als Grundlage verwenden können.”

ContributionSecure14 erkennt jedoch auch an, dass es manchmal legitime Gründe für Forscher des maschinellen Lernens gibt, ihren Code nicht freizugeben. Beispielsweise können einige Autoren ihre Modelle in der internen Infrastruktur trainieren oder große interne Datensätze für das Pretraining verwenden. In solchen Fällen steht es den Forschern aufgrund der Unternehmensrichtlinien nicht frei, den Code oder die Daten zusammen mit ihrem Papier zu veröffentlichen.

„Wenn die Autoren aufgrund solcher Umstände eine Arbeit ohne Code veröffentlichen, glaube ich persönlich, dass sie die akademische Verantwortung haben, eng mit anderen Forschern zusammenzuarbeiten, die versuchen, ihre Arbeit zu reproduzieren“, sagt ContributionSecure14. „Es macht keinen Sinn, das Papier öffentlich zu veröffentlichen, wenn andere nicht darauf aufbauen können. Es sollte mindestens eine öffentlich zugängliche Referenzimplementierung geben, auf der andere aufbauen oder die sie als Basis verwenden können. “

In einigen Fällen haben andere Forscher des maschinellen Lernens immer noch Schwierigkeiten, die Ergebnisse zu reproduzieren, selbst wenn die Autoren sowohl den Quellcode als auch die Daten für ihre Arbeit veröffentlichen. Dies kann verschiedene Gründe haben. Zum Beispiel könnten die Autoren die besten Ergebnisse aus mehreren Experimenten auswählen und sie als Errungenschaften auf dem neuesten Stand der Technik präsentieren. In anderen Fällen haben die Forscher möglicherweise Tricks angewendet, z. B. die Parameter ihres maschinellen Lernmodells auf den Testdatensatz abzustimmen, um die Ergebnisse zu verbessern. In solchen Fällen sind die Ergebnisse, selbst wenn sie reproduzierbar sind, nicht relevant, da das Modell des maschinellen Lernens an bestimmte Bedingungen angepasst wurde und bei zuvor nicht sichtbaren Daten keine gute Leistung erbringt.

„Ich denke, es ist notwendig, reproduzierbaren Code als Voraussetzung zu haben, um die Gültigkeit der in dem Papier behaupteten Ergebnisse unabhängig zu überprüfen, aber [code alone is] nicht ausreichend “, sagte ContributionSecure14.

Bemühungen um Reproduzierbarkeit des maschinellen Lernens

Papers With Code bietet ein Repository für die Code-Implementierung für wissenschaftliche Artikel

Das Problem der Reproduzierbarkeit ist nicht auf kleine Forschungsteams für maschinelles Lernen beschränkt. Selbst große Tech-Unternehmen, die jedes Jahr Millionen von Dollar für KI-Forschung ausgeben, können die Ergebnisse ihrer Arbeiten oft nicht validieren. Im Oktober 2020 schrieb eine Gruppe von 31 Wissenschaftlern eine gemeinsamer Artikel in Nature kritisiert den Mangel an Transparenz und Reproduzierbarkeit in einem Artikel über die Verwendung von KI in der medizinischen Bildgebung, der von einer Gruppe von KI-Forschern bei Google veröffentlicht wurde. „[The] Das Fehlen ausreichend dokumentierter Methoden und Computercodes, die der Studie zugrunde liegen, untergräbt effektiv ihren wissenschaftlichen Wert. Dieser Mangel schränkt die Beweise ein, die andere benötigen, um solche Technologien prospektiv zu validieren und klinisch umzusetzen “, schrieben die Autoren. “Der wissenschaftliche Fortschritt hängt von der Fähigkeit unabhängiger Forscher ab, die Ergebnisse einer Forschungsstudie zu überprüfen, die wichtigsten Ergebnisse der Studie unter Verwendung ihrer Materialien zu reproduzieren und in zukünftigen Studien darauf aufzubauen.”

In den letzten Jahren wurde der Schwerpunkt zunehmend auf die Reproduzierbarkeitskrise von AI gelegt. Zu den bemerkenswerten Arbeiten in dieser Hinsicht zählen die Bemühungen von Joelle Pineau, Wissenschaftlerin für maschinelles Lernen an der McGill University in Montreal und Facebook AI, die auf Konferenzen wie NeurIPS auf Transparenz und Reproduzierbarkeit der Forschung für maschinelles Lernen drängte.

„Bessere Reproduzierbarkeit bedeutet, dass es viel einfacher ist, auf Papier zu bauen. Oft ist der Überprüfungsprozess kurz und begrenzt, und die wahre Wirkung eines Papiers sehen wir viel später. Das Papier lebt weiter und als Gemeinschaft haben wir die Möglichkeit, auf der Arbeit aufzubauen, den Code zu untersuchen und die Beiträge kritisch zu betrachten “, so Pineau erzählte Natur in einem Interview im Jahr 2019.

Bei NeurIPS hat Pineau dazu beigetragen, Standards und Prozesse zu entwickeln, mit denen Forscher und Gutachter die Reproduzierbarkeit von Papieren zum maschinellen Lernen bewerten können. Ihre Bemühungen haben zu einer Zunahme der Code- und Datenübermittlung bei NeurIPS geführt.

Ein weiteres interessantes Projekt ist Papers With Code (woher Papers Without Code seinen Namen hat), eine Website, die Implementierungen für wissenschaftliche Forschungsarbeiten bereitstellt, die an verschiedenen Orten veröffentlicht und präsentiert werden. Papers With Code beherbergt derzeit die Implementierung von mehr als 40.000 Forschungsarbeiten zum maschinellen Lernen.

„PapersWithCode spielt eine wichtige Rolle bei der Hervorhebung reproduzierbarer Papiere. Das Problem nicht reproduzierbarer Papiere wird jedoch nicht angesprochen “, sagte ContributionSecure14.

Wenn ein Forschungspapier zum maschinellen Lernen den Implementierungscode nicht enthält, müssen andere Forscher, die ihn lesen, versuchen, ihn selbst zu implementieren. Dies ist ein nicht trivialer Prozess, der mehrere Wochen dauern und letztendlich zum Scheitern führen kann.

“Wenn sie es nicht erfolgreich implementieren, können sie sich an die Autoren wenden (die möglicherweise nicht antworten) oder einfach aufgeben”, sagte ContributionSecure14. “Dies kann mehreren Forschern passieren, denen frühere oder laufende Versuche, das Papier zu reproduzieren, nicht bekannt sind, was dazu führt, dass viele Wochen Produktivität zusammen verschwendet werden.”

Papiere ohne Code

Papiere ohne CodePapiere ohne Code verfolgen maschinelle Lernpapiere, die nicht reproduzierbare Ergebnisse liefern

Papiere ohne Code enthalten a Einreichungsseite, auf der Forscher nicht reproduzierbare Papiere zum maschinellen Lernen zusammen mit den Details ihrer Bemühungen einreichen können, z. B. wie viel Zeit sie damit verbracht haben, die Ergebnisse zu reproduzieren. Wenn eine Einreichung gültig ist, wird Papers Without Code die Originalautoren des Papers kontaktieren und um Klärung oder Veröffentlichung von Implementierungsdetails bitten. Wenn die Autoren nicht rechtzeitig antworten, wird das Papier zur Liste von hinzugefügt nicht reproduzierbare Papiere für maschinelles Lernen.

“PapersWithoutCode löst das Problem der Zentralisierung von Informationen über frühere oder laufende Versuche, ein Papier zu reproduzieren, und ermöglicht es Forschern (einschließlich des ursprünglichen Autors), zusammenzukommen und eine öffentliche Implementierung zu implementieren”, sagte ContributionSecure14. „Sobald das Papier erfolgreich reproduziert wurde, kann es auf PapersWithCode oder GitHub veröffentlicht werden, wo andere Forscher es verwenden können. In diesem Sinne würde ich sagen, dass die Ziele von PapersWithoutCode synergistisch mit denen von PapersWithCode und der ML-Community insgesamt sind. “

Die Hoffnung ist, dass Papers Without Code dazu beitragen wird, eine Kultur zu etablieren, die Anreize für die Reproduzierbarkeit in der Forschung zum maschinellen Lernen bietet. Bisher hat die Website mehr als 10 Anfragen erhalten und ein Autor hat bereits zugesagt, seinen Code hochzuladen.

“Mir ist klar, dass dies in der Wissenschaft ein kontroverses Thema sein kann und die oberste Priorität darin besteht, den Ruf der Autoren zu schützen und gleichzeitig der breiteren ML-Community zu dienen”, sagte ContributionSecure14.

Papiere ohne Code können zu einer Drehscheibe für die Schaffung eines Dialogs zwischen den ursprünglichen Autoren von Papieren zum maschinellen Lernen und Forschern werden, die versuchen, ihre Arbeit zu reproduzieren.

“Anstatt eine statische Liste nicht reproduzierbarer Arbeiten zu sein, besteht die Hoffnung darin, eine Umgebung zu schaffen, in der Forscher zusammenarbeiten können, um ein Papier zu reproduzieren”, sagte ContributionSecure14.

Reproduzierbare maschinelle Lernforschung

Ensemble lernenDie Schaffung einer Kultur reproduzierbarer maschineller Lernarbeit erfordert die konzertierten Anstrengungen aller Forscher und Wissenschaftler.

Wenn Sie beispielsweise an einem Forschungsprojekt arbeiten, das auf der Arbeit in einem anderen Artikel aufbaut, sollten Sie den Code oder das Modell des maschinellen Lernens selbst ausprobieren.

“Bauen Sie nicht auf Behauptungen oder ‘Einsichten’ auf, die möglicherweise unbegründet sein könnten, nur weil das Papier dies sagt”, sagt ContributionSecure14 und fügt hinzu, dass dies Papiere aus großen Labors oder Arbeiten umfasst, die in einer seriösen Konferenz akzeptiert wurden.

Eine weitere gute Ressource ist Professor Pineaus „Checkliste zur Reproduzierbarkeit des maschinellen Lernens“. Die Checkliste enthält klare Richtlinien, wie die Beschreibung, der Code und die Daten eines maschinellen Lernpapiers für andere Forscher klar und reproduzierbar gemacht werden können.

ContributionSecure14 ist der Ansicht, dass Forscher des maschinellen Lernens eine entscheidende Rolle bei der Förderung einer Kultur der Reproduzierbarkeit spielen können.

“Es gibt viel Druck, auf Kosten der akademischen Tiefe und Reproduzierbarkeit zu veröffentlichen, und es gibt nicht viele Checks and Balances, um dieses Verhalten zu verhindern”, sagte ContributionSecure14. “Dies wird sich nur ändern, wenn die aktuelle und zukünftige Generation von ML-Forschern in ihrer eigenen Forschung Qualität vor Quantität setzt.”

Dieser Artikel wurde ursprünglich von Ben Dickson am veröffentlicht TechTalks, eine Publikation, die Technologietrends untersucht, wie sie sich auf unsere Lebensweise und Geschäftstätigkeit auswirken und welche Probleme sie lösen. Wir diskutieren aber auch die böse Seite der Technologie, die dunkleren Auswirkungen neuer Technologien und worauf wir achten müssen. Den Originalartikel können Sie hier lesen.

Veröffentlicht am 6. März 2021 – 09:00 UTC

Leave your vote

0 points
Upvote Downvote

Related Articles

Log In

Forgot password?

Forgot password?

Enter your account data and we will send you a link to reset your password.

Your password reset link appears to be invalid or expired.

Log in

Privacy Policy

Add to Collection

No Collections

Here you'll find all collections you've created before.