Titel:Was ist wichtig an den No Free Lunch Theoremen?
Download PDF
Abstract: Die No Free Lunch Theoreme beweisen, dass unter einer gleichmäßigen Verteilung von Überinduktionsproblemen (Suchprobleme oder Lernprobleme) alle Induktionsalgorithmen gleich funktionieren. Wie ich in diesem Kapitel erörtere, ergibt sich die Bedeutung der Theoreme, indem sie verwendet werden, um Szenarien mit {ungleichmäßigen} Verteilungen zu analysieren und verschiedene Algorithmen zu vergleichen, ohne überhaupt von der Verteilung über Probleme auszugehen. Insbesondere beweisen die Theoreme, dass die {Anti} -Kreuzvalidierung (Auswahl aus einer Reihe von Kandidatenalgorithmen, basierend auf dem {worst} Out-of-Sample-Verhalten) ebenso gut abschneidet wie die Kreuzvalidierung, es sei denn, man macht eine Annahme – die nie formalisiert wurde – darüber, wie die Verteilung über Induktionsprobleme einerseits mit der Menge von Algorithmen zusammenhängt, unter denen man andererseits (Anti-) Kreuzvalidierung wählt. Darüber hinaus legen sie starke Beweise für die Signifikanz der vielen Ergebnisse in der Literatur fest, die die Stärke eines bestimmten Algorithmus ohne Annahme einer bestimmten Verteilung belegen. Sie bilden auch ein „Wörterbuch` zwischen überwachtem Lernen und verbessern die Blackbox-Optimierung, wodurch Techniken aus dem überwachten Lernen in den Bereich der Blackbox-Optimierung „übersetzt“ werden können, wodurch Blackbox-Optimierungsalgorithmen gestärkt werden. Zusätzlich zu diesen Themen diskutiere ich auch kurz ihre Implikationen für die Wissenschaftsphilosophie.