Evalml: AutoML: используйте отдельное разделение резюме для ансамбля

План: если стек включен, мы создадим отдельный разделитель, который можно будет передать в составной ансамбль для резюме.

Было бы неплохо изучить возможность поддержки использования прогнозов вне выборки (проверка, отделенная от исходного резюме) при передаче данных в стек. Однако я предлагаю начать с более простого подхода - просто создать отдельное разделение, если стек включен.

Вернемся к нашему обсуждению, некоторые подтверждающие доказательства того, почему мы должны воздерживаться от отдельного разделения, которое может использоваться при составлении стека для выполнения CV:

• «Использование перекрестной проверки [прогнозов] суммирования позволяет избежать неоправданно высокого веса моделям с более высокой сложностью». AKA переоснащение
• «Наиболее распространенный подход к подготовке набора обучающих данных для метамодели - это k-кратная перекрестная проверка базовых моделей, где внеконкурсные прогнозы используются в качестве основы для набора обучающих данных для метамодели. . Обучающие данные для метамодели могут также включать входные данные для базовых моделей, например входные элементы обучающих данных. Это может обеспечить дополнительный контекст для метамодели относительно того, как наилучшим образом объединить прогнозы из метамодели. После того, как набор обучающих данных подготовлен для метамодели, метамодель может быть обучена изолированно на этом наборе данных, а базовые модели могут быть обучены на всем исходном наборе обучающих данных ». - сообщение в блоге
• «Важно, чтобы метаученик был обучен на отдельном наборе данных для примеров, используемых для обучения моделей уровня 0, чтобы избежать переобучения». - еще одно сообщение в блоге
• Оригинальный реферат, в котором обсуждается, как составное ансамблирование можно рассматривать как обобщение перекрестной проверки.
• Я также нашел это , чтобы быть хорошим читать.

@rpeck FYI, после некоторого вращения мы следуем вашему предложению 😆

@dsherry @rpeck @ angela97lin Я начал StackedClassifier и StackedRegressor sklearn действительно используют внутреннюю перекрестную проверку во время обучения модели , чтобы предотвратить переобучение. Похоже, это та же проблема, которую мы пытаемся решить с помощью этой проблемы, поэтому кажется, что она должна быть решена. Я не думаю, что нам нужно будет делать отдельные резюме для обучения / проверки методов составного ансамбля, но что вы все думаете?

После обсуждения с @dsherry , вот идея, которую мы хотим продолжить.

План обсуждался с @ bchen1116 : эта проблема отслеживает:

• Создайте отдельный разделитель для обучения метаобучению для ансамблевых конвейеров
• Продолжайте использовать sklearn impl для составного ансамбля

Отдельное повышение производительности: лучшая поддержка небольших данных. Не создавайте отдельные сплиты для ансамбля. Используйте предустановки конвейера вне выборки из обычного резюме (из всех складок резюме) для обучения ансамбля. # 1898

Еще одно отдельное улучшение производительности: обучите конвейеры и метаузел на разных данных. # 1897