Evalml: Обновить флаг автоматического поиска "raise_errors", чтобы по умолчанию он был равен true

Созданный на 10 дек. 2019  ·  4Комментарии  ·  Источник: alteryx/evalml

В # 252 @ angela97lin исправила ошибку, которая не была обнаружена, потому что наше покрытие модульным тестом automl fit было настроено так, чтобы не вызывать ошибок (в частности, параметр raise_errors настоящее время по умолчанию имеет значение false). Ее PR обновил модульные тесты, чтобы установить для raise_errors значение true в каждом вызове automl fit в тестах.

Я хотел создать заявку, чтобы обсудить это немного дальше. Меня смущает параметр raise_errors . Почему он существует? Почему это применимо только к automl fit ? Если это необходимый параметр, есть ли лучший дизайн и, в частности, такой, который предотвратил бы появление подобных ошибок? Я обеспокоен тем, что если мы будем полагаться на команду, чтобы не забыть установить для raise_errors значение true в модульных тестах, мы можем снова столкнуться с аналогичными проблемами.

Идеи: я знаю, что @ kmax12 упоминал об использовании для этого переменной окружения . Если этот параметр необходим, но мои опасения по модульному тестированию верны, это может быть хорошим решением. Мы также могли бы обновить все тесты, чтобы использовать тестовую оснастку, которая каким-то образом проверяет правильность установки raise_errors , либо через env var, другую глобальную конфигурацию, либо путем обертывания метода automl fit .

enhancement

Самый полезный комментарий

Этот вопрос возник в недавнем блице юзабилити . Мы приняли решение оставить raise_errors но по умолчанию - true.

Все 4 Комментарий

Я думаю, вы подняли здесь много весомых аргументов! Мое внутреннее предположение / предположение с флагом raise_error состоит в том, что если только один конвейер выйдет из строя, пользователь может не захотеть, чтобы весь его запуск Auto (*) завершился неудачно. Поэтому вместо этого мы (незаметно) не вызываем ошибку, а просто устанавливаем все оценки равными NaN для этого конвейера.

Я согласен, однако, было бы слишком легко ошибиться, забыть установить этот флаг в новых тестах и ​​снова пропустить подобные ошибки, и это требует дальнейшего обсуждения!

Этот вопрос возник в недавнем блице юзабилити . Мы приняли решение оставить raise_errors но по умолчанию - true.

@ angela97lin работает над PR для этого: # 638

@ angela97lin, не могли бы вы переместить это в

Была ли эта страница полезной?
0 / 5 - 0 рейтинги