Evalml: 将 automl 搜索“raise_errors”标志更新为默认为 true

创建于 2019-12-10  ·  4评论  ·  资料来源: alteryx/evalml

在#252 中, @angela97lin修复了一个未被发现的错误,因为我们对 automl fit单元测试覆盖率被配置为不会引发错误(具体来说,参数raise_errors当前默认为 false)。 她的 PR 更新了单元测试,在测试中每次调用 automl fit时将raise_errors为 true。

我想创建一张票来进一步讨论这个问题。 我对raise_errors参数感到困惑。 它为什么存在? 为什么它只适用于 automl fit ? 如果它是一个必要参数,是否有更好的设计,尤其是可以阻止此类错误的设计? 我担心如果我们依靠团队记住在单元测试中将raise_errors为 true,我们可能会再次遇到类似的问题。

想法:我知道@kmax12提到使用环境变量。 如果这个参数是必要的,但我的单元测试问题是有效的,这可能是一个很好的解决方案。 我们还可以更新所有测试以使用测试装置,该raise_errors被适当设置,无论是通过 env var、其他全局配置,还是通过包装 automl fit方法。

enhancement

最有用的评论

这个出现在最近的可用性闪电战中。 我们做出的决定是保留raise_errors但默认为 true。

所有4条评论

我认为你在这里提出了很多有效的观点! 我对raise_error标志的直觉假设/猜测是,如果只有一个管道失败,用户可能不希望他们的整个 Auto(*) 运行失败。 因此,相反,我们(悄悄地)不会引发错误,而是将所有分数设置为该管道的 NaN。

不过我同意,这太容易出错了,忘记在新的测试中设置这个标志,再次错过这样的错误,这值得进一步讨论!

这个出现在最近的可用性闪电战中。 我们做出的决定是保留raise_errors但默认为 true。

@angela97lin正在为此进行 PR:#638

@angela97lin

此页面是否有帮助?
0 / 5 - 0 等级