Xgboost: Ambiguidade de abordagem (documentação)

Oi vladimir,

Boosting, em geral, é um meta-algoritmo que iterativamente (ou em "rodadas") treina uma sequência de aprendizes simples / fracos (ou estimadores) de forma que toda a combinação tenha um desempenho melhor. Pode haver vários tipos de alunos fracos, não apenas árvores. Por exemplo, xgboost tem árvores e opções de modelo linear (generalizado). Curiosamente, esses alunos fracos no xgboost são chamados de "boosters" e todo o modelo de combinação é chamado de "aluno". Isso me deixou um pouco perplexo quando eu estava inicialmente lendo os documentos e o código do xgboost, já que era uma espécie de reverso para minha própria impressão mental da terminologia.

Embora seja bom ter uma nomenclatura consistente entre diferentes projetos relacionados ao mesmo assunto e ter uma documentação de cross-link consistente de alta qualidade, nem sempre é viável ou fácil de manter, especialmente em projetos de código aberto. Usuários novatos tendem a usar principalmente uma única interface. Os usuários que estão bem familiarizados com o assunto seriam facilmente capazes de mapear as semelhanças. E quem quer que se importe com os detalhes de baixo nível, geralmente se preocupa o suficiente para ler o código.

Quanto à sua pergunta específica, você está lendo certo que o parâmetro n_estimators no código do wrapper sklearn [1] mapeia para num_boost_round em train [2]. No entanto, por que, como um usuário final, você deseja hackear um objeto de invólucro sklearn dessa forma? Para fazer isso de maneira controlável, você teria que conhecer bem o código do wrapper.

[1] https://github.com/dmlc/xgboost/blob/2859c190cd0d168df25e2a7ea2b1fd5211ce94f0/python-package/xgboost/sklearn.py#L185
[2] https://github.com/dmlc/xgboost/blob/83e61bf99ec7d01607867b4e281da283230883b1/python-package/xgboost/training.py#L12

existem os mesmos problemas para R?

Na quinta-feira, 26 de novembro de 2015 às 11h39, Vadim Khotilovich <
notificaçõ[email protected]> escreveu:

Oi vladimir,

Boosting, em geral, é um meta-algoritmo que iterativamente (ou em
"rodadas") treina uma sequência de aprendizes simples / fracos (ou estimadores) em tais
uma forma de melhorar o desempenho de toda a combinação. Pode haver vários
tipos de alunos fracos, não apenas árvores. Por exemplo, xgboost tem árvores e
opções de modelo linear (generalizado). Curiosamente, esses alunos fracos em
xgboost são referidos como "boosters", e todo o modelo de combinação é
referido como um "aluno". Isso me deixou um pouco perplexo quando estava inicialmente
lendo os documentos e o código do xgboost, pois era uma espécie de reverso do meu próprio pensamento
impressão da terminologia.

Embora fosse bom ter uma nomenclatura consistente entre diferentes
projetos relacionados ao mesmo assunto e ter alta consistência
documentação de cross-link de qualidade, nem sempre é viável ou fácil
sustentável, especialmente em projetos de código aberto. Usuários novatos tendem a
geralmente usam uma única interface. Usuários que estão bem familiarizados com o assunto
a matéria seria facilmente capaz de mapear as semelhanças. E quem se importa
sobre detalhes de baixo nível, eles geralmente se preocupam o suficiente para ler o código.

Quanto à sua pergunta específica, você está lendo certo que os n_estimators
parâmetro no código do wrapper sklearn [1] mapeia para num_boost_round dentro de
trem [2]. No entanto, por que, como um usuário final, você deseja hackear um sklearn
objeto de invólucro dessa forma? Para fazer isso de uma maneira controlável, você teria
para conhecer bem o código do wrapper.

[1]
https://github.com/dmlc/xgboost/blob/2859c190cd0d168df25e2a7ea2b1fd5211ce94f0/python-package/xgboost/sklearn.py#L185
[2]
https://github.com/dmlc/xgboost/blob/83e61bf99ec7d01607867b4e281da283230883b1/python-package/xgboost/training.py#L12

-
Responda a este e-mail diretamente ou visualize-o no GitHub
https://github.com/dmlc/xgboost/issues/651#issuecomment -159956213.

@khotilov , obrigado pela explicação. É suficiente para minhas necessidades e fecharei o ticket.