Regressão de Floresta de Decisão

Cria um modelo de regressão usando o algoritmo de floresta de decisão

Categoria: inicializar modelo-regressão

Visão geral do módulo

este artigo descreve como usar o módulo regressão de floresta de decisão no Machine Learning Studio (clássico) para criar um modelo de regressão com base em uma ensemble de árvores de decisão.

Depois de configurar o modelo, você precisa treiná-lo usando um conjunto de dados rotulado e o módulo Treinar Modelo. O modelo treinado pode então ser usado para fazer previsões. Como alternativa, o modelo não treinado pode ser passado para o modelo de validação cruzada para validações cruzadas em relação a um conjunto de dados rotulado.

Como as florestas de decisão funcionam em tarefas de regressão

Árvores de decisão são modelos não paramétricos que executam uma sequência de testes simples para cada instância, percorrendo uma estrutura de dados de árvore binária até que um nó folha (decisão) seja atingido.

As árvores de decisão têm estas vantagens:

• São eficientes no uso de memória e computação durante o treinamento e a previsão.

• Podem representar limites de decisão não lineares.

• Realizam seleção e classificação de recursos integrados e são resilientes na presença de recursos com ruídos.

Esse modelo de regressão consiste de um ensemble de árvores de decisão. Cada árvore em uma floresta de decisão de regressão gera uma distribuição gaussiana como previsão. É realizada uma agregação no conjunto de árvores para encontrar uma distribuição gaussiana mais próxima da combinada para todas as árvores no modelo.

para obter mais informações sobre a estrutura teórica para este algoritmo e sua implementação, consulte este artigo: florestas de decisão: uma estrutura unificada para classificação, regressão, estimativa de densidade, diversa Learning e Semi-Supervised Learning

Como configurar um modelo de Regressão de Floresta de Decisão

1. Adicione o módulo regressão de floresta de decisão ao experimento. você pode encontrar o módulo no Studio (clássico) em Machine Learning, inicializar modeloe regressão.

2. Abra as propriedades do módulo e, para Método de reamostragem, escolha o método usado para criar as árvores individuais. Você pode escolher entre Bagging ou Replicar.

   • Bagging: bagging também é chamado de agregação de inicialização. Cada árvore em uma floresta de decisão de regressão gera uma distribuição gaussiana como forma de previsão. A agregação é para localizar um gaussiano cujo primeiro dois momentos corresponda ao tempo da mistura de gaussianos, dado pela combinação de todos os gaussianos retornados por árvores individuais.

     Para saber mais, confira a entrada na Wikipédia sobre Agregação de inicialização.

   • Replicar: na replicação, cada árvore é treinada exatamente com os mesmos dados de entrada. A determinação de qual predicado de divisão é usado para cada nó de árvore permanece aleatória e as árvores serão diversificadas.

     Para saber mais sobre o processo de treinamento com a opção Replicar, confira Decision Forests for Computer Vision and Medical Image Analysis. Criminisi e J. Shotton. Springer 2013..

3. Especifique como você deseja que o modelo seja treinado definindo a opção Criar modo de aprendizagem.

   • Parâmetro único

     Se você souber como deseja configurar o modelo, é possível fornecer um conjunto específico de valores como argumentos. Você pode ter aprendido esses valores por experimentação ou os recebido como orientação.

   • Intervalo de parâmetros

     Se você não tiver certeza dos melhores parâmetros, poderá encontrar os parâmetros ideais especificando vários valores e usando uma varredura de parâmetro para localizar a configuração ideal.

     Os hiperparâmetros de modelo de ajuste serão iterados em todas as combinações possíveis das configurações que você forneceu e determinam a combinação de configurações que produzem os resultados ideais.

4. Para o Número de árvores de decisão, indique o número total de árvores de decisão a serem criadas no conjunto. Criando mais árvores de decisão, você pode potencialmente obter melhor cobertura, mas aumentará o tempo de treinamento.

   Dica

   Esse valor também controla o número de árvores exibidas ao visualizar o modelo treinado. Se você quiser ver ou imprimir uma única árvore, poderá definir o valor como 1; no entanto, isso significa que apenas uma árvore será produzida (a árvore com o conjunto inicial de parâmetros) e nenhuma iteração adicional será executada.

5. Para obter a Profundidade máxima das árvores de decisão, digite um número para limitar a profundidade máxima de qualquer árvore de decisão. Aumentar a profundidade da árvore pode aumentar a precisão, mas você corre o risco de algum tempo de treinamento com overfitting e maior.

6. Para o Número de divisões aleatórias por nó, digite o número de divisões a serem usadas ao criar cada nó da árvore. Uma divisão significa que os recursos em cada nível da árvore (nó) são divididos aleatoriamente.

7. Para o Número mínimo de amostras por nó folha, indique o número mínimo de casos necessários para criar qualquer nó de terminal (folha) em uma árvore.

   Aumentando esse valor, você aumenta o limite para a criação de novas regras. Por exemplo, com o valor padrão de 1, um único caso pode causar uma nova regra a ser criada. Se você aumentar o valor para 5, os dados de treinamento precisam conter pelo menos 5 casos que atendem as mesmas condições.

8. Selecione a opção Permitir valores desconhecidos para recursos categóricos para criar um grupo de valores desconhecidos nos conjuntos de treinamento ou validação.

   Se você desmarcá-la, o modelo pode aceitar apenas os valores que estão contidos nos dados de treinamento. No primeiro caso, o modelo pode ser menos preciso para valores conhecidos, mas ele pode fornecer melhores previsões para novos valores (desconhecidos).

9. Conexão um conjunto de informações rotulado, selecione uma única coluna de rótulo contendo no máximo dois resultados e conecte os hiperparâmetrosmodelo ou ajuste de modelo de treinamento .

   • Se você definir a opção criar modo de instrutor como parâmetro único, treine o modelo usando o módulo treinar modelo .

   • Se você definir a opção criar modo de instrutor como intervalo de parâmetros, treine o modelo usando ajustar hiperparâmetros de modelo.

10. Execute o experimento.

Resultados

Após a conclusão do treinamento:

• Para ver a árvore que foi criada em cada iteração, clique com o botão direito do mouse na saída do módulo de treinamento e selecione Visualizar.

• Para ver as regras para cada nó, clique em cada árvore e faça uma busca detalhada nas divisões.

• Para salvar um instantâneo do modelo treinado, clique com o botão direito do mouse na saída do módulo de treinamento e selecione salvar como modelo treinado. Essa cópia do modelo não é atualizada em execuções sucessivas do experimento.

Exemplos

para obter exemplos de modelos de regressão, consulte estes experimentos de exemplo no Cortana Intelligence Gallery:

• Exemplo de comparação de modelos de regressão: contrasta vários tipos diferentes de modelos de regressão.

• Exemplo de análise de sentimentos: usa vários modelos de regressão diferentes para gerar classificações previstas.

Observações técnicas

Esta seção contém detalhes de implementação, dicas e respostas para perguntas frequentes.

• Se você passar um intervalo de parâmetros para treinar o modelo, ele usará apenas o primeiro valor na lista intervalo de parâmetros.

• Se você passar um único conjunto de valores de parâmetro para o módulo ajustar hiperparâmetros de modelo , quando ele esperar um intervalo de configurações para cada parâmetro, ele ignorará os valores e usará os valores padrão para o aprendiz.

• Se você selecionar a opção intervalo de parâmetros e inserir um único valor para qualquer parâmetro, esse valor único especificado será usado em toda a varredura, mesmo que outros parâmetros sejam alterados em um intervalo de valores.

Dicas de uso

Se você tiver dados limitados ou desejar minimizar o tempo gasto no treinamento do modelo, tente estas configurações:

Conjunto de treinamento limitado. Se o conjunto de treinamento contiver um número limitado de instâncias:

• Crie a floresta de decisão usando um grande número de árvores de decisão (por exemplo, mais de 20).

• Use a opção Bagging para reamostragem

• Especifique um grande número de divisões aleatórias por nó (por exemplo, mais de 1000)

Tempo de treinamento limitado. Se o conjunto de treinamento contiver um grande número de instâncias e o tempo de treinamento for limitado:

• Crie a floresta de decisão usando menos árvores de decisão (por exemplo, de 5 a 10)

• Usar a opção Replicar para reamostragem

• Especifique um pequeno número de divisões aleatórias por nó (por exemplo, menos de 100).

Parâmetros do módulo

Saídas

Confira também

Regressão

Lista de Módulo A-Z