Transformação de dados – Filtrar

Este artigo descreve como você pode usar os módulos de filtro no Machine Learning Studio (clássico) para transformar dados digitais. Os módulos nesse grupo de ferramentas para Machine Learning Studio (clássico) são baseados em filtros que foram desenvolvidos para a tecnologia de processamento de sinal digital.

Os filtros normalmente são aplicados aos dados no estágio de processamento de dados ou no estágio de pré-processamento. Os filtros aumentam a clareza do sinal usado para aprendizado de máquina. Por exemplo, você pode usar os módulos de filtro no Machine Learning Studio (clássico) para essas tarefas de processamento:

• Limpar formas de onda usadas para reconhecimento de fala.
• Detectar tendências ou remover efeitos sazonais em vendas ruidosas ou dados econômicos.
• Analisar padrões ou artefatos em sinais de telemetria.

Esses módulos fornecem uma configuração fácil de filtros usando algoritmos bem pesquisados para transformar matematicamente os dados de forma de onda. Você pode também criar um filtro personalizado se já tiver definido os coeficientes corretos a serem aplicados aos dados.

Tarefas relacionadas

Se você precisar realizar tarefas como excluir dados de um conjunto de dados em uma base linha por linha, remover valores ausentes ou reduzir o tamanho de um conjunto de dados, use estes módulos em vez disso:

• Limpar Dados Ausentes: remova valores ausentes ou substitua valores ausentes por espaços reservados.
• Partição e exemplo: divida ou filtre seu conjunto de dados usando critérios como um intervalo de datas, um valor específico ou expressões regulares.
• Valores de clipe: defina um intervalo de valores e mantenha apenas os valores dentro desse intervalo.

Filtros no processamento de sinal digital

Assim como você pode anexar um filtro a uma câmera para compensar a iluminação ou para criar efeitos especiais, você pode aplicar um filtro aos dados que você usa para aprendizado de máquina. Os filtros podem ajudar a melhorar a clareza de um sinal, capturar características interessantes ou reduzir o ruído.

O filtro ideal eliminaria todo o ruído e teria sensibilidade uniforme para o sinal desejado. Mas, projetar até mesmo um filtro muito bom pode levar muitas iterações ou combinações de técnicas. Se você conseguir criar um filtro eficaz, considere salvar o filtro para que você possa reutilizá-lo ao transformar novos dados.

Em geral, a filtragem se baseia nos princípios de análise de forma de onda. Ao criar um filtro, você procura maneiras de suprimir ou amplificar partes do sinal, expor tendências subjacentes, reduzir ruídos e interferências ou identificar valores de dados que, de outra forma, podem não ser percebidos.

Várias técnicas são aplicadas para decompor tendências individuais ou componentes de forma de onda que criam valores de dados reais. A série de valores pode ser analisada usando funções trigonométricas para identificar e isolar formas de onda individuais. (Isso é verdade se é uma série econométrica ou as frequências compostas de sinais de áudio.) Em seguida, os filtros podem ser aplicados a essas formas de onda para eliminar o ruído, amplificar algumas ondas ou remover componentes de destino.

Quando a filtragem for aplicada a uma série de ruído para isolar componentes diferentes, é possível especificar quais frequências remover ou fortalecer, especificando a banda de frequências com as quais trabalhar.

Filtros digitais no Machine Learning Studio (clássico)

Os seguintes tipos de filtros têm suporte no Machine Learning Studio (clássico):

• Filtros com base na decomposição de forma de onda. Exemplos incluem filtros FIR (resposta de impulso finito) e IIR (resposta de impulso infinito). Esses filtros funcionam removendo componentes específicos de uma série geral. Em seguida, você pode exibir e investigar a forma de onda simplificada.
• Filtros com base nas médias móveis ou nos valores medianos. Estes filtros suavizam as variações de uma série de dados pela média entre janelas de tempo. As janelas podem ser fixas ou deslizantes e podem ter diferentes formas. Por exemplo, uma janela triangular culmina no ponto de dados atual (pesa o valor atual com mais rigidez) e atenua antes e após o ponto de dados (pesa os valores anteriores e posteriores com menos rigidez).
• Filtros definidos pelo usuário ou personalizados. Se você já souber as transformações que devem ser aplicadas a uma série de dados, poderá criar um filtro definido pelo usuário. Você fornece os coeficientes numéricos que são aplicados para transformar a série de dados. Um filtro personalizado pode emular um filtro FIR ou IIR. No entanto, com um filtro personalizado, você tem mais controle sobre os valores a serem aplicados em cada ponto da série.

Terminologia de filtro

A lista a seguir inclui definições simples de termos usados nos parâmetros e propriedades dos filtros:

• Faixa de transferência: o intervalo de frequências que podem passar por um filtro sem ser atenuado ou enfraquecido.
• Faixa de interrupção: um intervalo de frequências entre os limites especificados por meio dos quais os sinais não são passados. Você define o rejeita-banda configurando frequências de corte.
• Passagem alta: deixe apenas altas frequências passarem.
• Passagem baixa: aceite apenas as frequências abaixo de um valor de corte especificado.
• Canto: define o limite entre as frequências de faixa de interrupção e banda de passagem. Normalmente, você tem a opção de decidir se o canto é incluído ou excluído da banda. Um filtro de primeira ordem causa atenuação gradual até a frequência do canto. Depois disso, o filtro causa atenuação exponencial. Filtros de ordem mais alta (como filtros Butterworth e Chebyshev) têm inclinações mais íngremes após a frequência do canto. Filtros de ordem mais alta atenuam os valores na faixa de interrupção muito mais rapidamente e totalmente.
• Filtro de bandtop (também chamado de filtro de rejeição de banda ou filtro de entalhe ): tem apenas uma faixa de interrupção. Você define a faixa de interrupção especificando duas frequências: a frequência de corte alta e a frequência de corte baixa. Um filtro de passagem de banda normalmente tem duas bandas irrelevantes: uma em ambos os lados do componente desejado.
• Ondulação: uma variação pequena e indesejada que ocorre periodicamente. Em Machine Learning, você pode especificar a quantidade de ondulação a ser tolerada como parte dos parâmetros no design do filtro IIR.

Lista de módulos

Os seguintes módulos são incluídos na categoria Transformação de Dados – Filtro :

• Aplicar Filtro: aplica um filtro a colunas especificadas de um conjunto de dados.
• Filtro FIR: cria um filtro FIR para processamento de sinal.
• Filtro IIR: cria um filtro IIR para processamento de sinal.
• Filtro Mediano: cria um filtro mediano usado para suavizar dados para análise de tendência.
• Filtro médio móvel: cria um filtro de média móvel que suaviza os dados para análise de tendência.
• Filtro de limite: cria um filtro de limite que restringe valores.
• Filtro definido pelo usuário: cria um filtro FIR ou IIR personalizado.

Confira também

• Transformação de dados
• Lista de módulos A-Z