Curso prático de Pré-Processamento de Dados (Data Preprocessing)

Sobre o Curso

No curso de Pré-Processamento de Dados (Data Preprocessing) você se qualifica para preparação, organização e estruturação dos dados.

Venha conhecer os recursos de Inteligência Artificial e capacidade para implementar outras estruturas computacionais de modo 100% EaD e assíncrono.

O curso foi desenvolvido com metodologia Hands On - "mão na massa" ou "aprender fazendo".

É totalmente prático, com tópicos que, durante todo processo de ensino, os alunos são desafiados em uma série de cenários cada vez mais complexos, uma intensa experiência imersiva em linguagem de programação (python) extremamente aplicável a situações do mundo real.

Adentre no mundo da Inteligência Artificial com Pré-Processamento de Dados (Data Preprocessing).

Vem conosco e entre em modo IA-Labs.

Informações Gerais

O que você vai aprender

O curso abrange diversos tópicos essenciais para dominar o Pré-Processamento de Dados:

 

De forma geral:

 

Pré-processamento: (representação e a qualidade dos dados) passo importante no processo de tratar dados. A frase "garbage in, garbage out" é particularmente aplicável aos projetos da trilha de IA (data mining, data science e machine learning).

Os métodos de coleta de dados geralmente são poucamente controlados, resultando em valores de intervalo out-of-range (por exemplo, renda: −100), combinações de dados impossíveis (por exemplo, sexo: masculino, grávidas: sim), missing values, etc.

As análise de dados que não foram cuidadosamente selecionados para tais problemas pode produzir resultados enganosos. Assim, a representação e a qualidade dos dados são antes de tudo uma análise.

 

De forma detalhada:

 

Uso da biblioteca "scikit-learn" (sklearn) e "pandas".

• Carregar e trabalhar dados via sklearn (dataset Boston)

• Criar dados simulados para regressão

• Criar dados simulados para classificação

• Criar dados simulados para armazenamento em cluster

• Preparar um fluxo de trabalho de aprendizado de máquina

• Converter recursos (características) categóricos em recursos numéricos

• Imputar rótulos de classes ausentes

• Imputar rótulos de classes ausentes usando método "vizinho próximo"

• Excluir instâncias com valores ausentes

• Como fazer operações numéricas

• Como encontrar outliers

• Codificar recursos categóricos ordinais

• Lidar com classes de desequilíbrio com redução da resolução

• Como lidar com classes de desbalanceadas

• Como lidar com outliers

• Imputar valores ausentes com médias

• Codificação com vários rótulos

• Codificação com recursos nominais categóricos

• Processar recursos categóricos

• Redimensionar recursos

• Padronizar recursos

• Padronizar dados "IRIS"

• Dividir dados DateTime ("features") para criar vários recursos

• Calcular a diferença entre datas

• Codificar os dias da semana

• Tratar valores ausentes em uma série temporal

• Como introduzir o tempo "LAG" (lagged time-series), tempo de latência são muito usadas em analises econômicas

• Como lidar com "Janelas de Tempo"

• Selecionar DateTime dentro de um intervalo

• Selecionar formato (PM) ou (AM) dentro de um intervalo

• Como trabalhar itens em uma lista

Pré-requisitos

Conhecimentos em linguagem de programação python.

Público-alvo

Iniciantes em programação, estudantes ou profissionais de tecnologia, como também todos os profissionais que tenham interesse nas trilhas de Inteligencia Artificial, na área da Ciência de Dados.

Como Funciona

• Horário flexível de estudo de acordo com sua disponibilidade

• Material didático disponibilizado na plataforma (conteúdo apostilado, vídeos e ilustrações)

• Acesso ao Portal IA-Labs após a matrícula

• Para concluir: estudo do material e questionário base "Quizz" com desempenho mínimo de 60%

• Certificado enviado por e-mail em até 5 dias após a conclusão

Importância do Pré-Processamento de Dados

O pré-processamento é um conjunto de atividades que envolvem preparação, organização e estruturação dos dados. Trata-se de uma etapa fundamental que precede a realização de análises e predições. Essa etapa é de grande importância, pois será determinante para a qualidade final dos dados que serão analisados.

Os dados são verdadeiramente considerados um recurso no mundo de hoje. Para garantir dados de alta qualidade, é crucial pré-processá-los. A probabilidade de dados anômalos aumentou devido ao seu grande tamanho e sua origem para fontes heterogêneas. Considerando o fato de que dados de alta qualidade levam a melhores modelos e previsões, o pré-processamento de dados tornou-se vital e o passo fundamental no pipeline de ciência de dados / aprendizado de máquina / IA.

Em qualquer processo de aprendizado de máquina (Machine Learning), o Pré-processamento de Dados é aquela etapa em que os dados são transformados, ou codificados, para levá-los a tal estado que agora a máquina pode facilmente analisá-los. Em outras palavras, os recursos dos dados agora podem ser facilmente interpretados pelo algoritmo.