Curso prático de Pré-Processamento de Dados (Data Preprocessing)
No curso de Pré-Processamento de Dados (Data Preprocessing) você se qualifica para preparação, organização e estruturação dos dados.
Venha conhecer os recursos de Inteligência Artificial e capacidade para implementar outras estruturas computacionais de modo 100% EaD e assíncrono.
O curso foi desenvolvido com metodologia Hands On - "mão na massa" ou "aprender fazendo".
É totalmente prático, com tópicos que, durante todo processo de ensino, os alunos são desafiados em uma série de cenários cada vez mais complexos, uma intensa experiência imersiva em linguagem de programação (python) extremamente aplicável a situações do mundo real.
Adentre no mundo da Inteligência Artificial com Pré-Processamento de Dados (Data Preprocessing).
Vem conosco e entre em modo IA-Labs.
Início do curso: Imediato após a confirmação do pagamento.
Nível: Iniciante.
Carga horária: 60 horas.
100% da carga horária do curso é ofertada na modalidade a Distância - EaD (online), ou seja, sem aula presencial, no formato autoinstrucional (sem o acompanhamento do tutor).
Duração: Você terá 180 dias para concluir o curso após a realização da matrícula. (Após este período o seu acesso será suspenso).
Certificado: O concluinte que obtiver aproveitamento mínimo de 60% receberá o certificado de Pré-Processamento de Dados (Data Preprocessing), no e-mail cadastrado, em até 05 dias.
Horário de realização: Na modalidade EaD você tem a flexibilidade de estudar de acordo com a sua disponibilidade, de dia e horário para estudo. Por meio de uma plataforma de ensino, será disponibilizado pelo IA-Labs o material didático (conteúdo apostilado, vídeos para aprendizado teórico complementar e/ou ilustrações personalizadas, entre outros).
Após a realização da matrícula o curso estará disponível em Portal IA-Labs e os dados de acesso encaminhados para o e-mail informado na matrícula.
Para concluir o curso você deverá realizar o estudo do material (didático e teórico complementar) e concluir um questionário base “Quizz”, com desempenho mínimo de 60%.
De forma geral:
Pré-processamento: (representação e a qualidade dos dados) passo importante no processo de tratar dados. A frase "garbage in, garbage out" é particularmente aplicável aos projetos da trilha de IA (data mining, data science e machine learning).
Os métodos de coleta de dados geralmente são poucamente controlados, resultando em valores de intervalo out-of-range (por exemplo, renda: −100), combinações de dados impossíveis (por exemplo, sexo: masculino, grávidas: sim), missing values, etc.
As análise de dados que não foram cuidadosamente selecionados para tais problemas pode produzir resultados enganosos. Assim, a representação e a qualidade dos dados são antes de tudo uma análise.
De forma detalhada:
Uso da biblioteca “scikit-learn” (sklearn) e “pandas”.
- Carregar e trabalhar dados via sklearn (dataset Boston)
- Criar dados simulados para regressão
- Criar dados simulados para classificação
- Criar dados simulados para armazenamento em cluster
- Preparar um fluxo de trabalho de aprendizado de máquina
- Converter recursos (características) categóricos em recursos numéricos
- Imputar rótulos de classes ausentes
- Imputar rótulos de classes ausentes usando método "vizinho próximo"
- Excluir instâncias com valores ausentes
- Como fazer operações numéricas
- Como encontrar outliers
- Codificar recursos categóricos ordinais
- Lidar com classes de desequilíbrio com redução da resolução
- Como lidar com classes de desbalanceadas
- Como lidar com outliers
- Imputar valores ausentes com médias
- Codificação com vários rótulos
- Codificação com recursos nominais categóricos
- Processar recursos categóricos
- Redimensionar recursos
- Padronizar recursos
- Padronizar dados "IRIS"
- Dividir dados DateTime ("features") para criar vários recursos
- Calcular a diferença entre datas
- Codificar os dias da semana
- Tratar valores ausentes em uma série temporal
- Como introduzir o tempo "LAG" (lagged time-series), tempo de latência são muito usadas em analises econômicas
- Como lidar com "Janelas de Tempo"
- Selecionar DateTime dentro de um intervalo
- Selecionar formato (PM) ou (AM) dentro de um intervalo
- Como trabalhar itens em uma lista
Informações adicionaisQual importância do pré-processamento de dados?
O pré-processamento é um conjunto de atividades que envolvem preparação, organização e estruturação dos dados. Trata-se de uma etapa fundamental que precede a realização de análises e predições. Essa etapa é de grande importância, pois será determinante para a qualidade final dos dados que serão analisados.
Os dados são verdadeiramente considerados um recurso no mundo de hoje. Para garantir dados de alta qualidade, é crucial pré-processá-los. A probabilidade de dados anômalos aumentou devido ao seu grande tamanho e sua origem para fontes heterogêneas. Considerando o fato de que dados de alta qualidade levam a melhores modelos e previsões, o pré-processamento de dados tornou-se vital e o passo fundamental no pipeline de ciência de dados / aprendizado de máquina / IA.
Em qualquer processo de aprendizado de máquina (Machine Learning), o Pré-processamento de Dados é aquela etapa em que os dados são transformados, ou codificados, para levá-los a tal estado que agora a máquina pode facilmente analisá-los. Em outras palavras, os recursos dos dados agora podem ser facilmente interpretados pelo algoritmo.