Engenharia de dados com Apache Spark - Luan Moreno

Fundamentos de Apache Spark

Avaliação da aula:

-Fundamentos e conceitos básicos para engine de processamento de dados mais utilizada do mundo.

-Google Cloud Platform vs. Microsoft Azure vs. Amazon Web Services

-Fundamentos de Apache Hadoop

-Ecosistema do Zoológico Apache Hadoop

-História do Apache Hadoop e Apache Spark

-Big Data como um Serviço Gerenciado

-Linha do Tempo de Engines de Processamento de Dados

-Fundamentos

-Componentes

-Arquitetura

-Conceitos

-Modos de Implementação

-Distribuição de Dados e Partições

-Comparação entre RDD, DataFrame e DataSet

-Desenvolvimento Local do Apache Spark

-Opções de Implementação do Apache Spark

-Escalabilidade Horizontal de Aplicações Escritas em Spark em Cluster Gerenciados da Nuvem

-Implementação Nativas de Nuvem do Apache Spark

ETL em Batch

Avaliação da aula:

Aprendendo as técnicas mais importantes do mercado de análise de dados para processamento de dados em Batch.

-Data Lake

-Aquisição dos Dados e Armazenamento

-Melhores Práticas de Organização dos Dados no Data Lake

-Ciclo de Vida de uma Aplicação

-Soluções de Armazenamento

-Data Lakehouse

-Arquitetura de Dados

-Padrões de Processamento de Dados

ETL em Near & Real-Time

Avaliação da aula:

Aprendendo as técnicas mais importantes do mercado de análise de dados para processamento de dados em Tempo-Real.

-Stream de Eventos

-Processamento de Stream de Eventos

-Engines de Processamento de Stream em Real-Time

-Engines de Streaming & Python

-Engines de Processamento de Streaming & Python

-StreamingSQL

-Garantia de Entrega de Mensagem - Idempotência & EOS

-Apache Kafka

-Spark Streaming & Structured Streaming

-Apache Kafka e Data Lake como Fontes de Dados em Streaming

Sistemas de Armazenamento

Avaliação da aula:

Os paradigmas para entrega de dados e sistemas de armazenamento modernos.

-ETL vs. ELT

-Data Warehouse Tradicional (TDW)

-Data Warehouse Moderno (MDW)

-Engines de Consulta SQL Distribuída para DW e Análise de Big Data

-Data Lakehouse (DL)

Use-Cases & Design Patterns

Avaliação da aula:

Casos de uso e padrões de desenvolvimento com Apache Spark, arquiteturas de Big Data e desenho de pipelines em todas as Clouds de mercado.

-Use-Cases de Apache Spark

-Otimizando Aplicações Spark

-Performance Tuning

-Arquiteturas de Big Data

-Desenho de Pipelines de Dados na AWS, Azure, GCP & OSS

-Carreira de Engenheiro de Dados e Conselhos

Use-Cases & Design Patterns

Avaliação da aula:

Concluir e avançar

Casos de uso e padrões de desenvolvimento com Apache Spark, arquiteturas de Big Data e desenho de pipelines em todas as Clouds de mercado.

Use-Cases de Apache Spark

Otimizando Aplicações Spark

Performance Tuning

Arquiteturas de Big Data

Desenho de Pipelines de Dados na AWS, Azure, GCP & OSS

Carreira de Engenheiro de Dados e Conselhos

Configurando o Databricks Community Edition

-Realizando a criação da conta e importando os arquivos do repositório.