Pular para conteúdo
PORTFÓLIO DE ENGENHARIA DE DADOS • APACHE BEAM

Brazil Air
Traffic Beam

Um laboratório local de dados para transformar sinais de tráfego aéreo em uma história rastreável: coletar, validar, agregar e explicar.

Começar pelo setup Ver arquitetura
01API pública
OpenSky
02Medallion
Bronze → Gold
03Execução
local observável

O projeto em uma leitura

Este projeto implementa um fluxo medallion em Python com:

  • coleta da OpenSky Network em Bronze,
  • validação e normalização em Silver,
  • agregações e snapshot em Gold,
  • observabilidade com relatórios JSON e logs técnicos,
  • dashboard interativo em Streamlit.

A ideia central

O principal objetivo é demonstrar, de forma didática, como um pipeline de dados pode ser estruturado com Apache Beam em um ambiente local, usando dados reais da API pública da OpenSky e preservando um histórico operacional sem sobrescrever resultados anteriores.

Stack principal

  • Python 3.13
  • Apache Beam (DirectRunner)
  • PyArrow
  • DuckDB
  • Streamlit
  • Pydantic Settings
  • Tenacity
  • MkDocs + Material

Fluxo principal

flowchart LR
    API[OpenSky API] --> COL[Coleta Bronze]
    COL --> SILVER[Silver: Parquet]
    SILVER --> GOLD[Gold: JSONL]
    GOLD --> DASH[Dashboard]
    COL --> REPORTS[Relatórios]
    SILVER --> REPORTS
    GOLD --> REPORTS

Roteiro de estudo

  1. Prepare o ambiente e entenda as configurações locais.
  2. Execute a coleta e observe um microbatch Bronze.
  3. Siga a transformação Bronze → Silver.
  4. Explore o Gold e o dashboard.
  5. Leia o walkthrough de Beam para conectar código e conceitos.

Documentação relacionada

Uma boa primeira exploração

Rode uma execução pequena, abra os arquivos em data/ e compare o payload bruto da Bronze com o registro normalizado da Silver. A arquitetura fica mais clara quando você acompanha a mesma aeronave pelas três camadas.