Engenheiro de Dados
Mais de 6 anos de experiência com Python, PySpark e SQL, desenvolvendo pipelines ETL/ELT, processando grandes volumes de dados e trabalhando com plataformas de dados em AWS e Azure.
Pipelines ETL/ELT em Python, PySpark e SQL para dados financeiros de alta dimensionalidade; processamento de dados não estruturados em eDiscovery; monitoramento de pipelines, dashboards operacionais e documentação para auditoria.
Ingestão e tratamento de dados financeiros vindos de ERPs e bancos relacionais e não relacionais. Aplicação de Machine Learning para detecção de anomalias, automações em Python e integração com Data Lakes e Data Warehouses em nuvem.
Criação de metodologia de identificação de outliers adotada pela equipe e análise de fraudes em bases financeiras com Lei de Benford, Z-score, clusterização, regressão linear e séries temporais.
Aplicação web integrada ao Elasticsearch para indexação e busca em larga escala, modelagem de dados e implantação de GitLab com pipelines de CI/CD em Linux.
Problema: simular o processamento contínuo e a investigação de transações financeiras potencialmente fraudulentas.
Decisão: transformar o PaySim em eventos Kafka, processar com Spark Structured Streaming e separar armazenamento, transformação analítica e consumo.
Resultado: fluxo ponta a ponta com idempotência, reconciliação, 52 testes unitários e 41 testes dbt.
Problema: ingerir múltiplos formatos de pagamentos com validação, rastreabilidade e prevenção de reprocessamento.
Decisão: arquitetura orientada a eventos com carga idempotente no BigQuery e modelagem analítica em dbt.
Resultado: pipeline de referência reproduzível com ingestão, orquestração, testes e CI/CD independentes.
Problema: integrar fontes meteorológicas diferentes e disponibilizar indicadores climáticos consistentes.
Decisão: ADF para ingestão, ADLS Gen2 para armazenamento e Databricks com arquitetura medalhão.
Resultado: fluxo parametrizado da coleta ao dashboard, com Delta Lake, segurança e documentação operacional.
Problema: coletar e transformar observações de tráfego aéreo da OpenSky em conjuntos de dados rastreáveis e prontos para análise.
Decisão: Apache Beam com DirectRunner, arquitetura Bronze/Silver/Gold, Parquet, registros rejeitados e observabilidade por execução.
Resultado: pipeline local reproduzível com testes automatizados, cobertura mínima de 70%, CI/CD, documentação e dashboard Streamlit.
Pipeline serverless para dados públicos agregados do Bolsa Família. Detecta novas competências, mantém checkpoints no S3, transforma com Glue/PySpark e disponibiliza consultas no Athena.
Plataforma local e reproduzível para dados clínicos 100% sintéticos do Synthea. Airflow orquestra as camadas Bronze, Silver e Gold no PostgreSQL, com indicadores apresentados no Streamlit.
Acadi-TI — Academia Inovadora de TI
Centro Universitário FEI
Fundamentos da plataforma Databricks e lakehouse.
Fundamentos de métodos ágeis e Scrum.