TwitchPipeline

Por que este projeto

O TwitchPipeline conecta meus interesses em engenharia de dados e streaming. Explora a coleta, a transformação, a pontuação e a análise de metadados de transmissões em um pipeline com responsabilidades separadas.

O projeto investiga categorias e sinais contextuais de transmissões Twitch, com interesse especial nas categorias menos populares.

Arquitetura

O repositório documenta o seguinte fluxo:

1. EC2 e PySpark coletam dados da API Twitch e os transformam em Parquet.
2. S3 armazena os dados transformados.
3. Lambda calcula uma pontuação configurável; o MongoDB guarda transmissões selecionadas para análise aprofundada.
4. Step Functions coordena o fluxo de análise, incluindo análise contextual com Gemini.
5. PostgreSQL no RDS armazena os resultados.
6. API Gateway, SQS e EventBridge apoiam integrações e consumidores desacoplados, com visualização no Looker.

O que eu queria explorar

• Processamento em lote e formatos de armazenamento.
• Orquestração em nuvem e separação das etapas do pipeline.
• Combinação de pontuação por regras com análise contextual.
• Trabalho com um orçamento pequeno de infraestrutura.

A implementação e as notas de arquitetura estão no repositório GitHub.