PrestoDB e Spark SQL são frequentemente vistos como alternativas equivalentes — dois motores SQL para BigData. Na prática, têm filosofias de design distintas que os tornam óptimos para casos de uso diferentes. Confundir os dois é um erro de arquitectura caro.
Arquitecturas diferentes, propósitos diferentes
PrestoDB (ou Trino, o fork mais activo) foi desenhado para consultas interactivas ad-hoc sobre dados em repouso. É um motor MPP (Massively Parallel Processing) que não persiste estado entre queries — cada query começa e termina num único job. O objectivo é latência baixa: respostas em segundos ou minutos, não horas.
Spark SQL, por outro lado, é o subsistema SQL de um framework de processamento distribuído geral. Foi optimizado para jobs batch de longa duração, onde podes ler petabytes, transformar, agregar e escrever resultados. A latência de arranque é maior, mas o throughput total é superior para volumes enormes.
Quando usar PrestoDB / Trino
- Queries exploratórias e ad-hoc por analistas de dados
- Dashboards e relatórios que precisam de respostas em segundos
- Federação de dados — queries que juntam múltiplas fontes heterogéneas (S3, PostgreSQL, MySQL, Kafka) numa única query SQL
- Data lake queries interactivas sobre Hive Metastore ou Iceberg
A capacidade de fazer query federation é onde Presto/Trino não tem paralelo: podes fazer um JOIN entre uma tabela no S3 (Parquet), outra no PostgreSQL, e outra no MySQL numa única query SQL. Para análise exploratória, isto é transformador.
Quando usar Spark SQL
- ETL e pipelines de transformação de dados em batch
- Machine learning sobre grandes volumes de dados (MLlib integrado)
- Processamento de dados não estruturados (texto, imagens, grafos)
- Streaming com estado complexo (Structured Streaming)
- Jobs que precisam de checkpointing e tolerância a falhas avançada
Spark brilha quando o processamento tem múltiplas etapas, iteração (como algoritmos de ML), ou quando precisas de persistir estado intermediário. O DAG scheduler do Spark é superior ao de Presto para pipelines complexos.
A decisão prática
Na minha experiência, os dois coexistem: Presto/Trino para o camada de consulta interactiva (analistas, dashboards), Spark para os pipelines de transformação e preparação de dados (engenheiros de dados). São complementares, não mutuamente exclusivos.
Se tiveres de escolher apenas um: se o caso de uso dominante é consultas interactivas e federação, vai com Trino. Se é processamento batch e ML, vai com Spark.