A decisão de correr BigData on-premise ou na cloud é uma das mais consequentes em arquitectura de dados — e uma das que mais frequentemente se toma pelos motivos errados. Vejo regularmente equipas a ir para a cloud por moda, e equipas a ficar on-premise por inércia. Nenhuma das abordagens é universalmente correcta.
O caso para on-premise
On-premise faz sentido quando:
- Volume de dados é grande e previsível: acima de um certo volume (tipicamente petabytes), o custo de armazenamento e processamento on-premise é significativamente inferior ao cloud. Hardware amortizado durante 3-5 anos é muito mais barato do que S3 + EMR em uso contínuo.
- Compliance e soberania de dados: certos sectores (saúde, finanças, defesa) têm restrições sobre onde os dados podem residir. On-premise elimina a ambiguidade.
- Latência de rede previsível: sistemas que movem grandes volumes de dados entre componentes beneficiam de rede local — 10/40GbE interna é muito mais previsível do que internet pública ou links dedicados cloud caros.
- Equipa de operações existente: se já tens uma equipa competente a operar Linux, Hadoop e networking, o custo marginal de on-premise é baixo.
O caso para cloud
Cloud faz sentido quando:
- Carga variável ou imprevisível: elasticidade é o maior argumento cloud. Se o teu pico de processamento é 10x o teu baseline, on-premise obriga-te a provisionar para o pico e desperdiçar capacidade em baseline.
- Time-to-market: lançar um cluster EMR ou Dataproc leva minutos; comprar, instalar e configurar hardware on-premise leva meses. Para startups ou novos produtos, este factor é decisivo.
- Equipa pequena sem ops: cloud elimina a necessidade de gerir hardware, rede física, e sistema operativo base. Para equipas de dados sem background de infra, isto é transformador.
- Serviços managed que não tens on-premise: BigQuery, Snowflake, Databricks — plataformas que não existem on-premise e que oferecem produtividade muito superior para análise.
A arquitectura híbrida — o que mais vejo em prática
A maioria das empresas com volume de dados significativo acaba numa arquitectura híbrida: dados quentes e processamento interactivo na cloud (custo de latência baixa justifica o preço), dados frios e batch pesado on-premise (custo de armazenamento justifica o hardware).
O desafio da arquitectura híbrida é a gestão de dados entre os dois ambientes: mover dados é caro (tempo e dinheiro). Investe em definir claramente onde cada tipo de dado vive, e minimiza as transferências inter-ambiente.
A decisão que ninguém faz: repatriation
Uma tendência crescente é a repatriação de cloud para on-premise — empresas que foram integralmente para cloud e descobriram que os custos são insustentáveis a escala. Cloudflare, 37signals (Basecamp) e outros publicaram análises de custo detalhadas que mostram poupanças de 60-70% ao repatriar. Vale a pena fazer o cálculo honesto antes de assumir que cloud é sempre mais económico.