Amazon Athena:

<aside> 💡

Servicio de query serverless para analizar los datos almacenados en Amazon S3.

</aside>

Usa lenguaje SQL standard para hacer query a los files (construida en Prest)

Soporta CSV, JSON, ORC, Avro y Parquet.

Se paga: 5 dólares por TB de datos escaneado.

—> Comunmente usando con Amazon Quicksight para reporting/dashboards

Casos de uso de BI, analytics, reporting, analyze and query any type of logs from AWS (VPC, CloudTrail, ELB, etc.)

Cada vez que se tenga que analizar datos con SQL y que sea serverlesss, generalmente la respuesta va a ser Amazon Athena.

¿Cómo mejora el rendimiento?

• Uso de datos columnares (para menos escaneo y menos costos)
  • Se puede usar Glue para convertir los datos a Parquet o ORC (recomendados)
• Comprimir datos para retrievals más pequeños (zip, snappy, lz4, etc.)
• Hacer particiones en S3 para un consultado más fácil en las columnas virtuales (aprovechar los paths de S3).

• Uso de archivos más grandes (> 128 MB) para minimizar el overhead.

¿Qué es la Federated Query?

Permite hacer queries SQL en bases de datos relacionales, no relacionales, de objetos y data sources personalizadas (tanto AWS como on-premises)

Usa Data Source Connectores que corren en un AWS Lambda para ejecutar Federated Queries.

Los resultados pueden guardarse en Amazon S3 para análisis a futuro.

Redshift:

<aside> 💡

Base de datos basada en PostgreSQL pero no es usada para OLTP sino para OLAP (online analytical processing)

</aside>

10x better performance que otros data warehouses, escala a PBs de datos.

Los datos se guardan en formato columnar y posee un query parallel engine.

Dos modos: Provisioned cluster o Serverless cluster.

Tiene una interfaz SQL para performar queries.

Se integra con Amazon Quicksight o Tableau (herramientas de BI).

vs. Athena: Es una base de datos o warehouse completo, tiene faster queries, joins y agregaciones gracias los indexes.

¿Cómo funciona un Redshift Cluster?

• Leader node: Planeación de queries y resultados de gregación.
• Compute node: Para ejecutar las queries y enviar los resultados al leader.

Nota: En modo provisionado se puede elegir los tipos de instancia y se pueden reservar instancias para ahorrar en costos.