Unidad 1: Introducción a Big Data y arquitecturas distribuidas

• Concepto de Big Data: volumen, velocidad, variedad, veracidad y valor.
• Diferencias entre procesamiento tradicional y procesamiento distribuido.
• Casos de uso de Big Data en entornos empresariales e industriales.
• Introducción a arquitecturas modernas: Data Warehouse vs. Data Lake.
• Rol de Spark dentro del ecosistema Big Data.

Unidad 2: Fundamentos de Apache Spark y PySpark

• ¿Qué es Apache Spark y por qué se utiliza?
• Arquitectura de Spark: driver, executors y cluster manager.
• PySpark como interfaz de Spark para Python.
• Modos de ejecución: local vs. cluster.
• Conceptos clave: paralelismo, particiones y tolerancia a fallos.

Unidad 3: Estructuras de datos en PySpark

• Conceptos y casos de uso de RDDs y DataFrames.
• Comparación técnica y creación desde diversas fuentes.
• Inspección y exploración inicial de datos masivos.

Unidad 4: Transformaciones y acciones en PySpark

• Transformaciones comunes: select, filter, withColumn y groupBy.
• Acciones principales: count, show, collect y take.
• Operaciones de agregación y manejo de grandes volúmenes de datos.
• Optimización básica de consultas en Spark.
• Buenas prácticas para escribir código PySpark eficiente.

Unidad 5: Integración con almacenamiento y plataformas cloud

• Gestión de Data Lakes y almacenamiento distribuido.
• Lectura y escritura optimizada en formatos CSV y Parquet.
• Integración de PySpark con servicios de almacenamiento en la nube.
• Fundamentos de entornos Cloud, escalabilidad y seguridad de datos.

Unidad 6: Casos prácticos aplicados a entornos empresariales

• Procesamiento y limpieza de datos transaccionales a gran escala.
• Transformación de datos crudos (Data Wrangling) en tablas analíticas.
• Construcción de pipelines de datos eficientes con PySpark.
• Resolución de escenarios reales y recomendaciones de implementación.