Spark Structured Streaming Journey



Издатель
¡Hola amigos de la comunidad de la chispa!

En esta oportunidad tendremos la participación de German Schiavon, Data Engineer, quien nos platicará sobre structured streaming. Germán Llevo trabajando con Spark 6 años y dando clases 3 años, definitivamente es la parte que más me gusta. También he contribuido al proyecto de Apache Spark en varias ocasiones, la última contribución fue incluida en la versión 3.0. "Me gusta compartir conocimiento y aprender, tanto en el trabajo con mis compañeros, como en las clases con​ los alumnos" - dice German.

La agenda será la siguiente:

0:15 - INTRODUCCIÓN

Saludo de sus anfitriones. Queremos llevar Apache Spark a todos los rincones de Latino América y por ello la comunidad de Apache Spark México vuelve al ruedo, para seguir aprendiendo juntos, aportando al desarrollo y adopción del framework que tanto queremos.

5:02 - ¿Qué es Spark Structured Streaming y cómo funciona?

Spark Structured Streaming ha llegado para quedarse, después de un comienzo dubitativo, muchas empresas ya lo utilizan en producción, aunque todavía quedan algunos románticos de los DStreams.

¡Desde la versión 2.0 de Spark(2016) hasta la 3.2.0(futura release) han pasado 5 años! Por lo que he producto se encuentra en una fase bastante estable, y esto permite añadir nuevas funcionalidades muy interesantes.

En esta charla, revisaremos los inicios de Structured Streaming, el presente y el futuro.

También veremos la estructura del modelo de programación para migrar las aplicaciones batch a streaming de forma sencilla, operaciones con estado y ventanas de sesiones.

Sigamos platicando por SLACK.
https://join.slack.com/t/apachesparklatam/shared_invite/zt-essobx1j-NLqj6C2dZRX2kJAMuLkfug
Категория
Усилители
Комментариев нет.