PeoplePlus Tech Apache Flink Engineer

Ingeniero de Apache Flink

PeoplePlus Tech

₱70-130K[Mensual]

RemotoExp de Yrs 5-10BaceleroTiempo completo

Detalles remotos

Abrir país：Filipinas

Requisitos de idioma：Inglés

Este trabajo remoto está abierto a candidatos en países específicos. Por favor, confirme si desea continuar a pesar de las posibles restricciones de ubicación

Descripción del trabajo

Mostrar texto original

Descripción

Integración con Kafka - Configuración de trabajos de Flink para conectarse sin problemas a temas específicos de Kafka, definiendo grupos de consumidores y gestionando la serialización/deserialización de datos.
Logica de procesamiento de flujos - Escritura de la lógica de procesamiento de datos de Flink utilizando la API DataStream para filtrar, agregar, hacer ventanas y manipular flujos de datos recibidos de Kafka.
Gestión del estado - Implementación de operaciones con estado dentro de los trabajos de Flink para mantener el contexto a través de eventos dentro de un flujo de datos, como el seguimiento de totales acumulados o información de sesión.
Optimización de trabajos de Flink - Ajuste de parámetros de trabajos de Flink para el rendimiento, paralelismo y tolerancia a fallos, para manejar flujos de datos de alto volumen de manera eficiente.
Monitoreo y alertas - Configuración de sistemas de monitoreo para rastrear la salud de los trabajos de Flink, identificar problemas potenciales y activar alertas por preocupaciones operativas.
Desarrollo de aplicaciones Flink - Escritura de código para definir tuberías de datos utilizando la API DataStream de Flink, incluyendo la ingestión de datos, transformación y operaciones de salida.
Diseño de procesamiento de flujos - Arquitectura de soluciones de procesamiento de datos en tiempo real utilizando las capacidades de Flink para la gestión del estado, el uso de ventanas y la tolerancia a fallos.
Optimización del rendimiento - Monitoreo y ajuste de trabajos de Flink para asegurar un procesamiento de datos eficiente y un alto rendimiento.
Integración con otros sistemas - Conexión de aplicaciones Flink a fuentes de datos como Kafka, bases de datos y otros sistemas de procesamiento de datos.
Gestión de clústeres - Despliegue y gestión de trabajos de Flink en clústeres de computación distribuida como Kubernetes.

Requisito

Comprensión profunda de la arquitectura de Kafka, productores, consumidores, particiones, brokers y gestión de temas.
Conocimiento de la arquitectura de Kafka, productores, consumidores, gestión de temas y API de Kafka Streams.
Familiaridad con el desarrollo en Java para escribir aplicaciones de Flink e interactuar con Kafka utilizando bibliotecas de Java.
Comprensión de los principios de procesamiento de flujos, procesamiento en tiempo de evento, técnicas de ventanas y semántica de exactamente una vez.
Comprensión profunda de conceptos de Flink como API de DataStream, operadores, gestión del estado, ventanas y mecanismos de tolerancia a fallos.
Familiaridad con principios de computación distribuida y conceptos como tolerancia a fallos, balanceo de carga y particionamiento de datos.
La experiencia con otras herramientas de procesamiento de datos como Kafka, Spark o Hadoop puede ser beneficiosa.
Comprender SQL puede ser valioso para trabajar con la API SQL de Flink.
Procesamiento de datos en vivo de sensores o aplicaciones para generar informes casi instantáneos.
Analizando transacciones financieras en tiempo real para identificar actividad sospechosa.
Realizando agregación y análisis de registros en vivo para detectar problemas del sistema.
Seguimiento de niveles de stock en tiempo real para optimizar la gestión de inventario.

apacheflink