Tu objetivo principal será diseñar, desarrollar y mantener soluciones de web scraping y automatización de extracción de datos que permitan obtener, procesar y estructurar información de manera eficiente, escalable y confiable, garantizando la calidad de los datos y la resiliencia de los sistemas frente a entornos web cambiantes, con el fin de aportar valor estratégico a la organización mediante el soporte a procesos de analítica, machine learning y toma de decisiones.
Responsabilidades
Diseñar, programar y mantener scripts o sistemas de web scraping,
Implementar pipelines escalables para la recolección, transformación y almacenamiento de datos de la web.
Configurar procesos automatizados que permitan la recolección masiva y periódica de información de la web.
Procesar, limpiar y estructurar datos extraídos en distintos formatos (JSON, CSV, XML).
Implementar técnicas anti-bot (rotación de proxies, user agents, fingerprint spoofing, resolución de captchas).
Adaptar los scrapers a entornos web cambiantes para asegurar continuidad del servicio.
Trabajar junto a equipos de ingeniería de datos, analítica, machine learning o desarrollo de software para integrar los datos recolectados.
Aplicar buenas prácticas de codificación (modularidad, pruebas automatizadas, control de versiones con Git).
Generar valor mediante la provisión de información confiable para la toma de decisiones.
Orquestar tareas de scraping con herramientas como Airflow u otros sistemas de automatización.
Contenerizar aplicaciones con Docker y gestionar despliegues en Kubernetes o nube (AWS, Azure, GCP).
Requisitos
Ingeniería de Sistemas, Informática, Software o afines.