Data Engineer – Implementierung von ETL-Prozessen

02/2022 – 12/2022 (11 Monate)
»Deloitte Digital GmbH«


Verantwortung:

Verbesserung und Entwicklung von Datapipelines.
Überprüfung von Daten und Entwicklung von automatisierten Daten Checks.
Optimierung der Datenverarbeitungs-Performance und des Airflow DAG schedulers.
Dokumentation von SW-Architekturen und Erstellung von Konzepten zur Optimierung.
Interim Teamleitung von Softwareentwicklern (4-6 Personen).

Technologien:

Python, SQL, PySpark, AWS (S3, ECS, ECR, EMR, EC2, EKS), Databricks, Pandas, SAP FI/MM, Airflow, SAP Hana, PostgreSQL, Jenkins, Docker, Kubernetes

Resultat:

Datapipelines erfolgreich implementiert und verbessert

Weitere Beiträge