Lead Data Engineer (all genders)
Your Tasks As a Lead Data Engineer you concept, design, implement and support data pipelines and databases within our Azure/Databricks Data & Analytics platform. You will always find the balance between individual requirements and stable solutions. You are open to new technologies and see them as an opportunity to enable even deeper insights into data. You will work closely with our project leads, reporting consultants, data scientist and cloud engineers. We work together on global projects in mixed project teams. It is important to us that everyone can contribute their experiences and concerns to discussions. Your main tasks are:
- Design and develop data pipelines within Azure and Databricks tech stack
- Code advanced data processing solutions within Azure and Databricks tech stack
- Concept and implement relational and NoSQL database solutions within Azure and Databricks
- Development/code management using Azure DevOps
- Manage our Data Lake House which stores structured, semi-structured data and unstructured data
- Act as primary technical liaison to the Architecture Team, ensuring alignment with standards and guidelines
- Establish and maintain a productive feedback loop between architectural design and implementation
- Mentor technically (no people management) mid-level Data Engineers in the team
Your Profile
- Bachelor’s or Master’s degree in related field
- Several years of experience in Data Engineering or Software Development within cloud native environments.
- Deep operational expertise across the Azure ecosystem (Azure Data Factory, Databricks, Synapse, ADLS Gen2, Azure SQL).
- Strong knowledge of Azure serverless and integration services (Functions, Cosmos DB, Event Hubs/Service Bus).
- Solid implementation of observability practices (logging, metrics, distributed tracing) and secure secrets management.
- Expert-level proficiency in Python with strong PySpark experience.
- Proficiency in at least one compiled/typed language (Scala, Java, or Go).
- Ability to write clean, modular, and performance optimized code.
- Demonstrated capability in technology scouting and evaluating emerging trends for practical business value.
- Multi-cloud exposure (AWS/GCP) and experience with streaming architectures (Kafka, Spark Structured Streaming).
- Strong understanding of data governance concepts and CI/CD automation principles.
Additional information
If you have any questions, please check our [application FAQs](#) first. If your question is not answered there, feel free to contact our Talent Acquisition Expert Melanie via [[email protected]](#).Empfohlene Jobs
Kalkulator (m/w/d) - Bau - 80k-120k
Keine Bock jede Pups-Anfrage zu kalkulieren? "Jede Mini-Anfrage landet bei dir? Wertgrenzen gibt’s nur auf dem Papier? Dann lies weiter - wir haben den Job, bei dem dein Können zählt, nicht deine Leid…
Delivery Driver /Logistics Specialist /Food (im Bereich Catering) Food Presenter (m/w/d)
Auslieferungsfahrer / Eventlogistiker / Servicemitarberter (m/w/d) im Catering Werde Teil unseres Teams! Zur Verstärkung unseres Logistik- und Auslieferungsteams suchen wir ab sofort einen enga…
Sales Manager im Außendienst (m/w/d) Nord
Attraktives Gehaltspaket mit Firmenwagen zur privaten Nutzung Langfristige Perspektive in einem wirtschaftlich stabilen Unternehmen FIRMENPROFIL: Unser Mandant ist ein international tätige…
Jobcoach / Bewerbungscoach (m/w/d) in Hamburg
Wir suchen ab sofort einen Jobcoach / Bewerbungscoach (m/w/d) auf freiberuflicher Basis Arbeitsort: 20259 Hamburg Unser Ziel ist es, für unsere Kunden und Partner ein gesundes, freundlich…
SPEZIALIST:IN ENTGELTABRECHNUNG SAP HCM / PAYROLL DEUTSCHLAND
Die Position Imperial Brands ist ein weltweit führendes Konsumgüterunternehmen mit starken Marken, internationaler Präsenz und einem klarem Fokus auf verantwortungsbewusstes Wachstum. In Deutschland …
Projektleiter Innenausbau (m/w/d)
Projektleiter Innenausbau (m/w/d) Für ein etabliertes Unternehmen aus dem Bereich gewerblicher Bau- und Ausbauprojekte suchen wir dich als Projektleiter Innenausbau (m/w/d) in Vollzeit. Das wird g…
Business Analyst Workflowmanagementsystem (all genders)
DEINE ROLLE Analysieren und Spezifizieren von Kundenanforderungen: Du analysierst Systeme und Prozesse, spezifizierst die fachlichen Kundenanforderungen und bewertest die technische Machbarkeit u…
Sterilisationsassistenten (m/w/d)
Sie arbeiten als Sterilisationstechniker und wissen, wie entscheidend sorgfältige Abläufe in der Aufbereitung von Medizinprodukten sind? Dann kennen Sie die Verantwortung: Jeder Prozessschritt muss z…
Gruppenleiter (m/w/d) Structural Design & Strength
WOFÜR WIR SIE SUCHEN Fachliches und disziplinarisches Führen der Gruppe Strukturentwurf einschließlich Ressourcenplanung, Aufgabenverteilung und Entwicklung der Mitarbeitenden Steuern der struk…
Mitarbeiter*in Social Media (w/m/d)
DIE SCHMIDT-FAMILIE SUCHT VERSTÄRKUNG! Mitarbeiter*in Social Media (w/m/d) in Vollzeit (40 Std./Woche) – ab Februar 2027 als Elternzeitvertretung Für unser Theaterunternehmen mit integrierter,…