Data Engineer Databricks

Categoria: Business Services
Luogo di lavoro: Milano e provincia

La risorsa entrerà nel Competence Center Data Intelligence e lavorerà come Data Engineer su progetti innovativi di applicazioni web e mobile nei campi BI, Big Data, Reporting, Data Science e AI. Opererà in team multidisciplinari, contribuendo alla progettazione e implementazione di soluzioni data-driven scalabili e ad alte prestazioni, sia on-premise sia cloud.

Opererà in team multidisciplinari, contribuendo alla progettazione e implementazione di soluzioni data-driven scalabili e ad alte prestazioni, sia on-premise sia cloud.Responsabilità principali* Progettazione, sviluppo e manutenzione di pipeline ETL su architetture Big Data* Sviluppo di soluzioni di data processing distribuito utilizzando Apache Spark* Analisi dei requisiti tecnici e funzionali e traduzione in soluzioni architetturaliefficaci* Integrazione di sorgenti dati eterogenee (structured e unstructured)* Progettazione e implementazione di soluzioni Cloud-native* Scrittura e gestione di pipeline CI/CD* Redazione di documentazione tecnica chiara e strutturata* Collaborazione con team BI, Data Science e AI durante l'intero ciclo di vita delprogetto

Requisiti: Requisiti obbligatori* Almeno 4 anni di esperienza nel ruolo di Data Engineer / Data Consultant* Ottima conoscenza di Apache Spark con Python e/o Scala* Conoscenza di Databricks* Esperienza nel design, build e testing di processi ETL* Conoscenza dei principali database SQL (Oracle, SAP HANA, PostgreSQL)* Conoscenza di database NoSQL* Esperienza nella progettazione di soluzioni Cloud* Esperienza nella scrittura e gestione di pipeline CI/CD* Conoscenza dei principali protocolli di integrazione e SSO (OAuth, SAML)* Conoscenza dei modelli di servizio IaaS, PaaS, SaaS e capacità di sceglierel'approccio più appropriato in base allo scenario* Capacità di scrittura di documentazione tecnica* Inglese livello B1