Regular/Senior Data Engineer
Luxoft
Krakow, PL
4 d. temu

Responsibilities

  • Designing and implementing batch and real-time data ingestion pipelines for Azure Data Lake
  • Implementing data quality checks
  • Implementing data lineage and reconciliation mechanisms (including monitoring dashboards and alerts)
  • Implementing data cataloguing, archiving and disaster recovery
  • Working with data source and data consumption teams to align on data structures and schemas
  • Must have

  • Familiarity with modern, cloud based data / BI technologies (data lakes, data warehouses, ETL / ELT, Spark)
  • Experience with implementing data ingestion pipelines / ETLs / ELTs
  • General knowledge of Azure platform and ecosystem - Storage Account, CosmosDB (SQL & Gremlin API), Event Hub, App Services
  • Experience with at least 3 of following Azure data technologies
  • oAzure Data Lake

    oAzure Databricks (SQL or Python, Delta Lake)

    oAzure Data Factory

    oAzure Analysis Services

  • Experience with SQL
  • Nice to have

  • Python, C# / .NET
  • Azure Stream Analytics
  • Zgłoś tę pracę
    checkmark

    Thank you for reporting this job!

    Your feedback will help us improve the quality of our services.

    Aplikuj
    Mój adres email
    Klikając przycisk "Kontynuuj", wyrażam zgodę neuvoo na przetwarzanie moich danych i wysyłanie powiadomień e-mailem, zgodnie z zasadami przedstawionymi przez neuvoo. W każdej chwili mogę wycofać moją zgodę lub zrezygnować z subskrypcji.
    Kontynuuj
    Formularz wniosku