DP-203 Data Engineering on Microsoft Azure - szkolenie

Usługa jest realizowana w godzinach zegarowych.

Zalecamy, aby uczestnicy tego kursu mieli następujące wymagania wstępne:

Uczestnicy powinni posiadać wiedzę z zakresu przetwarzania w chmurze, podstawowych koncepcji danych oraz doświadczenie w pracy z rozwiązaniami danych.

W szczególności powinni mieć ukończone poniższe kursy bądź posiadać wiedzę z poniższych zakresów:

• AZ-900 – Azure Fundamentals
• DP-900 – Microsoft Azure Data Fundamentals

Zakres programowy szkolenia:

Moduł 1: Poznaj opcje obliczeń i pamięci masowej dla obciążeń związanych z inżynierią danych

• Wprowadzenie do Azure Synapse Analytics
• Opisanie cegieł danych w architekturze Azure
• Wprowadzenie do pamięci masowej Azure Data Lake
• Opisz architekturę Delta Lake
• Praca z danymi strumieniowymi przy użyciu Azure Stream Analytics
• Laboratorium: Zbadaj opcje obliczeń i pamięci masowej dla obciążeń związanych z inżynierią danych

Moduł 2: Projektowanie i implementacja warstwy serwerów

• Zaprojektuj wielowymiarowy schemat do optymalizacji obciążeń analitycznych
• Bezkodowa transformacja w skali z Azure Data Factory
• Obsadzanie wolno zmieniających się wymiarów w potokach Azure Synapse Analytics
• Laboratorium: Projektowanie i implementacja warstwy serwletów

Moduł 3: Uwagi dotyczące inżynierii danych dla plików źródłowych

• Projektowanie nowoczesnej hurtowni danych przy użyciu Azure Synapse Analytics
• Zabezpiecz hurtownię danych w Azure Synapse Analytics
• Lab: Uwagi dotyczące inżynierii danych

Moduł 4: Uruchamianie interaktywnych zapytań przy użyciu bezserwerowych pul SQL Azure Synapse Analytics

• Poznaj możliwości bezserwerowych basenów SQL Azure Synapse
• Zapytania do danych w jeziorze przy użyciu bezserwerowych basenów SQL Azure Synapse
• Twórz obiekty metadanych w bezserwerowych pulach SQL Azure Synapse
• Zabezpiecz dane i zarządzaj użytkownikami w bezserwerowych basenach SQL Azure Synapse
• Laboratorium: Uruchamiaj interaktywne zapytania przy użyciu bezserwerowych basenów SQL

Moduł 5: Eksploracja, transformacja i ładowanie danych do Hurtowni Danych przy użyciu Apache Spark

• Zrozumienie inżynierii big data za pomocą Apache Spark w Azure Synapse Analytics
• Pobieranie danych za pomocą notebooków Apache Spark w Azure Synapse Analytics
• Przekształcanie danych za pomocą DataFrames w Apache Spark Pools w Azure Synapse Analytics
• Integracja puli SQL i Apache Spark w Azure Synapse Analytics
• Laboratorium: Eksploracja, transformacja i ładowanie danych do Hurtowni Danych przy użyciu Apache Spark

Moduł 6: Eksploracja i transformacja danych w Azure Databricks

• Opisać Azure Databricks
• Odczyt i zapis danych w Azure Databricks
• Praca z DataFrames w Azure Databricks
• Zaawansowane metody pracy z DataFrames w Azure Databricks
• Lab: Eksploracja i transformacja danych w Azure Databricks

Moduł 7: Pobieranie i ładowanie danych do hurtowni danych

• Wykorzystaj najlepsze praktyki ładowania danych w Azure Synapse Analytics
• Wczytywanie danych w skali petabajtowej za pomocą Azure Data Factory
• Laboratorium: Wprowadzanie i ładowanie danych do hurtowni danych

Moduł 8: Przekształcanie danych za pomocą Azure Data Factory lub Azure Synapse Pipelines

• Integracja danych za pomocą Azure Data Factory lub Azure Synapse Pipelines
• Bezkodowa transformacja w skali z Azure Data Factory lub Azure Synapse Pipelines
• Laboratorium: Przekształcanie danych za pomocą Azure Data Factory lub Azure Synapse Pipelines

Moduł 9: Orkiestracja przepływu i transformacji danych w Azure Synapse Pipelines

• Orkiestracja przepływu i transformacji danych w Azure Data Factory
• Lab: Orkiestracja przepływu i transformacji danych w Azure Synapse Pipelines

Moduł 10: Optymalizacja wydajności zapytań dzięki dedykowanym pulom SQL w Azure Synapse

• Optymalizacja wydajności zapytań do hurtowni danych w Azure Synapse Analytics
• Zrozumienie funkcji programistycznych hurtowni danych w Azure Synapse Analytics
• Laboratorium: Optymalizacja wydajności zapytań za pomocą dedykowanych pul SQL w Azure Synapse

Moduł 11: Analiza i optymalizacja przechowywania hurtowni danych

• Analizuj i optymalizuj magazyn danych w Azure Synapse Analytics
• Laboratorium: Analiza i optymalizacja pamięci masowej w hurtowni danych

Moduł 12: Obsługa hybrydowego transakcyjnego przetwarzania analitycznego (HTAP) za pomocą Azure Synapse Link

• Zaprojektuj hybrydowe przetwarzanie transakcyjne i analityczne za pomocą Azure Synapse Analytics
• Konfiguracja Azure Synapse Link z Azure Cosmos DB
• Zapytania do Azure Cosmos DB z pulami Apache Spark
• Zapytania do Azure Cosmos DB z bezserwerowymi pulami SQL
• Laboratorium: Obsługa Hybrid Transactional Analytical Processing (HTAP) z Azure Synapse Link

Moduł 13: Bezpieczeństwo end-to-end z Azure Synapse Analytics

• Zabezpiecz hurtownię danych w Azure Synapse Analytics
• Konfiguracja i zarządzanie sekretami w Azure Key Vault
• Wdrażanie kontroli zgodności dla danych wrażliwych
• Laboratorium: Bezpieczeństwo end-to-end z Azure Synapse Analytics

Moduł 14: Przetwarzanie strumieniowe w czasie rzeczywistym za pomocą Stream Analytics

• Zapewnij niezawodne przesyłanie wiadomości dla aplikacji Big Data używając Azure Event Hubs
• Praca z danymi strumieniowymi przy użyciu Azure Stream Analytics
• Pobieranie strumieni danych za pomocą Azure Stream Analytics
• Laboratorium: Przetwarzanie strumieniowe w czasie rzeczywistym z wykorzystaniem Stream Analytics

Moduł 15: Tworzenie rozwiązań do przetwarzania strumieniowego za pomocą Event Hubs i Azure Databricks

• Przetwarzanie danych strumieniowych za pomocą Azure Databricks structured streaming
• Laboratorium: Tworzenie rozwiązania do przetwarzania strumieniowego za pomocą Event Hubs i Azure Databricks

Moduł 16: Tworzenie raportów przy użyciu integracji Power BI z Azure Synpase Analytics

• Tworzenie raportów za pomocą Power BI z wykorzystaniem integracji z Azure Synapse Analytics
• Laboratorium: Budowanie raportów przy użyciu integracji Power BI z Azure Synpase Analytics

Moduł 17: Wykonaj zintegrowane procesy uczenia maszynowego w Azure Synapse Analytics

• Wykorzystaj zintegrowany proces uczenia maszynowego w Azure Synapse Analytics
• Lab: Wykonuj zintegrowane procesy uczenia maszynowego w Azure Synapse Analytics

Uczestnik otrzyma w pierwszym dniu szkolenia dostęp do autoryzowanych materiałów szkoleniowych w wersji elektronicznej oraz dostęp do środowiska/ćwiczeń.

Warunkiem uczestnictwa w szkoleniach dofinansowanych z funduszy europejskich jest założenie konta w Bazie Usług Rozwojowych, zapis na szkolenie za pośrednictwem Bazy oraz spełnienie warunków przedstawionych przez danego Operatora, dysponenta funduszy publicznych, do którego składają Państwo dokumenty o dofinansowanie do usługi rozwojowej.

Wszelkie niezbędne informacje dotyczące zapisów na szkolenia dofinansowane z BUR są zamieszczone na naszej stronie internetowej: https://cloudteam.pl/szkolenia/baza-uslug-rozwojowych/

Godzinowy harmonogram usługi ma charakter orientacyjny - trener, w zależności od potrzeb uczestników, może zmienić długość poszczególnych modułów. Podczas szkolenia, w zależności od potrzeb uczestników, będą robione krótkie przerwy.

Przerwy (9.00-16.00):

10.30-10.45 - I przerwa kawowa

12.00-13.00 - przerwa obiadowa

14.30-14.45 - II przerwa kawowa