Nowoczesna Analiza Danych

Opis przedmiotów

Studia rozpoczynają się od wykładu wprowadzającego w tematykę studiów. Następnie krok po kroku wprowadzane są podstawy statystycznej analizy danych oraz statystyki matematycznej. Poparte są one przykładami opartymi na rzeczywistych danych. Te i analogiczne dane są również analizowane w środowisku R, a w drugim semestrze w środowisku Python. Niezależnie, uczestnicy studiów uczą się pracy z relacyjnymi bazami danych, w szczególności tworzenia rozbudowanych raportów w oparciu o język SQL. Drugi semestr studiów poświęcony jest przede wszystkim dwóm podstawowym obecnie technologiom: chmurom obliczeniowym oraz zaawansowanym metodom analizy danych. Te ostatnie obejmują metody modelowania oraz analizy danych, jak również prezentacji i wymiany wyników.

Podstawy statystycznej analizy danych

W analizie danych niezbędna jest znajomość podstawowych zagadnień statystyki opisowej i matematycznej. Ilościowy opis analizowanych danych i ich prezentację graficzną umożliwia znajomość statystyki opisowej. Do wnioskowania statystycznego na podstawie badanych danych niezbędna jest podstawowa wiedza z zakresu analizy błędów, która z kolei stanowi podstawę statystyki matematycznej.

1. Ilościowy opis danych statystycznych, miary średnie, wariancja, odchylenie standardowe, kwantyle.
2. Graficzna prezentacja danych, wykres pudełkowy, histogram.
3. Skośność i kurtoza rozkładu empirycznego.
4. Błąd statystyczny, błąd wartości średniej.
5. Rozkład Gaussa i rozkłady z próby.
6. Estymatory, testy statystyczne, przedziały ufności.
7. Analiza dwóch zmiennych, regresja liniowa. Regresja liniowa wielu zmiennych.

W ramach ćwiczeń, przykłady analizy danych prowadzone są w programie Excel oraz w Pakiecie R.

Wstęp do analizy wielowymiarowej

1. Istota danych wielowymiarowych i podstawowe problemy związane z ich analizą.
2. Transformacja danych oraz redukcja wymiaru.
3. Podstawowe metody analizy danych wielowymiarowych, techniki Data Mining i Machine Learning.

MS SQL Server

Microsoft SQL Server to jeden z najpopularniejszych serwerów bazodanowych na świecie. Na jego przykładzie słuchacze studiów poznają podstawy relacyjnych baz danych oraz język SQL.

1. Wstęp do relacyjnych baz danych i języka SQL.
2. Wydobywanie danych z bazy danych i formatowanie wyników.
3. Filtrowanie rekordów.
4. Grupowanie danych.
5. Wydobywanie danych z wielu tabel.

Pakiet R

R jest językiem programowania dystrybuowanym na licencji open-source. Służy do analiz statystycznych i wizualizacji danych. Zdobył dużą popularność w środowiskach naukowych i akademickich, ale jest też wykorzystywany w wielu firmach i instytucjach: Facebook, Google, Merck, Altera, Pfizer, LinkedIn, Shell, Novartis, Ford, Mozilla, czy Twitter. Jest wciąż rozbudowywany, pojawiają się nowe specjalistyczne pakiety.

W ramach przedmiotu Podstawy Statystycznej Analizy Danych (6 godz.).

1. Wstęp do środowiska R, instalacja pakietów, wczytywanie i zapisywanie danych, struktury danych w R, przekształcanie danych, filtrowanie.
2. Elementy programowania: tworzenie skryptów obliczeniowych, obliczenia z wykorzystaniem pętli, budowa własnych funkcji.
3. Prezentowanie danych i wyników: wykresy słupkowe, kołowe, histogramy, wykresy pudełkowe (boxplot).
4. Metody statystyczne: statystyczny opis danych, przedziały ufności, testy parametryczne, testy zgodności i niezależności.

W ramach przedmiotu Pakiet R (18 godz.).

1. Regresja liniowa jednej i wielu zmiennych, kryteria informacyjne, punkty odstające i wpływowe, metody graficzne.
2. Regresja logistyczna, drzewa klasyfikacyjne, lasy losowe.
3. Metody analizy skupień, w tym metoda k-średnich.
4. Metoda głównych składowych, metoda wektorów nośnych.
5. Drzewa regresyjne.

Power BI

Power BI to aplikacja firmy Microsoft typu desktop przeznaczona do pracy w systemie Windows. Zdobywa coraz większą popularność z powodu swojej kompleksowości (umożliwia tzw. analizę typu self-service) oraz współpracy z chmurą. Aplikacja umożliwia łączenie się całym spektrum różnych źródeł danych, pobieranie ich i modelowanie. Posiada wbudowanych coraz więcej elementów hurtowni danych, również tych, związanych z technikami Data Mining. Pozwala na projektowanie i udostępnianie raportów i wyników analiz.

1. Wstęp do architektury Power BI.
2. Pozyskiwanie i transformowanie danych.
3. Tworzenie modeli danych.
4. Analiza danych.
5. Tworzenie elementów wizualnych i raportów.

Python

Przedmiot ten obejmuje wszystkie najważniejsze zagadnienia związane z językiem programowania obiektowo-skryptowym Python. Python to obecnie jeden z najpopularniejszych języków programowania, który swoją elastycznością stał się jednym z najważniejszych rozwiązań również do procesów ETL oraz ELT. Wraz z rozwiązaniami chmurowymi stawowi on dopełnienie w rozwiązaniach business intelligence.

1. Wstęp do programowania w języku Python. Środowisko, instalacja oraz zarządzanie pakietami. Narzędzia do programowania (IDE), metody wersjonowania i testowania kodu.
2. Omówienie typów danych, funkcji , operatorów, itd.
3. Pętle i instrukcje warunkowe.
4. Konstrukcja metod, funkcji i klas.
5. Omówienie wykorzystania najważniejszych pakietów dostępnych w środowisku Python wraz z ich przykładowym zastosowaniem.
6. Wykorzystanie Pythona do wydobywania i analizy danych danych.

MS SQL Business Intelligence

Microsoft SQL Server Business Intelligence to kompletna platforma dla środowisk inteligencji biznesowej. Składa się ona z serwera baz danych, środowiska Integration Services do tworzenia rozwiązań ETL (Extract – Transorm – Load) służących do dystrybucji i transformowania danych, Analysis Services do projektowania i tworzenia wydajnych hurtowni danych opartych na architekturze wielowymiarowej lub tabelarycznej oraz Reporting Services do projektowania, tworzenia i dystrybucji raportów.

1. Wstęp do środowiska MS SQL Server BI.
2. Tworzenie pakietów do transferowania i transformowania danych.
3. Tworzenie elementów hurtowni danych: wymiary, kostki, obliczenia, itp.
4. Tworzenie hurtowni danych.
5. Tworzenie modeli Data Mining i analiza danych.
6. Projektowanie i tworzenie raportów.

Oracle Data Mining

Firma Oracle jest największym dostawcą rozwiązań bazodanowych na świecie. Oferuje nie tylko serwery bazodanowe, ale również cały szereg aplikacji, w tym do analizy danych. W tej części studiów słuchacze zapoznają się z bazami danych Oracle i podstawami języka PL/SQL. Główną częścią przedmiotu będzie przygotowanie danych i ich analiza przy pomocy technik Data Mining oraz Machine Learning (uczenie maszynowe).

1. Wstęp do baz danych Oracle i PL/SQL.
2. Integracja Oracle z pakietami Python i R.
3. Techniki Data Mining i Machine Learning.
4. Analiza wspólnego koszyka.
5. Wykrywanie anomalii.
6. Wdrażanie rozwiązań Data Mining i Machine Learning.

Rozwiązania chmurowe

Rozwiązania chmurowe omawiane są na przykładzie technologii Apache Hadoop. Jest to zestaw bibliotek i narzędzi służących do przechowywania, przetwarzania oraz analizowania dużych zbiorów danych. Jest on ściśle powiązany z takimi pojęciami jak Cloud Computing, Big Data, Machine Learning, czy Artificial Intelligence. Apache Hadoop pozwala przechowywać i przetwarzać duże ilości danych przy pomocy wielu zadań wsadowych. Do przetwarzania danych na Hadoop można jeszcze użyć Apache Spark, czyli platformy opartej na klastrach. Spark dostarczą nowe możliwości programiście, których sam Hadoop nie posiada. Oba te rozwiązania mogą używać programu Hive, który tworzy interfejs dostępu do danych HiveQL, który bazuje na języku SQL. HBase jest przykładem aplikacji uruchomionej na systemie plików HDFS, który jest częścią Hadoopa. Baza HBase jest modelowana w oparciu o Google Bigtable czyli nie-relacyjnej bazie danych.

1. Wprowadzenie do tematyki Big Data.
2. Komponenty środowiska Hadoop. HDFS – rozproszone przechowywanie danych.
3. Nierelacyjne bazy danych. Hive – omówienie działania MapReduce i ćwiczenia w operowaniu językiem HQL.
4. Apache Spark – komponenty i charakterystyka przetwarzania danych.
5. Wprowadzenie i ćwiczenia w użyciu biblioteki PySpark.
6. Tworzenie, wdrażanie i optymalizacja aplikacji sparkowych.

Treści są prezentowane w trakcie wykładów w formie plików pdf. W trakcie ćwiczeń uczestnicy otrzymują materiały dydaktyczne w różnych formatach.

Słuchaczami studiów mogą być osoby, które ukończyły studia wyższe i posiadają dyplom: licencjata, inżyniera, magistra lub magistra inżyniera. Ponad to są to osoby, które wniosły wszystkie, przewidziane regulaminem studiów opłaty (wpisowe + opłata za jeden lub oba semestry studiów).

Zajęcia odbywają się za pośrednictwem platformy MS Teams. Wymagane jest posiadanie komputera z dostępem do internetu. Niezbędne oprogramowanie uczestnicy będą instalować przed zajęciami zgodnie ze wskazówkami wykładowców.