Deep learning w przetwarzaniu języka naturalnego

Wprowadzenie do biblioteki PyTorch

• Implementacja perceptronu wielowarstwowego
• Implementacja procesu uczenia sieci neuronowej

Zanurzenia słów - word embeddings

• Model word2vec
• GLOVE
• FastText

Rekurencyjne sieci neuronowe (recurrent neural networks - RNNs)

• Sieć rekurencyjna prosta
• Sieć LSTM
• Sieć GRU
• Klasyfikacja tekstu przy użyciu sieci rekurencyjnych
• Wykrywanie nazw własnych (NER) przy użyciu sieci rekurencyjnych
• Złożone struktury sieci rekurencyjnych w zadaniach NLP: wielowarstwowość, dwukierunkowość

Generowanie tekstu przy użyciu sieci neuronowych

• Model językowy
• Mechanizmy generowania tekstu w oparciu o model językowy: generowanie proste, generowanie z randomizacją, beam search

Zadania NLP związane z generowaniem tekstu

• Typowe problemy "sequence to sequence": tłumaczenie maszynowe, podsumowywanie tekstu, odpowiadanie na pytania
• Struktura encoder-decoder
• Generowanie tekstu dotyczącego obiektów wejściowych (np. opisów obrazów)

Sieć neuronowa Transformer - state of the art współczesnego NLP

• Mechanizm uwagi vs mechanizm rekurencji
• Mechanizm Multihead Attention
• Mechanizm Positional Encoding
• Architektura sieci Transformer
• Praktyczne zalety i wady sieci Transformer

Transfer learning - wykorzystywanie gotowych potężnych sieci do własnych zadań NLP

• Transfer wiedzy - schemat działania
• Model BERT - sieć kodująca tekst do generalnego użytku
• Dostępne przetrenowane sieci BERT- biblioteka HuggingFace
• Zastosowanie transferu wiedzy w analizie podobieństwa tekstów
• Zastosowanie sieci BERT jako model bazowy w klasycznych zadaniach: klasyfikcja tekstu, generowanie tekstu
• Fine tuning - dotrenowywanie dostępnych modeli

LLMs - Large Language Models

• Duże modele językowe - wprowadzenie
• Możliwości i ograniczenia dużych modeli językowych
• LLM w wykonywaniu zadań NLP
• Problem inżynierii promptów, prompt jako hiperparametr
• Kiedy używać LLM'ów, a kiedy trenować własne sieci

materiały szkoleniowe - część teoretyczna szkolenia, slajdy - zostaną udostępnione uczestnikom na szkoleniu w formie pdf.

uczestnik otrzyma certyfikat uczestnictwa z opisem nabytych umiejętności

• Od uczestników szkolenia wymagana jest dobra (pozwalająca na swobodne pisanie nieskomplikowanego kodu) znajomość języka Python
• Ogólna wiedza z klasycznego uczenia maszynowego (problemy regresji i klasyfikacji, ogólne zasady pracy z algorytmami uczenia maszynowego)
• Podstawowa wiedza o sieciach neuronowych (strukura i mechanizm działania perceptronu wielowarstwowego, mechanizm uczenia sieci).

Szkolenie będzie prowadzone zdalnie, w czasie rzeczywistym, na żywo, z trenerem, możliwością zadawania pytań.

Szkolenie składa się w 30% z wykładu teoretycznego, w 70% z warsztatów i samodzielnej pracy programistycznej.

Podczas szkolenia uczestnicy mają dostęp do czatu z trenerem, współdzielą ekran podczas części warsztatowej, żeby zaprezentować postęp swojej pracy.

Walidacja będzie bazowała na ocenie efektów samodzielnej pracy uczestników, będzie sprawdzała nabytą wiedzę teoretyczną i umiejętność jej zastosowania w praktyce.

szkolenie na platformie zoom, wymagane:

stabilne połączenie internetowe (zalecane min. 10Mbit/s download i 1Mbit/s upload)

przeglądarka internetowa Chrome

zainstalowana aplikacja Zoom App

dobrej jakości słuchawki oraz mikrofon (opcjonalnie) kamera internetowa

link do szkolenia zostanie przesłany uczestnikom przed szkoleniem i będzie aktywny do końca szkolenia.