Pokročilé techniky hlubokého učení

Pokročilé techniky hlubokého učení

Lektor

Jiří Materna

Prerekvizity

  • Základní znalost programování v Pythonu
  • Středoškolské znalosti lineární algebry, matematické analýzy a teorie pravděpodobnosti. Bude předpokládáno základní porozumění pojmům jako vektor, matice, vektorový prostor, pravděpodobnost, podmíněná pravděpodobnost, nezávislost náhodných jevů a znalost násobení matic a derivace funkcí.
  • Znalosti strojového učení na úrovni kurzu Úvod do strojového učení

Co si účastník odnese

Kurz je učen pro zájemce o hlubší porozumění umělým neuronovým sítím a hlavě takzvanému hlubokému učení. Předpokládá se základní znalost principů na úrovni kurzu Úvod do strojového učení, které se v kurzu využije pro vysvětlení pokročilejších architektur a technik. Zvláštní pozornost bude věnována možnostem interpretovatelnosti modelů strojového učení.

Osnova

  • Architektury neuronových sítí (feed-forward, rekurentní, konvoluční, generativní, autoenkodéry, Unet, GAN, attention layer)
  • Optimalizátory a jejich evoluce (Steepest Gradient Descent, Stochastic Gradient Descent, Mini-Batch Gradient Descent, Nesterov Accelerated Gradient, Adagrad, AdaDelta, Adam, hledání učicích koeficientů)
  • Chybové funkce a jejich vlastnosti (Mean squared error, Mean absolute error, Negative Log Likelihood)
  • Regularizace neuronových sítí (Dropout, Early stopping, Data augmentation, Batch and layer normalization)
  • Inicializace neuronových sítí (Gradient vanishing problem, Zero initialization, He initialization, Xavier initialization)
  • Semi-supervised learning (Pseudo Labeling, Mean-Teacher, PI-Model)
  • Praktické příklady na semi-supervised techniky 
  • Odhad spolehlivosti predikcí (Logit analysis, Confidence networks)
  • Praktické příklady na odhad spolehlivosti
  • AutoML (automatické hledání hyperparametrů, grid search, Bayesian optimization, meta-learning, automatické hledání architektur neuronových sítí)
  • Praktické příklady s knihovnou Hyperopt
  • Praktické příklady s knihovnou Adanet
  • Interpretovatelnost modelů strojového učení (přímo interpretovatelné modely, Partial Dependence Plot, Permutation feature importance, Surrogate models, Shapley Values)

Termíny

V případě zájmu o vypsání nového termínu kurzu nás kontaktujte na info@mlcollege.com.