Strojové učení nad velkými daty (29. 4. 2020, Praha nebo on-line)

4 990 

Termín: 29. 4. 2020

Cílem tohoto kurzu je představit různé nástroje a koncepty ze strojového učení nad velkými daty. Po dokončení tohoto kurzu by měli účastníci být schopni říct jaký nástroj použít pro daný problém, zjistit jestli neexistuje jednodušší řešení a znát časté chyby a umět se jim vyhnout. Speciální pozornost věnujeme Sparku jakožto univerzálnímu nástroji, který lze použít jak pro zpracování velkých dat, tak pro ML nad velkými daty.

Počet volných míst: 7

Qty:

Provedení

V případě přetrvávajících omezení kvůli epidemii koronaviru bude kurz veden on-line prostřednictvím platformy Hangouts. Po skončení on-line kurzu bude mít každý účastník možnost individuálních konzultací s lektorem v trvání 1 hod.

Prerekvizity

  • Základy práce v Pythonu a v nástroji Google Colab
  • Znalosti strojového učení na úrovni kurzu Úvod do strojového učení.

Co si účastník odnese

Cílem tohoto kurzu je představit různé nástroje a koncepty ze strojového učení nad velkými daty. Po dokončení tohoto kurzu by měli účastníci být schopni říct jaký nástroj použít pro daný problém, zjistit jestli neexistuje jednodušší řešení a znát časté chyby a umět se jim vyhnout. Speciální pozornost věnujeme Sparku jakožto univerzálnímu nástroji, který lze použít jak pro zpracování velkých dat, tak pro ML nad velkými daty.

Osnova

  • Přehled konceptů a nástrojů ve zpracování velkých dat
    • Od malých k velkým datům a odhad jejich hodnoty
    • Řádkové a sloupcové databáze
    • HDFS (Hadoop Distributed File System)
    • Formáty dat – Parquet, ORC, Avro
    • Komprese – gzip, snappy, zstd
    • SQL databáze – BigQuery, Redshift, Clickhouse, Snowflake, Vertica
  • Praktický příklad na srovnání malých a velkých dat
  • Úvod do Sparku
    • MapReduce
    • Spark Computing Engine a RDDs (Resilient Distributed Datasets)
    • DataFrames
    • Spark ekosystém
    • Nejčastější chyby
    • Kde pustit Spark
    • Alternativy – Apache Beam (Dataflow), Dask, lambdas
  • Praktický příklad se Sparkem
  • ML strategie pro velká data
    • Inkrementální učení
    • Dávkové učení pro neuronové sítě
    • Distribuované trénování
    • Federated learning
    • Alternativní strategie
      1. Náhodné vzorkování
      2. Podmodely
      3. Větší výpočetní kapacity
  • Frameworky
    • Scikit-learn a partial_fit
    • MLlib
    • Dask-ML
  • Praktické příklady s frameworky
  • Nejčastějsí chyby