Prerekvizity

• Základy práce v Pythonu a v nástroji Google Colab
• Znalosti strojového učení na úrovni kurzu Úvod do strojového učení.

Co si účastník odnese

Cílem tohoto kurzu je představit různé nástroje a koncepty ze strojového učení nad velkými daty. Po dokončení tohoto kurzu by měli účastníci být schopni říct jaký nástroj použít pro daný problém, zjistit jestli neexistuje jednodušší řešení a znát časté chyby a umět se jim vyhnout. Speciální pozornost věnujeme Sparku jakožto univerzálnímu nástroji, který lze použít jak pro zpracování velkých dat, tak pro ML nad velkými daty.

Osnova

• Přehled konceptů a nástrojů ve zpracování velkých dat
  • Od malých k velkým datům a odhad jejich hodnoty
  • Řádkové a sloupcové databáze
  • HDFS (Hadoop Distributed File System)
  • Formáty dat – Parquet, ORC, Avro
  • Komprese – gzip, snappy, zstd
  • SQL databáze – BigQuery, Redshift, Clickhouse, Snowflake, Vertica
• Praktický příklad na srovnání malých a velkých dat
• Úvod do Sparku
  • MapReduce
  • Spark Computing Engine a RDDs (Resilient Distributed Datasets)
  • DataFrames
  • Spark ekosystém
  • Nejčastější chyby
  • Kde pustit Spark
  • Alternativy – Apache Beam (Dataflow), Dask, lambdas
• Praktický příklad se Sparkem
• ML strategie pro velká data
  • Inkrementální učení
  • Dávkové učení pro neuronové sítě
  • Distribuované trénování
  • Federated learning
  • Alternativní strategie
    1. Náhodné vzorkování
    2. Podmodely
    3. Větší výpočetní kapacity
• Frameworky
  • Scikit-learn a partial_fit
  • MLlib
  • Dask-ML
• Praktické příklady s frameworky
• Nejčastějsí chyby

Termíny

V případě zájmu o vypsání nového termínu kurzu nás kontaktujte na info@mlcollege.com.