Velké jazykové modely pro generování textů (11. 3. 2025, Praha + online)
4 990 Kč
Termín: 11. 3. 2025
Tento kurz je určen pro všechny, kteří jsou fascinovaní schopnostmi velkých jazykových modelů a generativní umělé inteligence, a chtějí proniknout do této problematiky než jen na úrovni běžného uživatele. Společně se seznámíme s transformery, základním stavebním moderních jazykových modelů, představíme si nejznámější architektury a ukážeme si, jak se velké jazykové modely dají použít pro různé aplikace. K praktickým cvičením není nutný žádný placený účet třetích stran. Budeme používat open source modely, které jsou při správném způsobu použití stejně dobré jako ty největší komerční modely.
Počet volných míst: 10
Prerekvizity
- Základní znalost programování v Pythonu
- Znalosti strojového učení na úrovni kurzu Úvod do strojového učení.
Co si účastník odnese
Tento kurz je určen pro všechny, kteří jsou fascinovaní schopnostmi velkých jazykových modelů a generativní umělé inteligence, a chtějí proniknout do této problematiky než jen na úrovni běžného uživatele. Společně se seznámíme s transformery, základním stavebním moderních jazykových modelů, představíme si nejznámější architektury a ukážeme si, jak se velké jazykové modely dají použít pro různé aplikace. K praktickým cvičením není nutný žádný placený účet třetích stran. Budeme používat open source modely, které jsou při správném způsobu použití stejně dobré jako ty největší komerční modely.
Osnova
- Generativní umělá inteligence pro text a obrázky
- Evoluce jazykového modelování
- Transformery
- Typy transformerů pro jazykové modelování (encoder, decoder, encoder-decoder)
- Posilované učení s lidskou zpětnou vazbou (RLHF)
- Vybrané modely pro jazykové modelování založené na transformerech (BERT, GPT, LLAMA, T5, BART…)
- Praktický příklad na klasifikaci textů pomocí transformerů s využitím knihovny HuggingFace v prostředí Google Colab
- Prompt engineering: in-context learning, zero shot, one shot and few shot prompting, nejdůležitější konfigurační parametry generativních procesů
- Praktický příklad na in-context learning s využitím knihovny HuggingFace v prostředí Google Colab
- Fine-tuning velkých jazykových modelů a parameter-efficient fine-tuning (LoRA)
- Evaluace jazykových generativních modelů (ROUGE, BLEU)
- Praktický příklad na využití parameter-efficient fine-tuning s využitím knihovny HuggingFace v prostředí Google Colab
- Retrieval Augmented Generation (RAG)