Velké jazykové modely pro generování textů (9. 4. 2024, Brno a online)

4 990 

Termín: 9. 4. 2024

Tento kurz je určen pro všechny, kteří jsou fascinovaní schopnostmi velkých jazykových modelů a generativní umělé inteligence, a chtějí proniknout do této problematiky než jen na úrovni běžného uživatele. Společně se seznámíme s transformery, základním stavebním moderních jazykových modelů, představíme si nejznámější architektury a ukážeme si, jak se velké jazykové modely dají použít pro různé aplikace. K praktickým cvičením není nutný žádný placený účet třetích stran. Budeme používat open source modely, které jsou při správném způsobu použití stejně dobré jako ty největší komerční modely.

Počet volných míst: 12

Qty:

Prerekvizity

  • Základní znalost programování v Pythonu
  • Znalosti strojového učení na úrovni kurzu Úvod do strojového učení.

Co si účastník odnese

Tento kurz je určen pro všechny, kteří jsou fascinovaní schopnostmi velkých jazykových modelů a generativní umělé inteligence, a chtějí proniknout do této problematiky než jen na úrovni běžného uživatele. Společně se seznámíme s transformery, základním stavebním moderních jazykových modelů, představíme si nejznámější architektury a ukážeme si, jak se velké jazykové modely dají použít pro různé aplikace. K praktickým cvičením není nutný žádný placený účet třetích stran. Budeme používat open source modely, které jsou při správném způsobu použití stejně dobré jako ty největší komerční modely.

Osnova

  • Generativní umělá inteligence pro text a obrázky
  • Evoluce jazykového modelování
  • Transformery
  • Typy transformerů pro jazykové modelování (encoder, decoder, encoder-decoder)
  • Posilované učení s lidskou zpětnou vazbou (RLHF)
  • Vybrané modely pro jazykové modelování založené na transformerech (BERT, GPT, LLAMA, T5, BART…)
  • Praktický příklad na klasifikaci textů pomocí transformerů s využitím knihovny HuggingFace v prostředí Google Colab
  • Prompt engineering: in-context learning, zero shot, one shot and few shot prompting, nejdůležitější konfigurační parametry generativních procesů
  • Praktický příklad na in-context learning s využitím knihovny HuggingFace v prostředí Google Colab
  • Fine-tuning velkých jazykových modelů a parameter-efficient fine-tuning (LoRA)
  • Evaluace jazykových generativních modelů (ROUGE, BLEU)
  • Praktický příklad na využití parameter-efficient fine-tuning s využitím knihovny HuggingFace v prostředí Google Colab
  • Retrieval Augmented Generation (RAG)