Anotace

Kurz poskytuje ucelený úvod do hlubokého zpětnovazebního učení, což je kombinace zpětnovazebního učení a hlubokých neuronových sítí, jež dosahuje vynikajících výsledků v rozmanitých oblastech, jako jsou strategické hry jako šachy či Go, návrh čipů, algoritmů či architektur neuronových sítí a v neposlední řadě rozvoj robotiky a LLM.

Kurz se zaměřuje jak na teorii tak na praktické implementace ve frameworku PyTorch prostřednictvím týdenních úkolů řešených individuálně či v malých týmech.

Lokace

Malostranské náměstí 25 , 118 00, Praha

Výsledky učení

Znalosti: Absolvent popíše a vysvětlí základní pojmy zpětnovazebního učení (MDP, policy, value function), charakterizuje základní přístupy (Monte-Carlo/temporal difference, on-policy/off-policy, tabular/function approximation, value-based/policy-gradient metody, model-free/model-based), popíše algoritmy a k nim odpovídající architektury (DQN, Rainbow, REINFORCE, A3C, PAAC, DDPG, SAC, PPO) a vysvětlí přístupy založené na plánování (MCTS, AlphaZero, MuZero, Dreamer).

Dovednosti: Absolvent implementuje výše uvedené základní architektury ve frameworku PyTorch a dokáže je efektivně natrénovat. Absolvent analyzuje odborný vědecký článek z oblasti hlubokého zpětnovazebního učení, identifikuje v něm klíčové metody a vysvětlí jejich principy a výsledky.

Kompetence: Absolvent navrhne způsob řešení nové (jemu dosud neznámé) úlohy z oblasti zpětnovazebního učení a sám ho naimplementuje a vyhodnotí.

Kontakt pro uchazeče

magdalena.kokesova@matfyz.cuni.cz