Привет, хабряне!

Меня зовут Михаил Пожидаев. Я работаю доцентом на кафедре теоретических основ информатики Томского государственного университета. Читаю лекции по UNIX, программной инженерии, анализу сетей и обработке естественного языка, о которой хочу сегодня рассказать.

На протяжении пяти лет в центре курса по обработке языка, конечно же, находится трансформер — двигатель современных языковых моделей. С каждым годом моё понимание этого непостижимого механизма чуточку улучшалось и пополнялось новыми деталями. В этом году я решил на основе живых лекций сделать серию записей, чтобы результаты многолетних постижений и анализа стали доступны самой широкой аудитории. Получилось восемь роликов по восьми лекциям суммарной длительностью около десяти часов.

Курс ориентирован на фундаментальные основы вычислительных процессов, Harness рассмотрен только на одном занятии — про него и так сейчас говорится фантастически много. План лекций такой:

1. Классические основы. Кратко о токенизации и сегментации, стемминге и лемматизации, TF-IDF и алгоритме Витерби.

2. Векторное представление слов. Кратко про перцептрон, линейную ячейку и функции активации, one-hot vector, embedding sparse-dense и другие, HNSW и фактические модели получения embedding, такие как Word2vec, FastText, ELMo и GloVe.

3. Рекуррентные сети. Сеть Элмана и варианты её использования, Seq2Seq, кодер-декодер, LSTM, GRU и некоторые предпосылки появления подходов к языковому моделированию на основе LSTM.

4. Механизм внимания. Общая идея внимания, варианты Богданова и Луонга, переход к внутреннему вниманию (самая изящная фишка в курсе!), multi-head attention, позиционное кодирование в разных видах.

5. Трансформер. Блоки кодера и декодера, процесс обучения трансформера, residual connection, MOE и некоторые разновидности: Switch Transformer, BERT и T5.

6. GPT. Отличия от трансформера. BPE и RoPE, механизмы выбора следующего токена, LogitsProcessor, промпты и навыки, tool calling и LoRA.

7. Harness. Агенты на workflow и с открытым оркестратором, MCP, память, RAG и PRM.

8. Анализ качества. Тест Тьюринга, перплексия, проблема галлюцинаций, классические вычислимые метрики и бенчмарки, Humanity's Last Exam.

Все восемь лекций абсолютно свободно доступны для всех желающих на странице курса на моём сайте marigostra.ru. Можно слушать прямо на сайте, можно скачивать, правила простые — CC BY-NC 4.0. Записи выложены с разрешения директора Института прикладной математики и компьютерных наук ТГУ Дианы Дамировны Даммер и нашего проректора по науке, по совместительству заведующего кафедрой теоретических основ информатики Александра Владимировича Замятина.

Сразу отвечу на вопрос, почему выложил эти ролики. Очень просто: я хочу сделать курс ещё лучше. С каждым годом я понимал, что что-нибудь можно было бы рассказать ещё правильнее. Поэтому, если кто-нибудь захочет сделать предложения или замечания по курсу, пожалуйста, обязательно напишите мне! На финальном слайде есть вся моя контактная информация.