Аспирантский семинар: Структурирование задач, поиск ошибок и теория Learning Spaces в интерактивной системе обучения EdLeTS / Сжатие нейронных сетей применительно к лингвистическим моделям

Место: Факультет компьютерных наук, Кочновский проезд, д. 3, ауд. 205
Время: 27 апреля, 16:40 – 18:00 

Доклады состоятся в рамках научно-исследовательского семинара аспирантской школы по компьютерным наукам.

Первый доклад

Тема: Структурирование задач, поиск ошибок и теория Learning Spaces в интерактивной системе обучения EdLeTS
Докладчик:  Илья Турунтаев, аспирант третьего года обучения, департамент прикладной математики МИЭМ

В данном докладе пойдет речь об интерактивной системе обучения EdLeTS, нацеленной на сопровождение и поддержку практических занятий по дисциплинам из различных областей точных наук. В проекте EdLeTS внимание сконцентрировано на тренировочных задачах, способах оптимизации процессов их составления, распространения и сопровождения, а также на получении и оценке информации о текущем уровне знаний и прогрессе студента на основе данных о решенных задачах.

Ключевую роль в данном проекте играет понятие шаблона тренировочных задач. Соответствующая техника позволяет по заданному описанию шаблона порождать большое число однотипных конкретных задач на заданную тематику, что приводит к существенному уменьшению временных затрат при организации тренировок, домашних заданий, контрольных работ и т.п., обеспечивает уникальность и персонифицированность заданий для студентов, позволяет осуществлять сбор и анализ данных об активности студентов в автоматическом режиме. Помимо прочего, данный подход позволяет выработать новую меру оценки уровня «понимания» той или иной темы.

Отдельный интерес представляют задачи выяснения текущего уровня знаний студента, формирования предложений по ликвидации пробелов в знаниях и вычисления возможных путей дальнейшего развития. В докладе будет представлен краткий обзор теории Learning Spaces, в которой предложена определенная формализация самого процесса обучения и ключевых понятий, возникающих в этом процессе, таких как, например, состояние знаний студента. Оказывается, что конструкции, рассматриваемые в данной теории, естественным образом появляются и в системе EdLeTS. Будет продемонстрирована эта связь, а также предложены способы решения поставленных задач, ее эксплуатирующие.

Второй доклад

Тема: Сжатие нейронных сетей применительно к лингвистическим моделям
Докладчик:  Артем Грачев, аспирант второго года обучения, департамент анализа данных и искусственного интеллекта факультета компьютерных наук

На сегодняшний день большое распространение получили лингвистические модели с использованием нейронных сетей. Но несмотря на их высокую предсказательную силу, они всё ещё достаточно трудоёмки в вычислении и требуют много памяти. Эта проблема становится ещё более актуальной, если мы хотим получить модели на таких устройствах как, например, мобильные телефоны. Для нейронных сетей есть несколько подходов к уменьшению размера сетей и ускорения времени инференса. Некоторые из них основаны на sparse-вычислениях. Это может быть прунинг или его различные более продвинутые вариации. Обычно такие методы существенно снижают размерность модели на диске, но всё ещё имеют проблемы из-за трудоёмкости sparse-вычислений. Другое направление — это использование различных матричных разложений или свойств матриц. Сюда можно включить как обычные низкоранговые разложения, так и использование матриц специального вида и TT-разложения. В данном докладе будут проанализированы некоторые из этих подходов в применении к моделированию языка с использованием нейронных сетей.