Мозг и искусственный интеллект. Интервью с Иваном Ямщиковым. Часть 3. Нейросети – больше не черный ящик

Share Button

«Занимательная робототехника» побеседовала с Иваном Ямщиковым, ученым и специалистом в области искусственного интеллекта, чтобы узнать состояние дел и перспективы направления.

В третьей, завершающей, части Иван рассказывает о самых последних исследованиях в искусственном интеллекте и распределении ролей в команде, о том, почему многие модели были разработаны 30 лет назад, а используются только сейчас. Бонусом – рекомендации по выбору университета и специальности.

Интервью с Иваном Ямщиковым. Часть 3. Нейросети – больше не черный ящик

Часть 1. Язык как условие разумности.

Часть 2. Искусственный интеллект и творчество.

Справка: Иван Ямщиков – научный сотрудник Института Макса Планка в Лейпциге, евангелист компании ABBYY, сооснователь проекта Creaited Labs, в прошлом аналитик в Яндексе. Закончил магистратуру физфака СПбГУ и получил второго магистра в Швеции, защитил PhD по прикладной математике в Германии. .

Черное и белое

— Динара Гагарина: Часто мы слышим, что нейронные сети — это черный ящик (мне так говорили в университете), и мы не понимаем, как он работает. Из того, что ты говоришь, следует, что …

— Иван Ямщиков: … это уже не совсем так. Так было года три назад, с тех пор люди значительно продвинулись и продолжают двигаться. Эта развивающаяся область связана именно с интерпретацией результатов работы алгоритмов анализа данных вообще и нейронных сетей в частности.

— То есть нейронные сети перестали быть черным ящиком?

— Не совсем так. О любой вещи можно говорить с разной сложностью. Давай разделим.

В индустрии для решения прикладных задач, как правило, представления, что тот или иной алгоритм (не только нейронная сеть) является черным ящиком, достаточно для того, чтобы это использовать. Потому что статистика – бессердечная тварь, и если у тебя есть алгоритм анализа данных, который со 100% точностью позволяет находить педофилов в сети, то надо им пользоваться, и не важно, как именно он устроен. Или более простой пример – если есть алгоритм, который повышает удовлетворенность людей при пользовании твоим магазином или сокращает время ожидания в банке, надо просто его использовать. Не обязательно разбираться, как он работает.

При этом с точки зрения науки есть желание понять, как именно это работает. Потому что есть ощущение, что если ты поймешь, то сможешь улучшить. Соответственно есть область, которая занимается методами анализа алгоритмов анализа данных, чтобы можно было «поправить» логику работы и сделать алгоритм еще лучше. Этой наукой применительно к нейронным сетям три года назад толком не занимались. Сейчас этого значительно больше, есть отдельные семинары про это, есть люди, которые свою карьеру строят вокруг, например, визуализации того, что происходит в искусственных нейронных сетях.

Побочный результат такой работы — приложение Prisma, которое 2 года назад прогремело. Ребята из университета Тюбингена занимались декомпозицией информационных потоков. Они пытались создать такую нейронную сеть, в которой на одном слое были все линии – ребра, области максимального контраста, контуры изображения, а на втором слое — раскраска. Им удалось это сделать. Как работает Prisma и аналогичные приложения? Берешь нейронную сетку, даешь ей картинку. На предпоследнем слое остается вся информация, связанная с контурами этой картинки. Последний слой убираешь и вместо него представляешь слой от другой картинки, к примеру, от картинки Мане или Ван Гога. На последнем слое у тебя нет никакой информации, что нарисовано, но есть информация, как это раскрашивать. В итоге появляется стилизованное изображение.

Эта задачка вызывает вау-эффект у пользователя и красивый эстетический результат, но изначально мотивация была в том, чтобы научиться разделять разные типы визуальной информации – про что картинка и как она нарисована. Это как раз пример того, что нейросеть – не совсем черный ящик.

Рабочее место Ивана Ямщикова

Рабочее место

— Означает ли это, что нейросеть становится ближе к традиционным алгоритмам?

— Они были традиционными алгоритмами и ими остаются. Нейронные сети придумали в 60-е годы XX века. 90% алгоритмов анализа данных, которые мы сейчас используем, придумали во второй половине XX века. А трудности с их применением были связаны в первую очередь с тем, что, во-первых, у нас не было достаточно мощных компьютеров, чтобы обучать такого рода алгоритмы, а, во-вторых, не было данных, на которых можно обучать такие алгоритмы.

Взрыв интереса к этим алгоритмам в сравнительно недавнем прошлом связан с тем, что в 90-е годы развивалась индустрия компьютерных игр. А это привело к тому, что появились мощные графические карты. Они оказались очень удобны для параллельных вычислений. Графическая карта что делает? Она рассчитывает треугольнички маленькие, все треугольнички параллелизуются, и карта тебе текстуру на весь экран раскатывает. Параллельно делается множество похожих задач. В какой-то момент кто-то сказал: «Слушайте, может, мы на них научные вычисления будем делать?».

Первое, что начали считать на графических картах — гидрогазодинамику, моделировали аэродинамические свойства объектов. А потом кто-то сказал: «Можно же на них и нейросети учить!» Оказалось, да, можно. Процессы параллелизуются, получается много быстрее и, главное, дешевле. Сейчас за 1000 долларов можно купить компьютер с графической картой, которая по мощности будет превосходить суперкомпьютеры 70-х годов, когда нейронные сети были придуманы. А еще есть облачные решения, доступность вычислительных мощностей резко возросла. Объемы данных благодаря интернету тоже возросли. Оказалось, что идея, которую 30-40 лет назад воспринимались как «какая прикольная математика, но это невозможно сделать», стала возможна.

Все нейронные сети сейчас обучаются методом обратного распространения ошибки, описан он был Александром Галушкиным в 1974 году, а в 1986 году Джеффри Хинтон применил его к нейронным сетям. С тех пор было много улучшений, но в целом это давно известная математика.

Winter is coming…

— Что за это время искусственному интеллекту решить не удалось?

— У искусственного интеллекта было много так называемых зим (AIwinter).

Сначала придумали алгоритмы, сказали, что они будут делать. Люди фантастические книжки написали о том, как это будет здорово, думали, что все будет сразу же работать.

Но, во-первых, оказалось, что мало областей, где есть данные для обучения. Во-вторых, была большая критика, связанная с тем, что объем ресурсов, необходимый для обучения алгоритма, не сопоставим с тем качеством, который получается. Тогда случилась первая «зима», когда стали говорить, что это ерунда и не надо давать на это денег.

Потом был второй всплеск интереса, когда предложили идею нейронных сетей и перцептрон Розенблатта, который формы стал распознавать, думали, что мозг можно скопировать. Вторая зима была связана с тем, что оказалось, мозг так просто не скопировать. Снова все загрустили.

Искусственный интеллект сейчас находится в том же состоянии, в котором Интернет находился в начале 90-х годов

Твитнуть цитату

Сейчас третий рассвет, он связан во многом с появлением интернета и огромных дата-центров. Все говорили про большие данные, 3-4 года назад это было самое горячее словосочетание. Тогда оказалось, что даже простыми линейными алгоритмами можно достать значимую информацию для бизнеса, для исследований, для чего угодно. Ок, достали, но данные то никуда не делись, и на них можно учить более сложные алгоритмы и доставать еще более интересные штуки.

Возможно, у нас будет еще одна зима, когда все опять расстроятся, когда вроде все здорово, но вот кофе она готовит неправильно. И опять какое-то время люди, которые занимаются искусственным интеллектом, будут сидеть без финансирования.

Я придерживаюсь точки зрения Кевина Келли, редактора журнала Wired. Люблю его цитировать, он говорит, что искусственный интеллект сейчас находится в том же состоянии, в котором Интернет находился в начале 90-х годов. И когда мы сейчас смотрим на предпринимателей, которые в 90-е годы сделали интернет-бизнесы и говорим им: «Ну вам то легко было сделать». Делали сайт о чем угодно, и он взлетал. Сейчас то же самое с искусственным интеллектом – можно сделать почти все что угодно и построить вокруг этого успешный бизнес.

Научная кухня искусственного интеллекта

— Как устроен научный процесс в этой области – как вы здесь в институте придумываете что-то новое?

— Как и любой научный процесс. Сидишь, читаешь книжки и думаешь, периодически разговариваешь с людьми, которые думают о чем-то похожем.

Бывает много разных форматов, бывает, что мы друг другу говорим: «Нам надо разобраться с этой темой, давайте читать статьи, встречаться раз в неделю и рассказывать, что происходит». К каждой встрече кто-то готовит статью, рассказывает, остальные задают ему вопросы. Так формируем общее представление о какой-то области.

Другой формат – когда мы просто регулярно встречаемся с нашим шефом вчетвером и обсуждаем, кто что сделал, у кого какие идеи и какие проблемы.

— В группе из четырех распределены как-то обязанности?

— Нет, каждый занимается тем, что ему интересно.

— Если вы делаете что-то, связанное с общением и с языком, в вашей команде есть лингвист? Или вы сами уже все лингвисты?

— В нашей команде нет лингвиста, если нам нужна помощь лингвиста, мы его привлекаем.

— Психолог, нейрофизиолог?

— С нейрофизиологами мы взаимодействуем. Здесь второй Институт Макса Планка в Лейпциге как раз про нейрофизиологию, мы и данные у них берем тоже.

— Как проходит это взаимодействие, научная кухня какова?

— Да везде она одинаковая. Сейчас я делаю проект с ребятами из УрФУ – мы по скайпу созваниваемся раз в неделю. У нас есть некоторая тематика, обмениваемся идеями, обсуждаем, кто что сделал, пишем статью.

— А есть такое, что один делает математическую модель, другой кодит?

— Есть и такое. У людей есть разные компетенции и разные сферы интересов. Ты делаешь то, что тебе интересно.

— Ты что в команде делаешь?

— Я в разных командах делаю разное. Нет такого, что от тебя требуется заниматься строго одной задачей.

С Лешей Тихоновым в проекте по генерации текстов я делаю какие-то математические части, предобработку данных и оформление результатов. Код пишет, в основоном, он.

Здесь в институте у нас с коллегой есть проект по теории игр. Там я кожу, он – придумывает теоретико-игровую модель.

Третий проект я делаю с коллегами из Израиля и Вьетнама. Они занимаются моделями эволюций, а я диссертацию защищал по финансовой математике, где похожие математические модели. Они описывают разные вещи, разные обозначения, но методологически похожи. Там я занимаюсь только математикой.

Где учиться?

— Если старшеклассник обдумывает, куда пойти учиться, чтобы потом заниматься искусственным интеллектом, то что выбрать –программирование или математику?

— Это сложный вопрос. Я бы сказал, что нужно идти в более сильный вуз. Выбор между математикой, физикой и компьютерными науками не столь важен, как между сильным и слабым вузом, выбор между сильным и слабым научным руководителем. Есть смысл смотреть на международные рейтинги, но не стоит на 100% привязываться к ним, потому что российские вузы сейчас только переходят на эту систему.

Надо смотреть на атмосферу внутри вуза, на то, какие там преподаватели, насколько они сильны, насколько мотивированы студенты

Твитнуть цитату

Надо смотреть на атмосферу внутри вуза, на то, какие там преподаватели, насколько они сильны, насколько мотивированы студенты. Потому что искусственный интеллект – такая область, где студенты могут знать больше преподавателей, если напрягутся и найдут нужные онлайн-курсы. Поэтому если абитуриент пойдет в вуз и окажется в группе из 10 человек с горящими глазами, они будут хотеть учиться и разбираться, это будет лучше, чем если он пойдет на конкретную специальность.

То есть на мой взгляд важны общая атмосфера и мотивация людей, важен международный рейтинг вуза. А из специальностей это может быть математика, computer science, теоретическая физика. Я заканчивал физфак СПбГУ.

— Первые пять вузов в России?

— ИТМО, СПбГУ, Академический Университет РАН, МФТИ, МГУ. Если посмотреть с точки зрения программирования, то есть результаты ACM-ICPC. Там много российских вузов, которые в этом году решили 7 задач или больше. Команда УрФУ, к примеру, – решила 7, это очень хороший результат.

— Кто еще из региональных?

— Новосибирский, Воронежский университеты показывают хорошие результаты, но я не внимательно слежу за рейтингами. Нужно выбирать научного руководителя, который публикуется. И это должна быть группа или специальность, где люди мотивированы учиться.

— Есть ли разница, где обучаться computer science, — в России или за рубежом? Есть смысл уезжать?

— Я получил второе высшее образование в Швеции, потом вернулся в Россию.

Наука — это глобальное дело, совершенно не важно, где ты ей занимаешься. Я убежден, что в России есть отличные вузы. Фундаментальной проблемой российского университетского образования является то, что сравнительно мало времени уделяется тому, зачем это нужно. Возможно, эта специфика связана с тем, что в советское время была хорошо выстроенная связь между теоретической и прикладной наукой, инженерными специальностями и производством. Позже эти цепочки порвались. В итоге довольно часто люди чему-то учат, но забывают рассказать, зачем это нужно. Раньше об этом рассказывали на практике или в процессе первого года работы. Сейчас выпускники часто не знают, зачем нужны те навыки, которым их научили, поэтому ищут работу не по специальности. Это всё можно корректировать, но для этого нужно время.

Наука — это глобальное дело, совершенно не важно, где ты ей занимаешься

Твитнуть цитату

Главное, что узнал за год обучения в магистратуре Швеции, – я очень сильный специалист европейского класса. В СПбГУ меня научили огромному количеству вещей, которые мои сверстники из Европы не знают или знают хуже. Но мне не объяснили, где их применять. Шведское образование сводилось к тому, что мне говорили: вот это нужно для этого, а вот это – для этого. При этом с точки зрения математики я много нового не узнал. Много нового я узнал с точки зрения спроса на мои знания на рынке и тех задач, где эти знания могут использоваться. После этого я пошел заниматься анализом данных в компанию Яндекс. Если бы мне в Петербурге рассказали про это, я бы сразу пошел.

Если посмотреть глобальные отчеты, в плане искусственного интеллекта Россия – хорошая площадка для обучения. Учиться в бакалавриате на специальностях, связанных с ИИ, имеет смысл в Китае, США и России. Британия, Франция, Германия скорее догоняют, чем опережают. Исторически так сложилось, что ИТ-индустрия в России сильная.

Фото Динары Гагариной и из личного архива Ивана Ямщикова.

Share Button

Нет комментариев.

Оставить комментарий

© 2014-2024 Занимательная робототехника, Гагарина Д.А., Гагарин А.С., Гагарин А.А. All rights reserved / Все права защищены. Копирование и воспроизведение в любой форме запрещено. Политика конфиденциальности. Соглашение об обработке персональных данных.
Наверх