И снова третье сентября… Вся правда о нейронных сетях и искусственном интеллекте
Хайп вокруг темы искусственного интеллекта не затихает. В СМИ постоянно появляется информация, что какая-то очередная компания внедрила новую технологию, построенную на искусственном интеллекте. Однако мало кто делится проблемами, которые возникают при внедрении таких технологий. И это понятно: любой инженер, программист или создатель безумно гордится своей разработкой и готов рассказывать о ней только хорошее.
В узких кругах на различных конференциях проблемы искусственного интеллекта поднимаются, но не очень часто и обычно точечно. Это может показаться странным, но на сегодняшний день, пожалуй, единственный объективный и полный обзор о проблемах искусственного интеллекта можно услышать в нетленном хите Михаила Шуфутинского «3 сентября».
Давайте подробнее разберем строки этой замечательной композиции.
«Я календарь переверну и снова третье сентября»
В этой строчке говорится о перекидном календаре (помните, такой висел раньше в каждом доме?), на котором всегда одна и та же дата – 3 сентября. Здесь исполнитель намекает нам на некую цикличность и поднимает одну из главных проблем современных рекуррентных и генеративных нейронных сетей – «сваливание в цикл» (в Матрице это называют эффектом «Дежавю»). В результате этой проблемы программа начинает «зацикливаться» и выдавать непонятный человеческому разуму результат.
Эту проблему недавно продемонстрировали специалисты «ВКонтакте» на одной из конференций по искусственному интеллекту. Они показали работу своего чат-бота, который на вопросы пользователей соцсети самостоятельно генерирует ответы, автоматизируя тем самым работу службы поддержки. По словам разработчиков, от безобидного вопроса пользователя «Как получить галочку?» чат-бот впадал в ступор, начинал галлюцинировать и выдавать много раз одну и ту же фразу.
Специалисты по искусственному интеллекту обнаружили этот баг совсем недавно, а Шуфутинский «поет» о нем уже более 25 лет.
«На фото я твое взгляну и снова третье сентября»
В этих строках исполнитель говорит нам о том, что, глядя на фотографию близкого человека, он видит «3 сентября». Таким образом, Михаил поднимает важную проблему современных систем распознавания изображений – «атака на нейронную сеть».
Принцип «атаки на нейронную сеть» заключатся в том, что на фотографию добавляются случайные пиксели, незаметные человеческому глазу, которые мешают нейронной сети правильно распознать, что или кто находится на фотографии.
В научной работе 2015 года команда экспертов по нейронным сетям во главе с Яном Гудфелоу показала, как можно обмануть сверточную нейронную сеть, распознающую объекты на картинке. К фотографии панды специалисты добавили шумовую карту. В результате нейронная сеть считала, что на фотографии с вероятностью 99,3% изображен гиббон (хотя человек по-прежнему видит на обработанной фотографии панду).
«Но почему, но почему расстаться все же нам пришлось? Ведь было все у нас всерьез второго сентября»
И последнее послание, зашифрованное Шуфутинским в двух строках припева, – это извечная проблема искусственного интеллекта ошибаться там, где человек может принять единственно правильное решение.
Второго сентября было все всерьез, а третьего числа по каким-то причинам уже наступило расставание. Именно с такими проблемами сталкиваются банки, используя скоринговые модели для принятия решения о выдаче кредита: второго сентября скоринговая система может одобрить заемщика, а третьего уже отказать. Это называется ошибками первого и второго рода – когда скоркарта отказывает хорошему клиенту или одобряет кредит плохому соответственно.
В заключении хочется отметить, что, несмотря на то, что Михаил Шуфутинский уже давно обращает внимание на глобальные проблемы искусственного интеллекта, способы, как эти проблемы полностью решить, до сих пор не найдены. И пока эти проблемы не будут решены, Михаил Захарович продолжит напоминать ученым о них каждый год 3 сентября, в день, когда горят костры рябин.
Сергей Афанасьев,
исполнительный директор, начальник управления статистического анализа «Ренессанс Кредит»
