С внедрением новых IT-технологий расширяется и спектр киберугроз. Одно из новых направлений хакерского воздействия – атаки на машинное обучение. Ученые всего мира сейчас работают над поиском эффективных, опережающих способов защиты.
Ученый Института прикладной математики и компьютерных наук Томского госуниверситета Антон Николаев исследует атаки на машинное обучение и механизмы их предотвращения. Результаты его работы послужат основой для разработки новых подходов к защите нейронных сетей от разного рода кибернападений.
«Эта задача сейчас крайне актуальна, поскольку методы машинного обучения все активнее используются в самых разных областях – автономном вождении, распознавании лиц и голоса, биометрии, задачах классификации и обнаружения объектов, медицинской диагностике. Соответственно, те или иные методы и алгоритмы, работающие в данных областях, подвержены всевозможным атакам.
Сложность (как для атакующего, так и для защищающего) заключается в том, что обозначенные системы крайне сложны в своем устройстве, и защита, как и нападение, требуют сложного многоуровневого подхода на всех этапах взаимодействия системы с пользователем», – рассказал аспирант ИПМКН ТГУ Антон Николаев.
Как отмечает ученый, успешная атака на систему, работающую на базе машинного обучения и различных обучающихся алгоритмов, может привести к критичным последствиям не только для бизнеса, но и для жизни человека. Например, внедрение в системы автономного вождения – к тому, что системы распознавания знаков «перепутают» сигнал «СТОП» с ограничением скорости, не увидят запрещающий сигнал светофора или сам автомобиль сойдет с дороги на огромной скорости.
Успешная атака на биометрические системы и распознавание лиц может открыть доступ к секретным помещениям, данным или даже финансовым счетам в системах онлайн-банкинга. Все эти проблемы могут привести к серьезным репутационным рискам и финансовым потерям.
«Механизмы атак на подобные системы могут быть совершенно разными. Самые популярные включают генерацию некоторых небольших изменений в объекте (звуке, изображении, тексте) или, проще говоря, специального «шума», который ведет к тому, что система неправильно распознает или классифицирует данный объект.
Например, определенного рода наклейка на дорожный знак может заставить систему распознавания дорожных знаков увидеть вместо одного знака другой. Или же специальный макияж на лице может заставить систему распознавания лиц увидеть в одном человеке другого», – объяснил Антон Николаев.
В процессе машинного обучения возможно появление «зазоров» или неоднозначных ситуаций, благодаря им злоумышленники могут замещать одни результаты другими. Задача исследований – выявить наиболее эффективные методы приближения к границам таких «зазоров» или пограничных значений. Это знание позволит понять, как именно можно снизить число подобных «слабых звеньев» при атаках и в эксплуатации.
На основе результатов проведенных исследований ученый создаст новые алгоритмы или платформенное решение для защиты методов машинного обучения от внешнего влияния.
«Эта задача сейчас крайне актуальна, поскольку методы машинного обучения все активнее используются в самых разных областях – автономном вождении, распознавании лиц и голоса, биометрии, задачах классификации и обнаружения объектов, медицинской диагностике. Соответственно, те или иные методы и алгоритмы, работающие в данных областях, подвержены всевозможным атакам.
Сложность (как для атакующего, так и для защищающего) заключается в том, что обозначенные системы крайне сложны в своем устройстве, и защита, как и нападение, требуют сложного многоуровневого подхода на всех этапах взаимодействия системы с пользователем», – рассказал аспирант ИПМКН ТГУ Антон Николаев.
Как отмечает ученый, успешная атака на систему, работающую на базе машинного обучения и различных обучающихся алгоритмов, может привести к критичным последствиям не только для бизнеса, но и для жизни человека. Например, внедрение в системы автономного вождения – к тому, что системы распознавания знаков «перепутают» сигнал «СТОП» с ограничением скорости, не увидят запрещающий сигнал светофора или сам автомобиль сойдет с дороги на огромной скорости.
Успешная атака на биометрические системы и распознавание лиц может открыть доступ к секретным помещениям, данным или даже финансовым счетам в системах онлайн-банкинга. Все эти проблемы могут привести к серьезным репутационным рискам и финансовым потерям.
«Механизмы атак на подобные системы могут быть совершенно разными. Самые популярные включают генерацию некоторых небольших изменений в объекте (звуке, изображении, тексте) или, проще говоря, специального «шума», который ведет к тому, что система неправильно распознает или классифицирует данный объект.
Например, определенного рода наклейка на дорожный знак может заставить систему распознавания дорожных знаков увидеть вместо одного знака другой. Или же специальный макияж на лице может заставить систему распознавания лиц увидеть в одном человеке другого», – объяснил Антон Николаев.
В процессе машинного обучения возможно появление «зазоров» или неоднозначных ситуаций, благодаря им злоумышленники могут замещать одни результаты другими. Задача исследований – выявить наиболее эффективные методы приближения к границам таких «зазоров» или пограничных значений. Это знание позволит понять, как именно можно снизить число подобных «слабых звеньев» при атаках и в эксплуатации.
На основе результатов проведенных исследований ученый создаст новые алгоритмы или платформенное решение для защиты методов машинного обучения от внешнего влияния.
Источник: tsu.ru
Вам может быть интересно
10 августа
В Новосибирске состоится IX Международный форум технологического развития «Технопром-2022»
8 августа
Победитель «Лидеров России» предлагает создать команду ученых для интенсивного импортозамещения в химической промышленности
5 августа
Экскурсии «Наука рядом»: в июле школьники узнали, как создают вакцины, увидели строительство судов и сыграли роботами в лазертаг