Разработка системы подсчёта очков помогает операторам оценивать достоверность объяснений ИИ
Ученые из Бристольской школы компьютерных наук достигли значительных успехов в решении проблемы «галлюцинаций» моделей искусственного интеллекта и повышении надёжности алгоритмов обнаружения аномалий в критически важных национальных инфраструктурах (CNI).
Недавние достижения продемонстрировали потенциал технологии в обнаружении аномалий, особенно в данных датчиков и механизмов для CNI. Однако эти алгоритмы часто требуют длительного времени обучения и испытывают трудности с определением конкретных компонентов в аномальном состоянии. Кроме того, процессы принятия решений ИИ часто непрозрачны, что приводит к проблемам с доверием и подотчётностью.
Чтобы преодолеть эти проблемы, исследователи приняли ряд мер по повышению эффективности. Для улучшенного обнаружения аномалий команда использовала два передовых алгоритма со значительно более коротким временем обучения и более быстрыми возможностями обнаружения, сохраняя при этом сопоставимые показатели эффективности. Эти алгоритмы были протестированы с использованием набора данных из испытательного стенда оперативной очистки воды, SWaT, в Сингапурском университете технологий и дизайна.
Для повышения прозрачности и доверия исследователи интегрировали модели eXplainable AI (XAI) с детекторами аномалий. Такой подход позволяет лучше интерпретировать решения, предлагаемые моделью, позволяя людям понимать и проверять рекомендации перед принятием критических решений. Также оценивалась эффективность различных моделей XAI, что дало представление о том, какие модели лучше всего помогают человеческому пониманию.
Исследование подчёркивает важность человеческого контроля в процессах принятия решений, управляемых ИИ. Объясняя рекомендации людям, команда стремится гарантировать, что модель выступает в качестве инструмента поддержки принятия решений, а не «бесспорного оракула». Эта методология вводит подотчётность, поскольку операторы принимают окончательные решения на основе идей, политики, правил и положений ИИ.
Доктор Сарад Венугопалан, соавтор исследования, пояснил: «Люди учатся путём повторения в течение более длительного периода времени и работают в течение более коротких часов, не допуская ошибок. Вот почему в некоторых случаях мы используем модели, которые могут выполнять те же задачи за меньшее время и с меньшим количеством ошибок. Однако эта автоматизация, включающая кибер- и физические компоненты, а также последующее использование ИИ для решения некоторых проблем, вызванных автоматизацией, рассматривается как чёрный ящик. Это пагубно, поскольку ответственность за принятые решения несёт персонал, использующий рекомендации, а не сама модель. В своей работе мы используем объяснимый ИИ для повышения прозрачности и доверия, поэтому сотрудники, использующие рекомендации, информируются о том, почему ИИ дал рекомендацию, прежде чем будет принято решение».
Доктор Адепу добавил: «Эта работа показывает, как WaXAI производит революцию в обнаружении аномалий в промышленных системах с помощью объяснимого ИИ. Благодаря интеграции XAI операторы получают чёткие сведения и большую уверенность при обработке инцидентов безопасности в критически важной инфраструктуре».
Данные достижения не только повышают эффективность и надёжность систем ИИ в CNI, но и гарантируют, что операторы остаются неотъемлемой частью процесса принятия решений, повышая общую ответственность и доверие.
