Ребенок, которому показывают картинку с предметами разной формы и просят найти большой красный шар, проходит ряд умозаключений. Сначала он ищет все большие предметы, потом выбирает из них красные, затем находит среди них шар. Теперь и нейронная сеть может объяснить, как она пришла к выводу о том, что изображено на фотографии — только делает это при помощи визуальных инструментов. Модель Transparency by Design Network (TbD-net), созданная в Массачусетском технологическом институте, иллюстрирует свой процесс рассуждений, позволяя человеку контролировать деятельность ИИ.
Исследователи давно пытаются понять, как нейронные сети приходят к тому или иному решению. Некоторые глубокие сети стали настолько сложными, что процесс трансформации данных практически невозможно проследить. Поэтому за технологией закрепилось сравнение с черным ящиком, непроницаемым для взгляда инженеров, пишет MIT News.
TbD-net превращает черный ящик в прозрачный, открывая возможность интерпретировать выводы искусственного интеллекта.
Например, важно понимать, как именно нейронная сеть, управляющая беспилотным автомобилем, отличает пешехода от знака «Стоп», и в какой точке цепочки рассуждений она видит эту разницу. Такая информация позволит разработчикам научить ИИ исправлять неверные предположения. Однако, по словам авторов TbD-net, лучшим из современных ИИ недостает эффективного механизма понимания процесса умозаключений.
Ключевым элементом в модели MIT стали модули — небольшие нейронные сети, предназначенные для выполнения определенных подзадач. Когда TbD-net задают вопрос об изображении, она разбивает его на подзадачи и передает исполнение соответствующему модулю. Действие каждого модуля визуализируется на отдельном слое изображения.
Как рабочие на конвейере, каждый модуль получает информацию от предыдущего — вплоть до формирования окончательного ответа.
Во время испытаний результаты TbD-net превзошли самые лучшие модели визуального мышления. Разработчики оценили производительность своего ИИ на базе данных из десятков тысяч изображений. Показатель точности составил 98,7%, что намного превзошло другие нейронные сети. Еще важнее то, что после этого они смогли улучшить собственные результаты благодаря прозрачности «ящика». Конечный результат — 99,1%.
