На самом деле во всех статьях про анализ нейронных сетей сквозит одна и та же проблема. ИИ учат без учителя. Причём настолько обще, что «он» для «себя» вырабатывает собственный язык (систему понятий), который мы не понимаем, а потом мы пытаемся задавать «ему» вопросы и удивляемся, что вместо разговора какая-то фигня выходит. Когда родители учат малыша, его направляют и поправляют. Вот это — одеяло, а вот это — занавеска. Не наоборот.
В случае же с ИИ на него просто вываливают две пачки фоток, одну с занавесками, а другую без. А потом подсовывают ещё фотку и просят сказать — есть ли там занавеска. Потом дебажат и удивляются от того, что под занавесками ИИ понимал батареи.