Нейронные сети используются в различных задачах бизнеса для детектирования, классификации, сегментации и распознавания объектов. Постоянно появляются новые и усовершенствуются существующие топологии нейронных сетей. Но вопрос выбора конкретной инфраструктуры для их исполнения постоянно открыт и остается дискуссионным. Давайте попробуем разобраться, как же правильно выстроить собственное решение для инференса и в каком случае предпочтительной становится работа в рамках серверной инфраструктуры, а когда требуется решение «на краю».
Серверная инфраструктура дешевле края и, возможно, так будет всегда. В этом варианте для исполнения нейронных сетей используется сервер или набор серверов в стойках внутри публичного или приватного контура. На серверах принимаются видеопотоки с камер видеонаблюдения или промежуточных вычислителей, гарантирующих передачу данных без потерь. Обработка выполняется централизованно, легко масштабируется, но требовательна к каналам передачи данных.
Такой вариант предпочтителен, когда:
1. Имеется существующая серверная инфраструктура видеонаблюдения и требуется добавить элементы объектной видеоаналитики.
2. Корпоративный сегмент с числом камер более 20 штук на точку присутствия.
3. Планируется оказание облачных услуг конечным клиентам, например, в сфере видеонаблюдения или видеоаналитики по требованию.
4. Существует основной и резервный каналы связи или требования по гарантированной передаче данных являются не первостепенными в задаче.
В продуктовой линейке Huawei для данного сегмента существуют:
· Ускорители инференса нейронных сетей Huawei Atlas 300i. Это карты формата PCIe, которыми могут быть дооснащены существующие сервера. Каждая карта содержит 4 чипа Ascend 310, которые могут параллельно выполнять задачи инференса и декодинга входящих потоков, тем самым расширяя общую функциональность существующего серверного оборудования.
· Сервера для инференса Huawei Atlas 800 с предустановленными ускорителями Huawei Atlas 300i в количестве от 1 до 8 штук. При помощи такого решения сервера могут обрабатывать файловые архивы с камер видеонаблюдения, запуская нужные детекторы, классификаторы и сегментаторы. В результате предоставляется количественная или качественная оценка в виде статистики и отчетов.
Также следует упомянуть о кластере Huawei Atlas 900, который содержит тысячи чипов Ascend 910, но его основное назначение – это быстрое обучение нейронных сетей.
Когда мы говорим о «краевой» видеоаналитике и применяем термин edge computing, который лучше отражает суть, чем перевод, то в приоритет ставятся следующие требования:
1. Возможность установки вычислителя в непосредственной близости от источника данных.
2. Необходимость оперативной обратной связи от устройства и аналитика в режиме, приближенном к реальному времени.
3. Возможность подключения 1 и более камер.
4. Возможность непрерывной работы при отсутствии Интернет-соединения или при наличии нестабильного канала связи.
5. Возможность выборочной передачи данных в централизованное хранилище для минимизации объемов и нагрузки на канал связи.
Рассмотрим представленные устройства Huawei:
1. Huawei Atlas 500 – периферийная станция, вычислитель для обработки данных в режиме реального времени, к которой можно подключить до 16 камер с разрешением HD.
2. Huawei Atlas 200 – высокопроизводительный модуль с процессором Ascend 310 для различных терминальных систем, например, роботов, камер, касс, дронов и т.п.
Основным преимуществом представленных устройств является число подключаемых камер, что делает их сверхрентабельными при количестве камер более 6 штук. Также стоит упомянуть, что за счет архитектурных особенностей чипа Ascend 310 возможна параллельная нагрузка декодингом входящих видеопотоков и инференсом одной и более нейронных сетей, что на других архитектурах может влиять на конечную производительность системы, в целом.
Давайте рассмотрим несколько примеров от компании ComBox Technology и сравним конечные решения при использовании в рамках серверной и «краевой» инфраструктур.
Подсчет пассажиров на транспорте и посетителей в ритейле
Цель: подсчитать число входящих и выходящих людей по головам с максимальной точностью. Для этого используются камеры над дверями. По видеопотокам выполняется детекция и траекторный анализ перемещения людей с фиксацией их входа и выхода.
Облачный вариант подсчета в любом случае требует установки недорого локального вычислителя, который будет собирать данные с камер над дверями транспортного средства, временно агрегировать их и передавать в облако. Данные сохраняются в виде файлов и процессинговый сервер Huawei Atlas 800 запрашивает их по часам, сохраняя результаты обработки (число входов и выходов) в базу данных, которая отображается в личном кабинете конечного пользователя.
Что недоступно в этом случае:
1. Интегрироваться с автоматикой транспортного средства и отображать в реальном времени число вошедших и вышедших пассажиров.
2. Передавать и обращаться к данным по мере их востребованности. То есть, хранить данные на вычислителе в транспортном средстве без обработки можно, но, когда статистика накопится, придется потратить огромное количество времени на её передачу и обработку. Также стоит отметить, что хранение данных и их доступность по факту необходимости, также резко увеличивает требования к качеству устройств когда условный «недорогой» вычислитель уже не подойдет.
3. Многократно увеличить число камер, расширив функциональность подсистемы анализом дорожной обстановки, анализом действий и состояния водителя, поведения пассажиров в салоне транспортного средства.
При использовании «краевого» вычислителя с возможностью исполнения нейронных сетей на борту транспортного средства, например, Huawei Atlas 500, все эти кейсы становятся решаемыми, так как инференс начинает работать в режиме, приближенном к реальному времени и позволяет получать результат обработки видео сразу без передачи куда-либо.
Подробнее о решении – https://counter.combox.io
Распознавание автомобильных номеров транспортных средств
Для подобных систем существует два основных кейса использования:1. Автоматизация зон въезда/выезда транспортных средств.
2. Контроль нарушений ПДД с фиксацией номеров нарушителей в локальной базе данных с дальнейшей синхронизацией и передачей данных в КИС/ЦАФАП (комитет по информатизации и связи и центр автоматизированной фиксации административных правонарушений).
В первом случае требуется аппаратная интеграция со шлагбаумом и по факту наличия номера подъезжающего транспортного средства в «белом» списке, шлагбаум или ворота в зоне въезда открываются автоматически, без участия человека. Данный вариант требует оперативной реакции и временные затраты на передачу данных в облако являются недопустимыми, так как значительно увеличивают задержки и уменьшают пропускную способность зоны въезда.
Второй вариант допускает обработку данных в облаке. Но при использовании нестабильных каналов связи в облачной видеоаналитике могут теряться важные фрагменты видео, на которых ,по факту, были потенциально искомые нарушения. Плюс к этому, облачная видеоаналитика требует передачи больших объемов исходных данных (видео) для их последующей централизованной обработки. Установка вычислителя с возможностью инференса и распознавания номеров «на краю» позволяет значительно минимизировать количество и объемы передаваемой информации, а в случае использования Huawei Atlas 500 – подключать и обрабатывать данные с большого числа камер (до 16 штук), что ранее было возможно только с использованием специализированных процессинговых серверов или множества вычислителей.
Подробнее о решении – https://parking.combox.io