namiТруды НАМИTrudy NAMI0135-3152ФГУП «НАМИ»10.51187/0135-3152-2021-3-37-47nami-196Research ArticleАВТОМОБИЛЕСТРОЕНИЕAUTOMOBILE DEVELOPMENTОбучение нейросетевых алгоритмов автомобильного технического зрения с учётом типов ошибок распознаванияTraining neural networks for automotive computer vision systems considering types of false estimationsВасинП. А.VasinP. A.

Васин Павел Александрович, аспирант, инженер-программист, отдел видеоаналитики

г. Москва 125438, Российская Федерация

Vasin P.A., postgraduate, programming engineer, department of computer vision analysis

Moscow 125438, Russian Federation

pavel.vasin@nami.ruКуликовИ. А.KulikovI. A.

Куликов Илья Александрович, канд. техн. наук, заведующий сектором имитационного моделирования энергетических установок

г. Москва 125438, Российская Федерация

Kulikov I.A., PhD (Eng), head of power unit simulation sector

Moscow 125438, Russian Federation

ilya.kulyakov@nami.ruЦентр «Интеллектуальные системы», ГНЦ РФ ФГУП «НАМИ»РоссияCenter “Intelligence systems”, Federal State Unitary Enterprise “Central Scientific Research Automobile and Automotive Engines Institute” (FSUE “NAMI”)Russian FederationЦентр «Энергоустановки», ГНЦ РФ ФГУП «НАМИ»РоссияCentre “Power units”, Federal State Unitary Enterprise “Central Scientific Research Automobile and Automotive Engines Institute” (FSUE “NAMI”)Russian Federation202105102021033747Copyright © Васин П.А., Куликов И.А., 20212021Васин П.А., Куликов И.А.Vasin P.A., Kulikov I.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://nami.elpub.ru/jour/article/view/196

Введение (постановка задачи и актуальность). В статье рассматривается проблематика обучения искусственных нейронных сетей, предназначенных для анализа изображений окружающего пространства в автомобильных системах технического зрения. Известным подходом к обучению является применение целевых функций, ориентированных на повышение общего качества идентификации безотносительно типов ложных оценок, возникающих при анализе. Однако риски для безопасности движения, связанные с типом возникающих ошибок, неравнозначны и являются наибольшими в случае ложноположительных оценок.

Цель исследования – предложить усовершенствованные целевые функции, включающие коэффициенты штрафа при ложноположительных оценках, и исследовать их влияние на поведение нейронной сети при распознавании проходимого пространства на дорогах общего пользования.

Методология и методы. Предложенные целевые функции основаны на коэффициенте Сёренсена– Дайса и различаются подходом к введению штрафа на ложноположительные срабатывания. Оценка качества работы нейронных сетей, обученных с помощью этих функций, проведена с помощью трёх метрик: коэффициента Жаккара, доли ложноположительных и доли ложноотрицательных оценок. Сравнительный анализ рассматриваемых решений проводился путём расчёта процентных соотношений между значениями метрик, которые обеспечиваются исходным вариантом целевой функции и предложенными его модификациями.

Результаты работы и научная новизна. Представлены усовершенствованные целевые функции для обучения алгоритмов технического зрения с реализацией штрафов за ложноположительные срабатывания. Экспериментальное исследование обученных нейронных сетей на тестовой выборке показало, что применение данных целевых функций позволяет снизить количество случаев ложноположительного распознавания на 21%.

Практическую значимость представляет разработанный подход к обучению нейронных сетей, позволяющий повысить безопасность автоматического управления движением транспортных средств за счёт более адекватного анализа окружающего пространства системами технического зрения.

Introduction (problem statement and relevance). This article deals with the problem of training artificial neural networks intended to analyze images of the surrounding space in automotive computer vision systems. The conventional training approach implies using loss functions that only improve the overall identification quality making no distinction between types of possible false predictions. However, traffic safety risks associated with different types of prediction errors are unequal being higher for false positive estimations.

The purpose of this work is to propose improved loss functions, which include penalties for false positive predictions, and to study how using these functions affects the behavior of a convolutional neural network when estimating the drivable space.

Methodology and research methods. The proposed loss functions are based on the Sørensen-Dice coefficient differing from each other in the approaches to penalizing false positive errors. The performance of the trained neural networks is evaluated using three metrics, namely, the Jaccard coefficient, False Positive Rate and False Negative Rate. The proposed solutions are compared with the conventional one by calculating the ratios of their respective metrics.

Scientific novelty and results. The improved loss functions have been proposed to train computer vision algorithms featuring penalties for false positive estimations. The experimental study of the trained neural networks using a test dataset has shown that the improved loss functions allow reducing the False Positive Rate by 21%.

The practical significance of this work is constituted by the proposed method of training neural networks that allows to increase the safety of automated driving through an improved accuracy of analyzing the surrounding space using computer vision systems.

автомобильные системы технического зренияпроходимое пространствонейронные сетиглубокое обучениецелевые функцииautomotive computer vision systemsdrivable spaceneural networksdeep learningloss functionsReferencesWinner H., Hakuli S., Lotz F., Singer C. Handbook of Driver Assistance Systems. Basic Information, Components and Systems for Active Safety and Comfort. – Springer International Publishing Switzerland, 2016.Winner H., Hakuli S., Lotz F., Singer C. Handbook of Driver Assistance Systems. Basic Information, Components and Systems for Active Safety and Comfort. Springer International Publishing Switzerland, 2016.Pearl J. Probabilistic reasoning in intelligent systems: Networks of plausible inference. – San Francisco: Morgan Kaufmann Publishers inc., 1988. – P. 1.Pearl J. Probabilistic reasoning in intelligent systems: Networks of plausible inference. San Francisco, Morgan Kaufmann Publishers inc., 1988, p. 1.Duda R., Hart P. Pattern Classification and Scene Analysis. – Hoboken: John Wiley and Sons, 1973.Duda R., Hart P. Pattern Clas sification and Scene Analysis. Hoboken, John Wiley and Sons, 1973.Goodfellow I., Bengio Y., Courville A. Deep Learning. – Massachusetts: MIT Press, 2016. – P. 13.Goodfellow I., Bengio Y., Courville A. Deep Learning. Massachusetts, MIT Press, 2016, p. 13.Cireşan D.C., Giusti A., Gambardella L.M., Schmidhuber Jü. Deep neural networks segment neuronal membranes in electron microscopy images / Proceedings of the 25th International Conference on Neural Information Processing Systems. – 2012. – P. 2843–2851.Cireşan D.C., Giusti A., Gambardella L.M., Schmidhuber Jü. Deep neural networks segment neuronal membranes in electron microscopy images. Proceedings of the 25th International Conference on Neural Information Processing Systems, 2012, pp. 2843–2851.Krizhevsky A., Sutskever I., Hinton G.E. Imagenet classification with deep convolutional neural networks // Adv. Neural Inform Process Syst. – 2012. – P. 84–90.Krizhevsky A., Sutskever I., Hinton G.E. Imagenet classification with deep convolutional neural networks. Adv. Neural Inform Process Syst., 2012, pp. 84–90.Cityscapes Dataset Benchmark Suite. URL: www.cityscapes-dataset.com/benchmarks/ (дата обращения: 26.05.2021).Cityscapes Dataset Benchmark Suite. Available at: www.cityscapes-dataset.com/benchmarks/ (accessed 26 May 2021).KITTI Vision Benchmark Suite. URL: www.cvlibs.net/datasets/kitti/eval_road.php (дата обращения: 26.05.2021).KITTI Vision Benchmark Suite. Available at: www.cvlibs.net/datasets/kitti/eval_road.php (accessed 26 May 2021).Rumelhart D., Hinton G., Williams R. Learning representations by back-propagating errors // Nature. – 1986. – P. 533–536Rumelhart D., Hinton G., Williams R. Learning representations by back-propagating errors. Nature, 1986, pp. 533–536Kingma D.P., Adam Ba J. A Method for Stochastic Optimization. URL: https://arxiv.org/abs/1412.6980 (дата обращения: 26.05.2021).Kingma D.P., Adam Ba J. A Method for Stochastic Optimization. Available at: https://arxiv.org/abs/1412.6980 (accessed 26 May 2021).Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation. URL: https://arxiv.org/abs/1505.04597 (дата обращения: 26.05.2021).Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation. Available at: https://arxiv.org/abs/1505.04597 (accessed 26 May 2021).Hughes C., Chandra S., Sistu G., Horgan J., Deegan B., Chennupati S., Yogamani S. Drivespace: Towards context-aware drivable area detection // Electronic Imaging. – 2019. – P. 423–428.Hughes C., Chandra S., Sistu G., Horgan J., Deegan B., Chennupati S., Yogamani S. Drivespace: Towards context-aware drivable area detection. Electronic Imaging, 2019, pp. 423–428.Pizzati F., Garcia F. Enhanced free space detection in multiple lanes based on single CNN with scene identification / Proceedings of 2019 IEEE Intelligent Vehicles Symposium (IV). – 2019. – P. 2536–2541.Pizzati F., Garcia F. Enhanced free space detection in multiple lanes based on single CNN with scene identification. Proceedings of 2019 IEEE Intelligent Vehicles Symposium (IV), 2019, pp. 2536–2541.Baheti B., Innani S., Gajre S., Talbar S. Eff-Unet: A novel architecture for semantic segmentation in unstructured environment / Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition. – 2020. – P. 1473–1481.Baheti B., Innani S., Gajre S., Talbar S. Eff-Unet: A novel architecture for semantic segmentation in unstructured environment. Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 1473–1481.Milletari F., Navab N., Ahmadi S. V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation / 2016 Fourth International Conference on 3D Vision (3DV). – 2016. – P. 565–571.Milletari F., Navab N., Ahmadi S. V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation. 2016 Fourth International Conference on 3D Vision (3DV), 2016, pp. 565–571.Paszke A., Chaurasia A., Kim S., Culurciello E. ENet: A Deep Neural Network Architecture for RealTime Semantic Segmentation. URL: https://arxiv.org/abs/1606.02147 (дата обращения: 26.05.2021).Paszke A., Chaurasia A., Kim S., Culurciello E. ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation. Available at: https://arxiv.org/abs/1606.02147 (accessed 26 May 2021).He K., Zhang X., Ren S., Sun J. Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification / Proceedings of IEEE International Conference on Computer Vision. – 2015. – P. 1026–1034.He K., Zhang X., Ren S., Sun J. Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification. Proceedings of IEEE International Conference on Computer Vision, 2015, pp. 1026–1034.Cordts M., Omran M., Ramos S., Rehfeld T., Enzweiler M., Benenson R. The cityscapes dataset for semantic urban scene understanding / Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. – 2016. – P. 3213–3223.Cordts M., Omran M., Ramos S., Rehfeld T., Enzweiler M., Benenson R. The cityscapes dataset for semantic urban scene understanding. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 3213–3223.

The authors declare that there are no conflicts of interest present.