namiТруды НАМИTrudy NAMI0135-3152ФГУП «НАМИ»nami-92Research ArticleАВТОМОБИЛЕСТРОЕНИЕAUTOMOBILE DEVELOPMENTАлгоритм распознавания дорожной разметки в режиме реального времени для встраиваемых системReal-time road marking recognition algorithm for embedded systemsМухортовМ. В.MukhortovM. V.maxim.mukhortov@nami.ruЕвграфовВ. В.EvgrafovV. V.vladimir.evgrafov@nami.ruЦентр «Информационные и интеллектуальные системы» ГНЦ РФ ФГУП «НАМИ»РоссияCentre “Informational and Intellectual Systems”, Federal State Unitary Enterprise “Central Scientific Research Automobile and Automotive Engines Institute”Russian Federation201909072020014554Copyright © Мухортов М.В., Евграфов В.В., 20202020Мухортов М.В., Евграфов В.В.Mukhortov M.V., Evgrafov V.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://nami.elpub.ru/jour/article/view/92

Введение. Системы оповещения о съезде с полосы движения и удержания автомобиля в полосе движения являются одними из основных для систем помощи водителю (ADAS) и систем автономного вождения. На шоссе и в городских условиях полоса движения, как правило, ограничена с обеих сторон линиями дорожной разметки, которые и требуется распознавать для реализации упомянутых систем. Цель исследования - разработка первичного алгоритма распознавания дорожной разметки по видеоизображению, способного в реальном времени выполнять на маломощном компактном вычислителе Jetson TX2 решения с возможностью последующего развития и использования данного алгоритма в отечественных разработках транспортных средств (ТС) и проведения испытаний в российских дорожных условиях. Методология и методы. Постановка задачи подразумевала высокое качество обнаружения, устойчивость к внешним условиям и вычисление в реальном времени на маломощном устройстве. Анализ открытых публикаций поставил ограничение в использовании нейросетевых детекторов со сложной архитектурой. В результате было принято решение разработки алгоритма, представляющего собой совокупность предварительного высокопроизводительного аналитического поиска и последующего уточнения нейросетевым классификатором. Результатом исследования является алгоритм распознавания дорожной разметки по видеоизображению в реальном времени на Jetson TX2 с точностью 0,97 и откликом 0,84 на выборке видеозаписей, отснятых в г. Москве. Научной новизной работы является возможность интегрирования в российские разработки ТС. Практическая значимость. На данном этапе завершена проработка первичного алгоритма на выбранной аппаратной платформе, обучение нейросетевого классификатора и проверка на реальных ТС, разработанных в рамках научно-исследовательской работы. В дальнейшем данный алгоритм может быть улучшен, интегрирован в российские разработки ТС и испытан в тех условиях, в которых он будет применяться.

Introduction. The system of lane exit warning and keeping the car in the lane are among the main ones for driver assistance systems (ADAS) and autonomous driving systems. The traffic lane both on the highway and in urban conditions is usually limited by road marking lines on both sides, which are obligatoraly to be considered while implementing these systems. The purpose of the study was to develop a primary road marking recognition algorithm by means of video in real-time execution on a low-power Jetson TX2 compact computer to provide the further use of the algorithm while developing and testing Russian transport vehicles (TV) in Russian road conditions. Methodology and research methods. The task set was purposed to achieve high detection quality, resistance to environmental conditions and real-time computation on a low-power device. The analysis of open publications testified of the limitations in the use of neural network detectors with a complex architecture. As a result, it was decided to develop an algorithm that would be a set of preliminary high-performance analytical search to be refined further by the neural network classifier. The result of the study was an algorithm for recognizing road markings by video image in real-time on a Jetson TX2 with an accuracy of 0.97 and a response of 0.84 on a sample of videos taken in Moscow. Scientific novelty of the work is the ability to integrate into the Russian transport vehicles design. Practical significance. The development of the primary algorithm on the selected hardware platform, the real vehicles neural network classifier training and testing developed as part of the research work have been completed at the given stage of the research. This algorithm can be further improved in the future, integrated into Russian TV designs and tested in the conditions in which it will be used.

распознавание дорожной разметкикомпьютерное зрениерасширенные системы помощи водителюбеспилотное транспортное средствоroad marking recognitioncomputer visionadvanced driver assistance systemsunmanned vehicleReferencesCanny J. A Computational Approach to Edge Detection / IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1986. - Vol. 8. - No. 6. - Pp. 679-697.Canny J. A Computational Approach to Edge Detection / IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1986. - Vol. 8. - No. 6. - Pp. 679-697.Hough P.V.C. Method and mans for recognizing complex patterns. Patent USA, no. US3069654A, 1962.Hough P.V.C. Method and mans for recognizing complex patterns. Patent USA, no. US3069654A, 1962.Berriel R.F., De Aguiar E., Vieira V., Oliveira-Santos T. A Particle Filter-based Lane Marker Tracking Approach Using a Cubic Spline Model / 28th SIBGRAPI Conference on Graphics, Patterns and Images. - 2015. -DOI: 10.1109/SIBGRAPI.2015.15.Berriel R.F., De Aguiar E., Vieira V., Oliveira-Santos T. A Particle Filter-based Lane Marker Tracking Approach Using a Cubic Spline Model / 28th SIBGRAPI Conference on Graphics, Patterns and Images. - 2015. -DOI: 10.1109/SIBGRAPI.2015.15.Lin Q., Han Y., Hahn H. Real-time lane detection based on extended edge-linking algorithm / ICCRD, 2010. URL: https://docslide.us/documents/real-time-lane-de-tection-based-on-extended-edge-linking-algorithm.html (дата обращения: 24.12.2018).Lin Q., Han Y., Hahn H. Real-time lane detection based on extended edge-linking algorithm / ICCRD, 2010. URL: https://docslide.us/documents/real-time-lane-de-tection-based-on-extended-edge-linking-algorithm.html (дата обращения: 24.12.2018).LeCun Y., Bottou L., Bengio Y., Haffner P. Gradient-based learning applied to document recognition / Proceedings of the IEEE. - 1998. URL: http://vision.stanford.edu/ cs598_spring07/papers/Lecun98.pdf (дата обращения: 24.12.2018).LeCun Y., Bottou L., Bengio Y., Haffner P. Gradient-based learning applied to document recognition / Proceedings of the IEEE. - 1998. URL: http://vision.stanford.edu/ cs598_spring07/papers/Lecun98.pdf (дата обращения: 24.12.2018).Huval B., Wang T., Tandon S., Kiske J. An Empirical Evaluation of Deep Learning on Highway Driving, 2015. URL: https://www.researchgate.net/ publication/274730358_An_Empirical_Evaluation_of_ Deep_Learning_on_Highway_Driving (дата обращения: 24.12.2018).Huval B., Wang T., Tandon S., Kiske J. An Empirical Evaluation of Deep Learning on Highway Driving, 2015. URL: https://www.researchgate.net/ publication/274730358_An_Empirical_Evaluation_of_ Deep_Learning_on_Highway_Driving (дата обращения: 24.12.2018).Lee S., Kim J., Yoon J.S. VPGNet: Vanishing Point Guided Network for Lane and Road Marking Detection and Recognition, 2017. URL: https://arxiv.org/ abs/1710.06288 (дата обращения: 24.12.2018).Lee S., Kim J., Yoon J.S. VPGNet: Vanishing Point Guided Network for Lane and Road Marking Detection and Recognition, 2017. URL: https://arxiv.org/ abs/1710.06288 (дата обращения: 24.12.2018).Oliveira G.L., Burgard W., Brox T. Efficient Deep Models for Monocular Road Segmentation / IEEE, 2016. URL: https://lmb.informatik.uni-freiburg.de/Publica-tions/2016/OB16b/ (дата обращения: 24.12.2018).Oliveira G.L., Burgard W., Brox T. Efficient Deep Models for Monocular Road Segmentation / IEEE, 2016. URL: https://lmb.informatik.uni-freiburg.de/Publica-tions/2016/OB16b/ (дата обращения: 24.12.2018).Kim J., Park C. End-to-End Ego Lane Estimation based on Sequential Transfer Learning for Self-Driving Cars / IEEE, 2017. - DOI: 10.1109/CVPRW.2017.158.Kim J., Park C. End-to-End Ego Lane Estimation based on Sequential Transfer Learning for Self-Driving Cars / IEEE, 2017. - DOI: 10.1109/CVPRW.2017.158.Mallot H., Bülthoff H.H., Little J.J. Inverse Perspective Mapping Simplifies Optical Flow Computation and Obstacle Detection // Biological Cybernetics. -1991. - Vol. 3. - No. 64. - Pp. 177-185.Mallot H., Bülthoff H.H., Little J.J. Inverse Perspective Mapping Simplifies Optical Flow Computation and Obstacle Detection // Biological Cybernetics. -1991. - Vol. 3. - No. 64. - Pp. 177-185.Wu T., Ranganatkan A. Vehicle localization using road markings / Proceedings of the IEEE intelligent vehicles symposium, pp. 1185-1190 (2013).Wu T., Ranganatkan A. Vehicle localization using road markings / Proceedings of the IEEE intelligent vehicles symposium, pp. 1185-1190 (2013).Schreiber M., Poggenkans F. and Stiller C. Detecting symbols on road surface for mapping and localization using OCR / Proceedings of the IEEE 17th International Conference on Intelligent Transportation Systems (ITSC), 2014. - DOI: 10.1109/ITSC.2014.6957755.Schreiber M., Poggenkans F. and Stiller C. Detecting symbols on road surface for mapping and localization using OCR / Proceedings of the IEEE 17th International Conference on Intelligent Transportation Systems (ITSC), 2014. - DOI: 10.1109/ITSC.2014.6957755.Grompone von Gioi R., Jakubowicz J., Morel J.M., Randall G. LSD: a Line Segment Detector // Image Processing On Line. - 2012. - No. 2. - Pp. 35-55.Grompone von Gioi R., Jakubowicz J., Morel J.M., Randall G. LSD: a Line Segment Detector // Image Processing On Line. - 2012. - No. 2. - Pp. 35-55.

The authors declare that there are no conflicts of interest present.