Обзор существующих решений

В настоящее время существует достаточно много LPR-систем с разным уровнем качества распознавания, быстродействия и спектром предоставляемых дополнительных функций. Рассмотрим существующие системы-аналоги, представленные на российском рынке.

Для начала рассмотрим итоги открытого конкурс-теста, организатором которого выступили редакция журнала «PROSystem CCTV» совместно с организаторами форума «Технологии безопасности». На открытом стенде международного форума «Технологии безопасности» были представлены лучшие системы считывания и распознавания автомобильных номеров, присутствующие на российском рынке. Методики тестирования были подготовлены специалистами тестовой лаборатории компании ProSystem (журнал ProSystem CCTV) совместно с ведущими разработчиками отечественных систем считывания и распознавания автомобильных номеров. [3]

Программа конкурса-теста включала в себя проверку эффективности работы систем распознавания автомобильных номеров по тестовым видеозаписям, которые были сняты на реальных объектах при различных погодных условиях, в разных регионах России и в разное время суток и года. Разнообразие и длительность тестовых записей (по 500 номеров в каждом видеофрагменте) позволили наиболее полно оценить возможности и эффективность систем распознавания автомобильных номеров, а также достоверно сравнить их между собой. [4]

В тестовых испытаниях приняли участие все российские известные разработчики систем распознавания: ISS (система «Авто-Инспектор»), DSSL (система «AutoTrassir»), Новые технологии (система «CVS Авто»), Мегапиксел (система «MegaCar»), VIT (система «Overseer Traffic»), Технологии распознавания (система «АвтоУраган»), Интегра-С (система «Интегра-Видео-Авто»), Росси (система «Поток»), Нордавинд (система «ТелеВизард-Авто»). [5]

Таблица 1.1 – результаты тестовых испытаний

Системы/ показатели сравнения	Вероятность безусловного распознавания	Вероятность условного распознавания	Вероятность ошибочного узнавания	Вероятность ошибки	Вероятность пропуска	Вероятность ложного распознавания
Авто-Инспектор	94.19%	94.90%	2.77%	1.03%	6.15%	4.45%
AutoTrassir	83.07%	83.67%	11.12%	4.72%	5.25%	5.55%
CVS Авто	82.09%	82.26%	7.76%	8.08%	2.60%	3.30%
MegaCar	81.06%	81.61%	9.01%	1.57%	15.30%	0.05%
Overseer Traffic	79.87%	79.98%	8.30%	0.00%	18.90%	0.05%
АвтоУраган 3.3.2	90.45%	90.50%	2.93%	6.24%	1.45%	2.60%
Интегра-Видео-Авто	81.77%	81.82%	10.63%	0.92%	13.95%	0.00%
Поток	86.38%	86.76%	10.36%	3.15%	3.05%	1.25%
ТелеВизард-Авто	51.33%	51.60%	15.36%	12.48%	27.20%	0.85%

Как видно из таблицы, системы «Авто-Инспектор», «АвтоУраган 3.3.2» и «Поток» продемонстрировали лучшие показатели практически по всем критериям сравнения систем. Далее рассмотрим лидера по результатам тестирований - систему «Авто-Инспектор».

В системе «Авто-Инспектор» реализованы функциональные возможности необходимые для эффективного решения задач на различных объектах: от обеспечения сохранности автомобилей в пределах автостоянки до контроля за передвижением транспорта в масштабах предприятия, отдельной магистрали, целого города. Высокие технические характеристики системы гарантируют надежную работу в широком диапазоне внешних условий.

Таблица 1.2 Технические характеристики

Характеристики	Авто-Инспектор
Мaкcимaльнo дoпуcтимaя cкopocть движeния aвтoмoбилeй в зoнe кoнтpoля	дo 180 км/ч
Мaкcимaльнoe кoличecтвo oднoвpeмeннo pacпoзнaвaeмыx нoмepoв	все номера, находящиеся в поле зрения видеокамеры
Вepoятнocть pacпoзнaвaния:
- в днeвнoe вpeмя	нe менее 95 %
- в нoчнoe вpeмя пpи иcкуccтвeннoм ocвeщeнии (нe мeнee 50 люкc)	нe менее 95 %
Шиpинa зoны кoнтpoля для oднoй видeoкaмepы:	до 5 м
Дoпуcтимый интepвaл движeния aвтoмoбилeй
- зa лeгкoвым aвтoмoбилeм	до 1,5 м
- зa гpузoвым aвтoмoбилeм	до 4 м
Вepтикaльный угoл нaклoнa видeoкaмepы к плоскости дорожного полотна:	дo 40°
Угол гopизoнтaльного отклонения видеокамеры от направления движения транспорта:	до 30° · видеокамера может быть установлена сбоку от полосы движения (контроль трассы с обочины) · возможность использования кронштейнов с минимальной стрелой выноса, укрепленных на опорах освещения
Возможный угол крена номерной пластины на автомобиле:	до 15° возможность идентификации номера: · при наклонном закреплении номерных пластин на бампере · при маневрировании автомобиля в зоне контроля · при проективных искажениях из-за установки камеры с отклонением от оси движения.
Распознавание номерных знаков разных стран	Австралия, Австрия, Азербайджан, Аргентина, Беларусь, Бельгия, Болгария, Бразилия, Британские Виргинские острова, Германия, Испания, Италия, Казахстан, Канада, Китай, Колумбия, Латвия, Литва, Малайзия, Мексика, Молдова, ОАЭ, Парагвай, Польша, Португалия, Россия, Сингапур, Словения, США, Таджикистан, Таити, Тайвань, Украина, Франция, Финляндия, Чили, Эквадор, Эстония, Южная Африка, Ямайка
Добавление новых шаблонов номерных знаков	есть
Распознавание двухстрочных номеров	+
Oбъeм бaзы дaнныx (для жecткoгo диcкa oбъeмoм 100 Гб)	нe мeнee 5 000 000 зaпиceй
Вpeмя пoиcкa инфopмaции в бaзe дaнныx пo зaдaнным пapaмeтpaм (пpи oбъeмe бaзы дo 10 млн. зaпиceй)	нe бoлee 0,2 ceк
Paccтoяниe oт видeoкaмepы дo плacтины peгиcтpaциoннoгo нoмepa
- мaкcимaльнoe	75 м
- oптимaльнoe	4 - 12 м
Высота символа (букв, цифр) номерного знака	не менее 10 пикселов
Толщина линии символа (букв, цифр) номерного знака	не менее 1,2 пиксела
Системные требования	P-IV 2 ГГц, 512 Мб ОЗУ, 40 Гб HDD, VideoCard 64 Мб
Требования к видеокамерам	Ч/Б аналоговые камеры с высоким разрешением (от 500 ТВЛ), наличие вариообъектива
Пepeдaчa дaнныx (в ceтeвыx peшeнияx)	кaнaлы cвязи, пoддepживaющиe пpoтoкoл TCP / IP
Вoзмoжнocть интeгpaции	· компоненты интегрированной системы безопасности · тexнoлoгичecкoe oбopудoвaниe(весовое и др.) · иcпoлнитeльныe уcтpoйcтвa(шлагбаумы, автоматические ворота и др.) · aвтoмaтизиpoвaнныe cиcтeмы pacчeтoв(биллинговые системы) · радары, для определения скорости

Помимо функциональных возможностей, которые гарантируют успешное решение широкого спектра задач, система предоставляет многочисленные преимущества для реализации проектов на различных объектах с учетом их масштаба и конфигурации, уже установленного комплекса программно-аппаратных средств, требований Заказчика. [6]

2 ПОСТАНОВКА ЗАДАЧИ

В настоящее время важное практическое значение имеет проблема создания эффективных средств автоматизации интеллектуальных функций человека, связанных с восприятием, обработкой и распознаванием зрительных образов. Потребность в решении указанных задач постоянно увеличивается. При этом наблюдается объективная необходимость в переходе от относительно простых и узких классов задач к постановке и решению задачи обработки и распознавания зрительных образов в полном ее объеме, с учетом неконтролируемых изменений воспринимаемых объектов Попытки эффективного решения таких задач традиционными средствами обработки информации, работающими по жестко заданным алгоритмам, несмотря на целый ряд положительных примеров их применения при решении узких и простых классов задач, успехов не принесли и желаемого результата не достигли. В этих условиях проблема автоматизации процессов обработки визуальной информации остается открытой и требует поиска новых, перспективных подходов к построению средств для эффективной реализации сложных нерегулярных задач обработки и распознавания зрительных образов.

Перспективным подходом к решению данной задачи является использование нейросетевых методов и средств обработки информации, важнейшими свойствами которых являются естественным образом реализуемый параллелизм функционирования и способность формирования алгоритма решения поставленной задачи путем обучения на примерах.

К числу подобных задач можно отнести задачу идентификации номерных знаков автомобилей. В огромных потоках автомобильного транспорта, наводнивших улицы городов, не всегда возможно узнать автомобили, находящиеся в розыске, или находящихся в розыске их владельцев. Поэтому необходимо создание такой системы, которая по статической информации, с установленной на улице системы видеонаблюдения, сможет идентифицировать и впоследствии использовать для выявления нарушителей, автомобилей по их регистрационным номерам. Существуют различные статистические методы решения данной проблемы, однако в реальных условиях, при нерегулярности изображения, несовершенстве систем видеонаблюдения и помех, создаваемых погодными условиями и временем суток, данная задача становится в ряд практически не формализуемых, решение которых статистическими методами становится затруднительным и сопровождается сложностью реализации. Поэтому для устранения данных трудностей предлагается нейросетевой подход к решению данной задачи, преимуществом которого является способность решения неформализованных задач за счет способности к классификации предъявляемых образов, обучаясь на минимальном количестве предъявляемых образов. Кроме того, нейросетевая система, представляя собой вычисление некоторой функции, работает гораздо быстрее статистических методов, а высокий уровень естественного параллелизма работы алгоритмов предварительной обработки дает возможность аппаратной реализации в виде многопроцессорной системы, способной справиться с большим потоком данных в реальном времени.

3 СТРУКТУРА ПОДСИСТЕМЫ ИДЕНТИФИКАЦИИ

Анализ задачи идентификации номерных знаков показал, что при ее решении возникает объективная необходимость во внесении в алгоритмический базис алгоритмов предварительной обработки изображения, выделения номерного знака из общего фона и сегментации номерного знака на отдельные символы.

Исходя из этого, общая структура предлагаемой системы, представленной на рисунке 1, состоит из двух основных блоков:

1. Подсистема предварительной обработки.

2. Подсистема непосредственно распознавания номерного знака нейронной сетью.

В подсистему предварительной обработки входят блоки по улучшению качества изображения, выделения номерного знака из общего фона изображения и сегментации номерного знака на отдельные символы.

В подсистему распознавания номерного знака входят блоки по формированию входного вектора для предъявления заранее обученной нейронной сети и непосредственно распознавания сегментированных символов номерного знака (рис. 3.1).

Рисунок 3.1 – структура нейросетевой системы

Прежде, чем приступить к сегментации номерного знака, необходимо провести ряд мероприятий по улучшению изображения. Процедура улучшения изображений сводится к выполнению комплекса операций с целью либо улучшения визуального восприятия изображения, либо преобразования его в форму, более удобную для визуального или машинного анализа. В системах улучшения изображений не делаются попытки приблизить воспроизводимое изображение к некоторому идеализированному оригиналу (такая задача решается при реставрации изображений). Известны случаи, когда искаженное изображение субъективно воспринимается лучше, чем неискаженный оригинал. Примером может служить изображение с подчеркнутыми границами (контурами).

При машинной обработке улучшение изображения тесно связано с задачей извлечения информации. В настоящее время не существует общей теории улучшения изображений. Это объясняется тем, что до сих пор еще не выработан общепринятый стандарт качества изображения, который мог бы послужить критерием при проектировании систем улучшения изображений.

К методам улучшения изображения можно отнести методы сглаживания и увеличения контрастности изображений.

Далее происходи процесс выделение номерного знака из общего фона изображения. На рисунке 3.2 приведены графики представляющие анализируемое окно изображения, выделенное из той его области, где присутствует номерной знак и, соответственно, график коэффициентов преобразования Фурье, вычисленного над данным окном. На графике четко выражены низкочастотные составляющие, что говорит о том, что в данной области изображения с большой долей вероятности присутствует номерной знак.

Рисунок 3.2 – сигнал участка изображения с наличием номерного знака

В случае же работы с областью изображения, не содержащей номерной знак, пик спектра коэффициентов Фурье приходится на нулевую частоту, что продемонстрировано на рисунке 3.3.

Рисунок 3.3 – сигнал произвольного участка изображения

Таким образом, задача выделения номерного знака из общего фона изображения сводится к задаче выделения из изображения областей с преобладанием низкочастотной составляющей спектра.

После того как номерной знак выделен из общего фона изображения, для работы нейронной сети необходимо сегментировать номерной знак, т.е. выделить из изображения области соответствующие различным символам номерного знака. Решение данной задачи сопряжено с рядом трудностей. Во-первых, сегментацию невозможно проводить, опираясь на контуры изображения, т.к. в случае сильной зашумленности изображения контуры отдельных цифр могут сливаться друг с другом и с другими объектами. Кроме того, современные системы обработки изображений не располагают эффективными алгоритмами выделения контуров, и, как правило, в результате их работы контуров выделяется гораздо больше, чем есть на самом деле. Во-вторых, из-за неоднородности помех, возникающих по тем или иным причинам, становится невозможным однозначно выбрать порог для бинаризации изображений.

Особо важной задачей, которая одной из первых встает перед разработчиком нейросетевых систем, является задача выбора способа формирования входного вектора для предъявления сети и задача преобразования информации из представляемого вида в вид доступный нейронной сети. Главным при этом остается тот факт, что нейронная сеть представляет собой универсальный математический аппарат, способный аппроксимировать функцию любой сложности (чем сложнее функция, тем больше времени затрачивается на обучение сети), и основным правилом, которое необходимо соблюдать при выборе способа формирования входного вектора, является то, чтобы входные векторы обучаемой выборки не противоречили друг другу, иначе в процессе обучения сеть впадет в состояние паралича.

В разработанной модели предлагается следующий способ формирования входного вектора. Каждый символ номерного знака разбивается прямоугольной матрицей на фиксированное число ячеек. Каждой ячейке соответствует элемент входного вектора, который равен отношению площади ярких точек предъявляемого образа к общей площади ячейки. Так, например, для образа, представленного на рисунке 3.4, входным вектором будет являться следующая последовательность чисел: (0.31, 0.79, 0.56, 0.38, 0.06, 0.75, 0.00, 0.46, 0.38, 0.15, 0.67, 0.00, 0.67, 0.69, 0.60).

Рисунок 3.4 – формирование входного вектора

Далее полученный вектор поступает на вход нейронной сети и на выходе формируется соответствующая распознанной цифре вероятность идентификации. Процесс повторяется необходимое количество раз. После чего номерной знак считается идентифицированным.

В качестве рабочей сети для реализации данной системы была использована нейронная сеть типа многослойного персептрона, обучаемого методом обратного распространения ошибки. Для нормального функционирования системы нейронная сеть была обучена выборке, состоящей из печатных символов, используемых при написании российских номерных знаков нового образца. Кроме того, для увеличения надежности работы в обучающую выборку добавлены искаженные символы. Необходимость в этом продиктована тем что, несмотря на все прелести алгоритмов предварительной обработки, в итоге результирующие изображения, предъявляемые на входы нейронной сети, могут быть искажены.

4 МОДЕЛИРОВАНИЕ ПОДСИСТЕМЫ ИДЕНТИФИКАЦИИ

Наиболее приемлемым методом для распознавания номеров, является шаблонный метод. Системы, построенные на основе этого метода, довольно устойчивы к дефектам изображения, имеют высокую скорость обработки входных данных и достаточно простую реализацию, в отличие от нейронных сетей. Такие системы надежно распознают только те шрифты, шаблоны которых им "известны". Поскольку номерной знак наносится на борт вагона по определенным правилам и особым шрифтом, то шаблонный метод является самым оптимальным при решении задачи распознавания номеров вагонов. Для того чтобы сравнить цифры номера на изображении с эталонными символами, можно применить подход, основанный на вычислении коэффициентов корреляции каждой цифры номера с шаблонными символами.

Результатом цифровой обработки изображения является бинаризованное изображение, которое поступает в подсистему идентификации.

Процесс распознавания начинается с того, что система должна обнаружить на данном изображении необходимые символы, т.е. цифры номера. Для этого по заранее заданному признаку объекта, в данном случае, площадь объектов номера должна превышать определенное значение, система находит на изображении все объекты, которые соответствуют данному признаку. Если это условие не выполняется, то найденный объект не является цифрой номера и не проходит процесс распознавания.

После того, как система обнаружила первый объект, соответствующий критериям поиска, цифра номера масштабируется до размеров эталонного символа для ее дальнейшего распознавания. Затем вычисляется коэффициент корреляции между данной цифрой и эталонными символами, хранящимися в базе данных. Если, рассчитанный коэффициент корреляции превышает заданный порог, то система определяет, что именно этот образ шаблонного символа соответствует данному образу объекта. Эта процедура продолжается до тех пор, пока все найденные на изображении цифры номера не будут записаны в специальный вектор, хранящий этот номер. При этом результат распознавания выводится на экран. После чего, распознавания номеров и сохраняется в БД системы.

Листинг программы:

k = 1;

prob = regionprops(BW,'Area','Image');

for i = 1:length(prob)

if prob(i).Area > 1000 % задание условий поиска объектов

ImageToTest = imresize(prob(i).Image,[200 200]); % масштабирование объектов

c = zeros();

for j = 1:10,

c(j) = corr2 (ImageToTest,idealnum(j).Image); % вычисление коэффициента корреляции

end

c = abs(c);

maxid = 1;

for j = 2:10, if c(j) > c(maxid), maxid = j; end, end

if c(maxid)>0.6; % сравнение коэффициента корреляции с пороговым значением

digits(k) = (maxid-1); % запись цифры в вектор

figure(7)

hold on

subplot(2,8,k)

imshow(ImageToTest);

k = k + 1;

end

if k==9, break, end

end

end

for i = 1:8

P = digits(i);

subplot(2,8,i+8);

imshow(idealnum(P+1).Image);

end

После создание нейронной сети соответствующим скриптом можно создать Simulink-модель, выполнив команду gensim (net), где net – переменная, содержащая нейронную сеть. После этого блок нейронной сети помещается в модель, изображенную на рисунке 4.1

Рисунок 4.1 – Simulink - модель работы идентификации номера ТС

Таблица 4.1 Описание основных блоков

№	Наименование блока	Тип блока	Назначение
	Sources	Подсистема	Библиотека источника сигналов
	Band Limited White Noise	Генератор белого шума	Белый шум
	Display	Блок Display	Отображение получившихся значений
	Manual Switch	Ручной переключатель	Ручное переключение сигналов с шумом и без шума для проверки распознавания сетей.
	To Workspace	Блок сохранения данных	Блок записывает данные, поступающие на его вход, в рабочую область Matlab
	Transform	Подсистема	Преобразование сигналов
	Select	Генератор постоянных значений	Определяет вид сигнала
	Neural Network	Получена при помощи функции gensim	Нейронная сеть, обученная на исходных сигналах.

Подсистема Transform выполняет дискретизацию сигнала с целью получения его массива значений (рисунок 4.2).

Рисунок 4.2

Данная подсистема подготавливает исходные данные для распознавания нейронной сетью. Она состоит из следующих блоков:

1. Zero-Order Hold - служит для аналого-цифрового преобразования входного сигнала.

2. Buffer - накапливает цифровые значения.

3. Transpose - трансформирует матрицу-столбец в матрицу-строку.

Таким образом, нейронная сеть, обученная с помощью традиционного подхода, показала погрешность тестирования 15% (неверно распознано 23 символа из 150), ошибки происходили, когда на изображении оставались не отфильтрованные шумы и когда изменялся угол наклона символов.

Погрешность нейронной сети, обученной на сгенерированном обучающем множестве (нетрадиционный подход), зависит от параметров настройки (опций) программы, генерирующей обучающее множество: пределов изменения наклона, размеров символов, степени добавляемого шума и др. Поиск наилучшего сочетания этих опций представляет собой сложную оптимизационную задачу со многими экстремумами. Решение этой задачи путем эвристического перебора опций позволил добиться погрешности тестирования 6% (неверно распознано 9 символов из 150).

На рисунке 6 показан график обучения нейросетевой системы решению задачи идентификации символов, используемых при распознавании российских номерных знаков.

Рисунок 4.3 – график процесса обучения сети

Таким образом, результаты исследования программной модели нейросетевой системы показали возможность надежной идентификации номерных знаков при их смещениях и поворотах в поле зрения, а также при наличии загрязненности и атмосферных помех.

Заключение

Для существенного повышения эффективности выделения и распознавания автомобильных номерных знаков на изображениях со сложным фоном предложено использовать сверточные нейронные сети, т. к. они являются устойчивыми к смешениям, поворотам, смене ракурса и прочим искажениям входных данных.

Разработана сверточная нейронная сеть, обеспечивающая нахождение и выделение области расположения символов на изображениях со сложным фоном. Для выделения отдельных символов предложено использовать алгоритм, основанный на построении гистограмм средней интенсивности пикселей. Для распознавания отдельных символов разработана сверточная нейронная сеть, работающая как классификатор символов. Проведена оптимизация структуры разработанных нейронных сетей, что позволило повысить эффективность их работы.

Процесс обработки изображения начинается с его фильтрации. На входе системы имеется изображение, полученное каким-либо способом и еще не подготовленное к обработке. На данном этапе в зависимости от состава изображения выполняется подбор фильтров для обработки изображения. С помощью различного рода выбранных фильтров устраняются случайные помехи, лишние точки, не несущие информации о структурных элементах изображения, выделяются основные элементы. Данная обработка осуществляется в подсистемах формирования центроидных фильтров и центроидной фильтрации. После фильтрации изображение можно подвергать дальнейшей обработке в следующих подсистемах:

- подсистема центроидной релаксации, которая осуществляет выделение кривых, углов, окружностей, определение их геометрических характеристик;

- подсистема линейной сегментации, выполняющая обработку пересекающихся линий, образующих узлы и сегменты;

- подсистема цепного кодирования, позволяющая в дифференциальном кодированном виде представить линии;

- подсистема визуализации, осуществляющая графическое представление файлов описания изображения, полученных в результате работы подсистем распознавания изображений.

Дата добавления: 2015-06-28