Многоспектральные оптико-электронные системы.
ТАРАСОВ Виктор Васильевич, доктор технических наук
ЯКУШЕНКОВ Юрий Григорьевич, доктор технических наук
В настоящей статье после рассмотрения некоторых терминологических вопросов делается попытка оценить целесообразность использования оптических спектральных методов при решении важнейшей задачи, стоящей перед многими оптико-электронными системами, а именно, выделения полезного сигнала на фоне помех.
В последнее время в зарубежных и, что особенно прискорбно, в отечественных научно-технических публикациях и документах участились случаи использования терминов, смысл которых искажается авторами этих публикаций, а может быть, просто им не понятен.
Иногда это связано с неоправданным и неправомерным заимствованием отдельных слов и словосочетаний из иностранных языков, например, термин гиперспектральный” противоречит нормам русского языка (это что-то вроде “гимермасляного масла”) и физическому смыслу (могут быть термины гиперзвуковой”, эквивалент которому сверхзвуковой”, и “гиперразрешение” и т.д., но что такое “сверхспектральный”, если спектр это физико-математическое понятие, а не количественный показатель?).
Поэтому, чтобы обоснованно пользоваться широко распространившимся термином “интеллектуальный (“интеллектуальный робот”, “интеллектуальная система”, “интеллектуальное оружие” и т.д.), стоит вспомнить, что понятие “интеллект складывается из многих составляющих, присущих высокоорганизованным субъектам живой природы высшим животным и человеку, и поэтому при использовании термина “интеллектуальная оптико-электронная система” или интеллектуальное оружие” следует условится, какие свойства и особенности интеллекта высших животных и человека используются в этой системе или оружии.
Использование созданного тысячелетней эволюцией интеллекта человека часто сводится к такой обработке информации об окружающем мире или каких-то свойствах тех или иных объектов, когда осознанно или неосознанно из всего объема информации выделяются наиболее существенные для решения конкретной задачи свойства (признаки) явления или объекта.
Интеллект человека часто позволяет производить такую обработку информации наиболее рациональным образом, хотя и не всегда оптимальным. Технические средства, осуществляющие подобную обработку или работающие в тесном взаимодействии с человеком-оператором, можно назвать интеллектуальными. К их числу относятся прежде всего оптические и оптико-электронные системы, хотя бы потому, что 80 – 95% информации об окружающем мире живые существа и человек в их числе получают через зрительный аппарат [1].
Продолжающееся уже не первое десятилетие быстрое развитие оптико-электронных систем (ОЭС) позволяет непрерывно расширять круг их применений и решать многие сложные задачи, в частности, еще не так давно недоступные для автоматических систем.
Пути развития ОЭС технического зрения во многом совпадают с тем, что создала природа в виде зрительного аппарата высших животных и человека.
Так, считается, что этот зрительный аппарат взаимодействует с мозгом двояко: путем передачи образа для сличения его с эталонами известных образов (аналог – оптико-электронные корреляторы) или для анализа образа по ряду первичных признаков (аналог – ОЭС со спектральной оптической, пространственно-частотной и пространственно-временной фильтрацией).
В последнее десятилетие ведутся многочисленные разработки ОЭС, строящихся на бионических (биокибернетических) принципах.
Исследования этих принципов и создание элементной базы для их практической реализации вот, пожалуй, основная тенденция развития современного оптико-электронного приборостроения.
Разрабатываемые системы часто используют несколько параллельных каналов приема и первичной обработки информации, многоэлементные приемники излучения, сложные алгоритмы обработки сигналов, базирующиеся на специализированных логических и вычислительных устройствах.
Все большее внимание уделяется адаптивным оптико-электронным устройствам, реализующим обратные связи на параметрическом и схемотехническом уровне для управления чувствительностью, величиной угловых полей, параметрами оптических спектральных, пространственных и временно-частотных фильтров, а также другими характеристиками ОЭС.
Здесь тоже широко используются биокибернетические принципы, используемые в живой природе.
Анализ отдельных составляющих интеллекта, относящихся к зрительному аппарату высших животных и человека, неоднократно проводился в литературе.
Можно вкратце напомнить некоторые существенные особенности зрительного аппарата высших животных и человека, важные с точки зрения их воспроизведения в ОЭС технического зрения, служащих для обнаружения, распознавания и классификации различных объектов.
Наблюдениями психофизиологов установлено, что человек при опознавании образов пользуется, главным образом, принципом предпочтительности тех или иных признаков.
С этой целью он производит сопоставление объектов одного класса, выделяя их общность и отбирая разделяющие признаки.
Особенностью психофизиологических процессов восприятия зрительной (оптической) информации у высших животных и человека является декорреляция изображений в пространстве и времени в целях устранения статистических избыточных связей соседних элементов изображения и последовательных кадров уже в системе первичной обработки информации.
Это позволяет использовать только наиболее информативные признаки распознаваемых образов и наиболее экономно закодировать информацию для передачи ее в систему вторичной обработки – в мозг.
Зрительные органы большинства низших животных не обладают способностью различать цвет объектов и работают в сравнительно узком спектральном диапазоне.
Исключением являются некоторые виды змей, например американская гремучая змея, у которой имеется аппарат “теплового зрения” с числом чувствительных элементов около 1000 и температурным разрешением ) t = 10-3 °С.
В сетчатке глаза человека имеется три типа колбочек с различными спектральными характеристиками (R, G, B).
Адаптация каждого из этих типов к изменению освещенности происходит независимо друг от друга.
На выходе так называемых биполярных клеток сигналы от колбочек с разными спектральными характеристиками sr, sg и sb преобразуются в суммарный ахроматический и два цветоразностных сигнала:
SZ = SR +SG + SB,
SRG = CGSG – CRSR,
SRGB = GRSR + CGSG – CBSB,
где SR, CG и CB — весовые коэффициенты [2].
Благодаря линейности преобразования сигналов, определяемых изменением освещенности колбочек и пропорциональных отношениям приращения эффективной освещенности колбочки к ее среднему значению, т.е. контрастом, восприятие цветового тона и насыщенности изображения не зависит от яркости наблюдаемого объекта [2].
Зрительный аппарат человека обладает свойством цветовой константности, т.е. способностью правильно узнавать различные цвета независимо от спектрального состава источника освещения [2].
Другими особенностями зрительного аппарата интеллектуальных существ является адаптивный “обмен” чувствительности элементов сетчатки глаза на разрешающую способность (при росте освещенности изображения) благодаря накоплению сигнала, а также использование движений глаз (регулярных и случайных – тремора), что позволяет сжать информацию до 106 раз и передать в мозг только сведения об изменениях признаков изображения [1].
Наиболее часто используется геометрическая интерпретация распознавания, в которой n признаков сигнала (изображения) образуют в n-мерном пространстве вектор признаков, т.е. точки или кластеры (совокупности случайно распределенных точек), характеризующие отдельные объекты или их изображения.
Отнесение этих точек или кластеров к тому или иному объекту (классу объектов) осуществляется с помощью дискриминантных (разделяющих) функций [3, 4].
Каждому классу образов (типу целей) соответствуют свои вектор математического ожидания и ковариационная матрица, учитывающие случайный характер признаков сигнала.
Для образования n-мерного вектора признаков требуется теоретически минимальное число обучающих образов (эталонов), равное n + 1. (Иногда на практике при надежном распознавании особенно сложных образов требуемое число обучающих образов может достигать 10n и даже 100n[3]).
Вследствие случайной природы признаков, характеризующих самые различные объекты (классы объектов), и сигналов, приходящих на вход системы распознавания (ОЭС), для многих прикладных задач, особенно в области военной техники, требуется статистический подход к решению задач обнаружения, распознавания, классификации.
Методы статистического распознавания образов, использующие функции распределения вероятностей признаков и классов образов, достаточно хорошо изучены и теоретически представляются наиболее перспективными для ОЭС интеллектуального типа различного назначения [1, 3, 4, 5 и др.].
Форма представления класса распознаваемых объектов может определять вид алгоритма обработки информации, получаемой на выходе системы первичной обработки информации ОЭС.
Так, если класс объектов представлен детерминированным спектральным признаком или признаком, полученным в результате усреднения большого числа спектров (статистика 1-го порядка), то алгоритмы обработки информации могут быть достаточно простыми, например, определение спектральных отношений (отношений сигналов, приходящихся на отдельные спектральные рабочие диапазоны) может вестись путем квантования по уровню или путем использования линейных дискриминантных функций.
В последние десятилетия стали использоваться алгоритмы, основанные на сравнении известных распределений множеств признаков в n-мерном пространстве с распределением, соответствующим изменениям признаков в реальной системе (статистика 2-го порядка).
Дискриминантные функции при этом являются кривыми 2-го порядка.
Обработка признаков в системах распознавания наиболее часто ведется тремя способами: отбором наиболее информативных признаков (отбором подмножеств), образованием отношений отдельных признаков (отношений отдельных компонент вектора признаков) и образованием линейных комбинаций отдельных признаков.
Все эти способы достаточно просты для практической реализации. В теории распознавания иногда используется термин “существенная размерность”, обозначающий минимальное число измерений (выделяемых признаков), необходимое для точного представления множеств данных о распознаваемом объекте.
Из-за часто возникающей на практике необходимости обрабатывать в реальном масштабе времени очень большие объемы оптической” информации использование наиболее освоенных цифровых ЭВМ последовательного действия оказывается не всегда достаточно эффективным.
Это, например, действительно при реализации методов выделения (обнаружении, распознавание) сложных изображений, наблюдаемых на неоднородных (“пестрых”) фонах. Уже сегодня известны адаптивные ОЭС с блоками выработки инвариантных информативных признаков на базе нейронных сетей [6].
Для решения задач обнаружения оптических сигналов и образов, например изображения достаточно сложного по форме, спектру и другими признакам объекта, находящегося на сложном “пестром” фоне, в современных ОЭС почти повсеместно используется такое описание образов (совокупность обрабатываемых сигналов), которое содержит лишь ограниченное число отличительных признаков.
Выбор признаков, наиболее существенно отличающих данный класс образов (объектов, изображений, сигналов), является важнейшей задачей при разработке ОЭС, работающих в составе интеллектуального оружия.
Поэтому при разработке новых и совершенствовании существующих ОЭС очень важно отобрать минимальное число таких признаков, обеспечивающих заданные показатели качества работы ОЭС, но не усложняющих их конструкцию и тем самым не снижающих надежность работы систем и удорожающих их производство и эксплуатацию.
На рис. 1 представлена структурная схема системы автоматического распознавания оптических образов (сигналов).
Под приемником оптических сигналов подразумевается совокупность оптической системы и фотоприемного устройства, т. е. система первичной обработки информации [4].
Рис. 1. Структурная схема системы
автоматического распознавания оптических образов
Наиболее часто используемыми группами признаков являются:
— геометрические, выделение и обработка которых зависит прежде всего от пространственного разрешения ОЭС; к этим признакам относятся размеры и форма изображения; гистограммы распределений углов, хорд, длин сторон; геометрические моменты; пространственно-частотные спектры Фурье и Меллина; функции Уолша и др;
— спектральные, выделение и обработка которых зависит от спектральной разрешающей способности ОЭС; к ним относятся поглощательная, излучательная и отражательная способности; цвет и др.;
— энергетические, характеризующиеся обычно отношением сигнал/шум;
— динамические, использующие информацию об изменении координат объекта, о скорости его перемещения и др.
В каждом конкретном случае обнаружения, распознавания и классификации тех или иных объектов целесообразно использовать ограниченные совокупности устойчивых признаков, чтобы не усложнять конструкцию ОЭС.
В литературе чаще всего рассматривается трехмерный массив информации, т.е. в большинстве разработок и попыток создать интеллектуальные” ОЭС используется совокупность геометрооптических и динамических признаков объектов (пространственная и пространственно-временная фильтрация сигналов на фоне помех).
В качестве первичных признаков используются параметры двумерного изображения координаты в плоскости изображений, размеры изображения, форма изображения, геометрические моменты, и т.д., и один временной признак, например, скорость движения изображения, длительность сигнала и т.д.
Пространственное разрешение ОЭС определяется параметрами и характеристиками оптической системы, от которых зависит качество создаваемого ею изображения, а также параметрами приемника излучения (например, от шага многоэлементного приемника) и выбранным алгоритмом образования и обработки сигнала, снимаемого с приемника.
Спектральные оптические признаки объектов и сигналов используются в большинстве случаев ограниченно – путем использования простой режекторной (полосовой, однополосной) или двухцветовой (двухполосной) спектральной оптической фильтрации. Очень мало известно о применении балансной спектральной фильтрации [4].
В то же время увеличение числа спектральных каналов (рабочих спектральных диапазонов) в составе ОЭС хотя бы до двух или трех, как это имеет место в зрительном аппарате человека (см. выше), может заметно повысить интеллектуальность” этих систем и комплексов, в которые они входят, т.е. улучшить их показатели качества.
Например, как сообщается в [7], одновременное использование двух спектральных диапазонов (3 … 5 и 8… 13 мкм) в ОЭС, предназначенной для обнаружения и распознавания на пестром фоне целей типа “танк”, существенно увеличивает вероятность правильного обнаружения целей (на 5 … 7%), по сравнению с той же вероятностью, обеспечиваемой при использовании только пространственных признаков в сочетании с обработкой сигналов в нейронной сети.
Изменение признаков объекта и фона, на котором наблюдается объект, изменение условий приема сигналов от объектов, возникновение дополнительных помех, наконец, изменение параметров и характеристик самой системы распознавания (ОЭС) – вот те факторы, которые прежде других делают целесообразным выбор и формирование таких первичных и вторичных признаков сигнала, которые, будут наиболее устойчивы (инвариантны) к указанным изменениям.
К сожалению, в большинстве литературных источников, посвященных распознаванию оптических образов, рассматривается, в основном, устойчивость пространственных и пространственно-временных признаков объектов и оптических сигналов, но не спектральных оптических характеристик излучения объектов и соответствующих им сигналов.
В то же время отмечалось, что такой “геометрический подход оказался продуктивным только в простейших задачах, например, при распознавании стандартных шрифтов и образов, а при распознавании натурных сцен он явно не состоятелен [1].
Можно отметить, что некоторые геометрооптические признаки объектов и их изображений, подлежащих распознаванию, имеют бимодальные и даже многомодальные функции распределения вероятностей, имеющие не один, а два или более максимума.
В то же время спектральные отражательные и излучательные способности большинства объектов естественного или искусственного происхождения (целей, помех, фонов) описываются одномодальной функцией распределения вероятностей, чаще всего Гауссовской (нормальной).
Это заметно упрощает процесс обучения классификатора системы распознавания по этим признакам, т.е. спектральные оптические признаки могут оказаться предпочтительнее геометрооптических.
В качестве примера сравнительно устойчивых признаков оптических сигналов, т.е. обладающих малым разбросом внутри их кластера, можно указать спектр солнечного излучения, обуславливающего свойства отраженного от этих объектов сигнала; спектры излучения многих объектов естественного и искусственного происхождения близких к черным телам (функции Планка); отражательные и излучательные способности многих материалов и покрытий, используемых при создании искусственных источников излучения (объектов).
Хорошо известно, что одним из достаточно устойчивых и информативных признаков многих объектов является цвет.
Спектральное разрешение ОЭС зависит от количества рабочих спектральных диапазонов или “спектральных окон” системы, в которых собираются данные о просматриваемом поле (“сцене”). Очень важным является вопрос о количестве таких окон, необходимом для надежного распознавания.
Из теории распознавания образов известно, что при возрастании числа спектральных окон, т.е. при увеличении так называемой “сложности измерений”, точность распознавания возрастает лишь до определенного момента, а затем, при дальнейшем увеличении этого числа, она падает [3].
Это объясняется тем, что при увеличении числа спектральных диапазонов необходима оценка множества статистик все более высокой размерности по ограниченному фиксированному числу спектральных выборок.
При этом заметно усложняется система обработки данных в реальной системе, например, неоправданно увеличивается машинное время, необходимое для проведения сложных вычислений. Таким образом существует оптимальное число спектральных признаков.
Например, при дистанционном зондировании природных ресурсов было установлено, что максимум вероятности распознавания по спектральным признакам достигается при трех признаках распознавания, а вероятность распознавания при использовании большего их числа, например, 12-ти признаков, существенно меньше [3].
Одним из направлений дальнейшего развития многоспектральных ОЭС распознавания (“интеллектуальных многоспектральных ОЭС) является использование числа спектральных каналов, близкого к существенной размерности функций, описывающих спектральные излучательную и отражательную способность обнаружения и распознаваемых объектов.
Так например, в [3] утверждается, что существенная размерность многоспектральных данных в диапазоне 0,4 … 15,0 мкм, определяемая для явлений отражения и излучения энергии от поверхности Земли, близка к шести.
При использовании спектральных признаков, присущих большинству распознаваемых на практике объектов, важно использовать высокую степень корреляции этих признаков, проистекающих из физической природы оптического излучения и детерминированности законов, описывающих эту природу, например, закона Планка.
Этому соответствует большая вытянутость кластера n признаков в n-мерном пространстве, что можно использовать для получения вектора признаков в пространстве более низкой размерности без значительной потери информации.
Это также приводит к выводу о возможности уменьшить число используемых спектральных признаков (спектральных окон, спектральных отношений) до трех – четырех, а иногда и до двух.
Например, известно, что размерность вектора спектральных признаков, использовавшихся при работе многоспектральных сканирующих систем Ландсат-1 и Ландсат-2, составляла 4 (четыре спектральных рабочих диапазона), однако, наибольшая контрастность деталей изображения земной поверхности, полученного с помощью этих систем, достигалась при использовании только двух окон [3].
Отбор подмножества спектральных признаков ведется с помощью выделения такого рабочего диапазона работы ОЭС, в котором максимально энергетическое отношение сигнал/помеха. Хорошо известно образование отношения сигналов, приходящихся на два узких спектральных диапазона, – двухцветовая спектральная оптическая фильтрация.
Описанная выше модель восприятия цветности зрительным аппаратом человека, является, по сути дела, реализацией способа образования линейных комбинаций трех монохроматических излучений (“чистых” цветов).
Известный способ балансной спектральной фильтрации [4] может рассматриваться как образование линейной комбинации (комбинаций) сигналов, образующихся в двух или более сравнительно широких спектральных диапазонах.
Менее известны системы, в которых числитель и знаменатель спектрального отношения представляют собой суммы или разности сигналов, получаемых в двух спектральных диапазонах, что позволяет “вычитать” или уменьшать” сигнал, образуемый нежелательным излучением фона или помехи.
Такой метод может быть отнесен как к способу отношений, так и способу линейных комбинаций.
Его реализация в ОЭС военного назначения представляет большой практический интерес.
Учитывая возможные изменения оптического спектра (эффективной спектральной излучательной способности объекта или спектральной плотности освещенности изображения), связанные, например, с изменением режима работы энергетических установок на объекте, или с изменением условий прохождения оптического сигнала на трассе “объект – ОЭС”, или с изменением условий облучения объекта естественными посторонними источниками и т.д., целесообразно иметь гибкие эталоны спектральных признаков – спектральных отношений.
В этом случае модель эталона становится инвариантной по отношению к случайным или детерминированным вариациям признаков сигнала в определенных пределах или диапазонах изменения указанных факторов. Возможности современной цифровой голографии позволяют использовать большие наборы таких необобщенных эталонов.
Интерес может представить статистика распределения (гистограммы) первичных признаков типа протяженностей или площадей участков одного цвета.
Энергетическое разрешение, определяемое как число разрешаемых уровней ярости объекта или освещенности изображения, выбирается в соответствии с требуемым отношением сигнал/шум.
Хорошо известно, что вероятность обнаружения и распознавания увеличивается с ростом этого отношения. При этом следует учитывать взаимосвязь пространственного, спектрального и энергетического разрешения, имеющую место в реальных ОЭС.
Например, если высокое пространственное разрешение достигается путем уменьшения размеров элемента изображения, то из-за этого на данный элемент будет приходиться меньшее количество энергии, которое необходимо для разделения ее по спектральным рабочим диапазонам и получению требуемого отношения сигнал/шум в каждом из этих диапазонов.
Основными препятствиями на пути создания “интеллектуальных” многоспектральных ОЭС являются известные трудности создания сравнительно недорогих высокочувствительных широкодиапазонных (работающих в широком спектральном диапазоне) фотоприемных устройств (ФПУ) с высоким пространственным, спектральным и временным разрешением.
Сюда же следует отнести трудности по созданию экономичных, долговечных, малогабаритных систем охлаждения ФПУ и ряд других проблем технико-экономического характера.
Предпринимаемые попытки создать такие ОЭС в виде Фурье-спектрометров или многоканальных видеоспектрометров не всегда успешны, так как не обеспечивается, например, требование работать в реальном масштабе времени, да и ряд других требований.
Очень важной остается проблема калибровки и обучения “интеллектуальных” ОЭС (самообучения) в изменяющихся условиях их эксплуатации и особенно при нестабильности параметров (признаков) наблюдаемых объектов и создаваемых этими объектами сигналов.
При создании автоматических ОЭС распознавания целесообразно предусматривать участие человека не только на этапе сбора информации о различных признаках объектов и сигналов, но и в процессе обучения классификатора, что может заметно упростить этот процесс.
Эффективность использования многоспектральных ОЭС во многом зависит от знания параметров и характеристик объектов, по которым они работают (сигнатур целей, помех, фонов).
Не случайно данных о сигнатурах объектов военной техники в открытой литературе очень мало. В 1993 г. в разведывательном управлении Министерства обороны США был образован специальный отдел, занимающийся разведкой и созданием базы данных о cигнатурах разведываемых целей (Measurements and Signatures Intelligence – MASINT).
Определение оптических сигнатур целей является одной из важнейших задач этого отдела, причем особое внимание, судя по публикации [8], уделяется сбору информации о спектральных оптических сигнатурах (признаках) целей.
На вооружении Армии США имеются предназначенные для этого системы SYERS (Senior Year Electrooptical Reconnaissance System), работающая на борту самолета U-2 в семи спектральных диапазонах, и Cobra Brass, являющаяся многоспектральным датчиком изображений для инфракрасной системы космического базирования.
Большое внимание в США уделяется разработке многоспектральных ОЭС с очень большим числом спектральных окон.
Например, компания TRW разработала систему с 384 спектральными рабочими диапазонами.
Такие системы испытывались на борту беспилотных разведывательных летательных аппаратов, предназначенных для обнаружения танков, пусковых ракетных установок и других замаскированных и находящихся на “пестром фоне военных объектов.
Использование рабочих спектральных диапазонов в ультрафиолетовой области спектра позволит идентифицировать тип ракет противника по спектральному составу излучения компонент ракетного топлива.
Отмеченное выше особенно характерно для военных и других полевых систем и комплексов.
Тем не менее попытки приблизить ОЭС ближайшего будущего к уровню действительно интеллектуальных систем не прекращаются, а ряд полученных к настоящему времени результатов является достаточно оптимистичным.
Сочетание оптико-электронных систем с радиоэлектронными, химическими, акустическими и др. средствами при наличии новых вычислительных средств с очень большой скоростью обработки многомерной информации, получаемой от этих систем, позволяет в реальном масштабе времени достаточно надежно решать задачи обнаружения, распознавания, классификации и идентификации самых различных объектов, т.е. решать эти задачи в интересах тактических звеньев сухопутной армии, авиации, флота.
Литература.
1. Левшин В.Л. Биокибернетические оптико-электронные устройства автоматического распознавания изображений. – М.: Машиностроение, 1987.
2. Красильников Н.Н., Шелепин Ю.Е., Красильникова О.И. Математическая модель цветовой константности зрительной системы человека. Оптический журнал, 2002, т. 69, № 5, с. 38 – 44.
3. Дистанционное зондирование: количественный подход/Ш.М.Дейвис, Д.А.Ландгребе, Т.Л.Филипс и др. Под ред. Ф.Свейна и Ш.Дейвиса. Пер. с англ. – М.: Недра, 1983.
4. Якушенков Ю.Г. Теория и расчет оптико-электронных приборов. Изд. 4-ое, перераб. и доп. – М.: Логос, 1999.
5. Мирошников М.М. Теоретические основы оптико-электронных приборов. Изд. 2-ое, перераб. и доп. – Л.: Машиностроение, 1983.
6. McAulay A., Kadar I. Neural networks for adaptive shape tracking.- SPIE Proc., vol.1408 (1991), p.p.l19 – 134.
7. MIX and match for better vision/ L.A.Chan, A.Colberg, S.Der et al. – SPIE’s OE Magazine, April 2002, p.p. 18 – 20.
8. Journal of Electronic Defense. – 1998, № 8, p.p. 43 – 48.