В шутку или всерьез о профессиональных решениях задач создания очень больших архивов данных.

В шутку или всерьез о профессиональных решениях задач создания очень больших архивов данных.

В шутку или всерьез о профессиональных решениях задач создания очень больших архивов данных

В шутку или всерьез о профессиональных решениях задач создания очень больших архивов данных

Cитуация из жизни. У моего давнего друга винчестер на домашнем компьютере всего 500 Гб, но четыре года назад он был самым большим! Он любит заниматься фотографией, причем камера у него – 8 Мп, а не 16 и не 32! Правда, в качестве дополнительной нагрузки есть еще два пользователя – сыновья, любители фильмов и видеороликов. Но зато совсем нет никаких игр, и у старшего сына теперь уже есть свой ноут!

 

А винчестер все равно – битком, кончился! Почему?

Профессионалы по бытовым ПК подтвердили мое предположение и факт, что от 60 до 90 % места на диске бытового компьютера обычно сейчас занимают данные цифрового видео, фото, а также игры с естественно развитым видеорядом. Но ведь одно дело в песочнице куличики делать, а другое – защитную дамбу в Финском заливе насыпать. Как же быть специалистам, которым по долгу службы требуются огромные архивы данных?

 

Насколько большие архивы? Где они нужны? И каких данных? – спросите Вы.

Начнем с конца – Каких данных?

 

Неожиданности не будет. После цифровой революции во всех областях жизни, в видео в целом и в видеонаблюдении в частности, чаще всего большие объемы данных состоят из роликов систем видеонаблюдения, фотоархивовов научной, технологической документации, библиотек сканированных копий исторического наследия человеческой мысли, изобразительного искусства, архивов программ телевещания, кинематографа. Возможно, вы – читатель, можете и сами дополнить этот список.

 

Где они нужны? Вопрос почти риторический, но постараемся ответить на него.

Центральные хранилища систем видеонаблюдения крупных объектов от отдельного предприятия до мегаполиса в целом. Библиотеки научных институтов и общего культурного наследия. Архивы и хранилища киностудий, Госфильмофонда и телевизионных каналов.

 

Насколько большие архивы? Давайте посчитаем это вместе на ряде примеров систем видеонаблюдения известных объектов.

 

ПРИМЕР 1. Система видеонаблюдения и мониторинга метрополитена Петербурга

Почему метрополитен? Потому, что это очень важный социальный объект, требующий видеонаблюдения. Почему Петербургский? Потому, что весьма масштабный, да и ближе всего.

 

Воспользуемся некоторыми открытыми сведениями и произведем приблизительную оценку объема видеоданных для этого объекта. Еще в 2006 году производилось серьезное расширение системы видеонаблюдения. Даже по старым требованиям на станции с одним вестибюлем было предусмотрено не менее 17 телекамер. В локальной системе видеонаблюдения (СВН) станции предусматривался один основной видеосервер и один сервер горячего резерва. Основной сервер: до 32 камер. Их них 4 камеры дают в архив видео с разрешением 1600х1200 и темпом 6*12 к/с, а остальные 28 камер – 704×576, 6 к/с. Глубина архива – не менее 7 суток. Забегая вперед, для будущего расчета, предлагаю считать, что запись непостоянная и наличие активности в кадре примерно 20 часов в сутки. Сервер горячего резерва, по сути, все тот же, но глубина архива до 3 суток. Помимо серверов локальных СВН станций все видео по оптике передается в Центр видеомониторинга метрополитена на станции «Технологический институт». Опустим реальное состояние дел, но предположим, что там создано некое хранилище видеоданных глубиной 10 суток.

 

Теперь для расчета остается принять еще одно важное решение – определить средний размер кадра. Конечно, это значение зависит от многих параметров: разрешения, цветности, количества мелких деталей в кадре, алгоритма компрессии, степени сжатия, а для потоковых алгоритмов еще и от количества движущихся объектов в кадре. На реальном объекте проще и точнее определить эту величину, эмпирически разделив объем накопленного архива на общее время записи в секундах и на темп записи. В рамках этой статьи не будем усложнять и остановимся на значении 100 кб. Ряд специалистов скажут, что оно может быть и в 10 раз меньше. Но эти же специалисты хорошо знают, что оно легко может быть и в 10 раз больше, особенно если мы не хотим терять данные с мегапикселных камер.

 

Итого, объем данных на Центре мониторинга метрополитена, с учетом 60 станций (реально уже 63), по 32 телекамеры на станции, с темпом записи 10 к/сек и гарантированным сроком хранения 10 суток: 60 станций х 32 камеры х 20 часов х 3600 сек х 10 к/сек х 100кб x 10 суток = 1 318 ТБ = 1,3 Петабайта.

 

Причем, мы везде старались не преувеличивать. А ведь еще есть перспектива развития. Так, на прошлой неделе мне попалась электричка, оборудованная телекамерами. Пока по 2 штуки на вагон. Москвичи, конечно, скажут, что у них на кольцевой это уже давно есть, а я соглашусь. Так вот, в Петербургском метрополитене 520 вагонов и, следовательно, в перспективе еще 1040 телекамер в дополнение к уже посчитанным 1920 камерам на станциях.

 

Кстати, требования к системам видеонаблюдения бывают более высокие, они постоянно растут и по качеству, и по глубине архива.

 

ПРИМЕР 2. Требования к системам видеонаблюдения крупного банка

До недавнего времени в крупных банках страны требования сводились к 30 и 60 суткам хранения архива (для различных целей). Однако в этом году ситуация изменилась. Рекомендации по обеспечению безопасности банков в части видеонаблюдения включают обязательное наличие цветного изображения, да и глубину архива до 90 суток.

Несложно посчитать, как изменятся объемы хранящихся данных. Подобная эволюция повышения требований к видеонаблюдению происходит сейчас во всех сферах жизнедеятельности.

 

ПРИМЕР 3. Система видеонаблюдения мегаполиса

В некоторых системах, на первый взгляд, требования не так уж и высоки. Так, для большинства телекамер проекта «Безопасный город Москва» в архив ложится 4 к/сек, причем в стандартном разрешении 352×288, ч/б, и глубина архива – 14 дней. Однако в системе на данный момент уже 124 000 телекамер, которые подключены к 10 000 серверам. Большая часть видеоданных хранится не в едином центре, а распределенно. Хорошо это или плохо? Однозначно сказать нельзя, так как и у централизованного архива, и у распределенного способа хранения есть свои достоинства и недостатки. Но можно ли в принципе создать единый архив такой емкости? Для начала посчитаем примерный объем этого гипотетического хранилища:

 

124000 камер x 20 часов x 3600 с x 4 к/с x 14 дней x 20 кб = ± 9 313 ТБ – это округленно 9 Петабайт.

Сложно представить, насколько это много, даже если хранить это распределенно, по частям.

 

А вот теперь давайте вспомним, что требуется не просто грамотно и надежно хранить гигантские объемы видеоданных, но и иметь быстрый и удобный, порой множественный доступ к этим данным, а также инструменты по их обработке. И вот тут становится ясно, что механическим набором аппаратных средств хранения данных дело не решить. Нужна еще и определенная программная система контроля, управления, защиты, организации доступа и обработки всех этих данных. Иначе смысла в хранении нет.

 

Итоговый вопрос: а существуют ли такие технологии, которые справятся и с гигантскими объемами, и с обеспечением надежности хранения, и с организацией множественного доступа к данным, и с предоставлением инструмента обработки этих данных? Насколько эти технологии доступны? Проверены ли они на практике?

Этим вопросам посвящена вторая часть статьи, которая будет опубликована в следующем номере журнала. В ней на эти и иные наши вопросы ответят специалисты Центра «ВиАйТи» из Санкт-Петербурга. Специалисты Центра на протяжении ряда лет успешно решают подобные задачи по построению масштабируемых систем для хранения видеоархивов больших объемов. В статье будет представлена информация о ряде перспективных технологий, методике и опыте решения нетривиальных задач организации хранения и быстрого доступа к архивным записям. Заинтересованные читатели, как инсталляторы, так и заказчики, могут поучаствовать в этом диалоге, прислав в редакцию свои вопросы, как частного, так и общего характера. Гарантируем, что на все вопросы сотрудники Центра дадут ответы либо в статье, либо в индивидуальном порядке. 

____________________________________________

Д. Садеков
генеральный директор Технического центра «ВиАйТи»