En broma o en serio sobre soluciones profesionales a los problemas de la creación archivos de datos muy grandes.
En broma o en serio sobre soluciones profesionales a los problemas de crear archivos de datos de gran tamaño
Una situación de la vida real. Mi viejo amigo tiene sólo 500 GB de disco duro en la computadora de su casa, ¡pero hace cuatro años era el más grande! Le encanta tomar fotografías y su cámara es de 8 megapíxeles, ¡no de 16 ni de 32! Es cierto que hay dos usuarios más como carga adicional: hijos, fanáticos de películas y videos. Pero, por otro lado, no hay ningún juego y ¡el hijo mayor ya tiene su propio portátil!
Pero el disco duro todavía está lleno, es ¡desaparecido! ¿Por qué?
Los profesionales de PC de consumo han confirmado mi suposición y el hecho de que entre el 60 y el 90% del espacio en disco de una computadora de consumo hoy en día suele estar ocupado por datos de vídeo digital, fotografías y juegos con contenido de vídeo desarrollado de forma natural. Pero una cosa es hacer pasteles de Pascua en un arenero y otra construir una presa protectora en el golfo de Finlandia. ¿Qué pasa con los especialistas que, como parte de sus funciones, requieren enormes archivos de datos?
¿Qué tamaño tienen los archivos? ¿Dónde se necesitan? ¿Y qué datos? — preguntas.
Empecemos por el final — ¿Qué datos?
No habrá sorpresa. Después de la revolución digital en todos los ámbitos de la vida, en el vídeo en general y en la videovigilancia en particular, la mayoría de las veces grandes volúmenes de datos consisten en vídeos de sistemas de videovigilancia, archivos fotográficos de documentación científica y tecnológica, bibliotecas de copias escaneadas de la historia histórica. patrimonio del pensamiento humano, bellas artes, archivos de programas de televisión, cine. Quizás usted, como lector, pueda agregar algo más a esta lista.
¿Dónde se necesitan? La pregunta es casi retórica, pero intentaremos responderla.
Instalaciones de almacenamiento central para sistemas de videovigilancia de objetos grandes desde una empresa individual hasta una metrópoli en su conjunto. Bibliotecas de instituciones científicas y patrimonio cultural en general. Archivos y almacenes de estudios cinematográficos, del Fondo Estatal de Cine y canales de televisión.
¿Qué tamaño tienen los archivos? Calculemos esto juntos usando una serie de ejemplos de sistemas de videovigilancia de objetos famosos.
EJEMPLO 1. Sistema de videovigilancia y monitorización del metro de San Petersburgo
¿Por qué el metro? Porque se trata de un objeto social muy importante que requiere videovigilancia. ¿Por qué San Petersburgo? Porque es de gran escala y es el más cercano.
Utilicemos información disponible públicamente y hagamos una estimación aproximada de la cantidad de datos de video para este objeto. En 2006 se llevó a cabo una importante ampliación del sistema de videovigilancia. Incluso según las antiguas exigencias, en una estación con un vestíbulo se instalaron al menos 17 cámaras de televisión. El sistema de videovigilancia local (VS) de la estación incluía un servidor de vídeo principal y un servidor de reserva activo. Servidor principal: hasta 32 cámaras. 4 de ellas proporcionan vídeo archivado con una resolución de 1600×1200 y una velocidad de 6*12 fps, y las 28 cámaras restantes, 704×576, 6 fps. La profundidad del archivo es de al menos 7 días. De cara al futuro, para futuros cálculos propongo asumir que la grabación no es constante y la presencia de actividad en el encuadre es de aproximadamente 20 horas diarias. El servidor de espera activa es esencialmente el mismo, pero la profundidad del archivo es de hasta 3 días. Además de los servidores de las estaciones SVN locales, todo el vídeo se transmite mediante óptica al Centro de Monitoreo de Vídeo de Metro en la estación del Instituto Tekhnologichesky. Ignoremos la situación real, pero supongamos que allí se ha creado algún tipo de almacenamiento de datos de vídeo con una profundidad de 10 días.
Ahora, para el cálculo, hay que tomar una decisión más importante: determinar el tamaño medio del marco. Por supuesto, este valor depende de muchos parámetros: resolución, color, número de pequeños detalles en el cuadro, algoritmo de compresión, relación de compresión y, en el caso de los algoritmos de transmisión, también del número de objetos en movimiento en el cuadro. En un objeto real, es más fácil y preciso determinar este valor dividiendo empíricamente el volumen del archivo acumulado por el tiempo total de grabación en segundos y por la velocidad de grabación. A los efectos de este artículo, no complicaremos las cosas y nos centraremos en el valor de 100 kb. Algunos expertos dirán que puede ser 10 veces menor. Pero estos mismos especialistas saben bien que fácilmente puede ser 10 veces mayor, sobre todo si no queremos perder datos de las cámaras de megapíxeles.
En total, la cantidad de datos de la Centro de Monitoreo de metro, teniendo en cuenta 60 estaciones (en realidad ya son 63), 32 cámaras de televisión por estación, con una velocidad de grabación de 10 fps y un período de almacenamiento garantizado de 10 días: 60 estaciones x 32 cámaras x 20 horas x 3600 seg x 10 fps x 100 kb x 10 días = 1318 TB = 1,3 petabytes.
Además, intentamos no exagerar en todas partes. Pero todavía hay perspectivas de desarrollo. La semana pasada me encontré con un tren equipado con cámaras de televisión. Hasta el momento, 2 piezas por coche. Los moscovitas, por supuesto, dirán que lo tienen en la carretera de circunvalación desde hace mucho tiempo, pero estoy de acuerdo. Así, en el metro de San Petersburgo hay 520 vagones y, por tanto, en el futuro habrá otras 1.040 cámaras de televisión además de las 1.920 cámaras ya contadas en las estaciones.
Por cierto, los requisitos para los sistemas de videovigilancia pueden ser mayores; crecen constantemente tanto en calidad como en profundidad del archivo.
EJEMPLO 2. Requisitos para sistemas de videovigilancia de un gran banco
EJEMPLO 2. Requisitos para sistemas de videovigilancia de un gran banco
Hasta hace poco, en los grandes bancos del país los requisitos se reducían a 30 y 60 días de almacenamiento de archivos (para diversos fines). Sin embargo, este año la situación ha cambiado. Las recomendaciones para garantizar la seguridad de los bancos en términos de videovigilancia incluyen la presencia obligatoria de una imagen en color y una profundidad de archivo de hasta 90 días.
Es fácil calcular cómo aumentará el volumen de datos almacenados. cambiar. Una evolución similar de requisitos crecientes de videovigilancia se está produciendo ahora en todas las esferas de la vida.
EJEMPLO 3. Sistema de videovigilancia de una metrópoli
En algunos sistemas, a primera vista, los requisitos no son tan altos. Así, para la mayoría de las cámaras de televisión del proyecto “Ciudad Segura de Moscú”, el archivo contiene 4 fotogramas por segundo, y en resolución estándar 352×215;288, b/n, y la profundidad del archivo es de 14 días. Sin embargo, el sistema cuenta actualmente con 124.000 cámaras de televisión que están conectadas a 10.000 servidores. La mayoría de los datos de vídeo no se almacenan en un único centro, sino que se distribuyen. ¿Esto es bueno o malo? Es imposible decirlo con certeza, ya que tanto el archivo centralizado como el método de almacenamiento distribuido tienen sus propias ventajas y desventajas. Pero, ¿es posible en principio crear un archivo único de tal capacidad? Primero, calculemos el volumen aproximado de este almacenamiento hipotético:
124.000 cámaras x 20 horas x 3600 s x 4 fps x 14 días x 20 kb = ± 9.313 TB; esto se redondea a 9 petabytes.
Es difícil imaginar cuánto cuesta, incluso si lo almacenas distribuidamente, en partes.
Pero ahora recordemos que no sólo es necesario almacenar de manera competente y confiable volúmenes gigantescos de datos de video, sino también tener un acceso rápido y conveniente, a veces múltiple, a estos datos, así como herramientas para procesarlos. Y aquí queda claro que un conjunto mecánico de hardware de almacenamiento de datos no resolverá el problema. También necesitamos un determinado sistema de software para monitorear, gestionar, proteger, organizar el acceso y procesar todos estos datos. De lo contrario, no tiene sentido almacenarlo.
La pregunta final: ¿existen tecnologías que puedan hacer frente a volúmenes gigantescos, garantizar la confiabilidad del almacenamiento, organizar el acceso múltiple a los datos y proporcionar herramientas para procesar estos datos? ¿Qué tan accesibles son estas tecnologías? ¿Se han probado en la práctica?
La segunda parte del artículo, que se publicará en el próximo número de la revista, está dedicada a estas cuestiones. En él, los especialistas del Centro VIT de San Petersburgo responderán a estas y otras preguntas nuestras. Durante varios años, los especialistas del Centro han resuelto con éxito problemas similares de construcción de sistemas escalables para almacenar archivos de vídeo de gran volumen. El artículo proporcionará información sobre una serie de tecnologías, métodos y experiencias prometedores para resolver problemas no triviales de organización del almacenamiento y acceso rápido a registros de archivo. Los lectores interesados, tanto instaladores como clientes, pueden participar en este diálogo enviando sus preguntas, tanto privadas como generales, al editor. Garantizamos que el personal del Centro responderá todas las preguntas ya sea en el artículo o individualmente.
___________________________________________
D. Sadekov
Director General del Centro Técnico VIT