Aplicación de Datos del Mes: Cubos de Datos de Observación de la Tierra

Tendencias Tecnológicas en Teledetección

Los importantes avances tecnológicos y la sustancial reducción de los costes de los satélites operativos, los servicios de lanzamiento, las infraestructuras de apoyo y las tecnologías de almacenamiento y transmisión de datos han propiciado en los últimos años un espectacular aumento de la disponibilidad de imágenes por satélite para uso civil. Este aumento de la disponibilidad de imágenes por satélite se debe a un mayor número de satélites puestos en órbita por agencias espaciales de numerosos países del mundo y algunas empresas privadas. Este aumento está permitiendo mayores tiempos de revisita sobre la misma zona geográfica en la mayoría de las regiones del planeta.

De forma complementaria, desde el lanzamiento de Landsat en 1972, la teledetección óptica ha pasado de la simple teledetección visible e infrarroja cercana (NIR) de 3-4 bandas a la teledetección activa multiespectral, hiperespectral y espaciada, lo que ha ampliado drásticamente el potencial de utilización de los datos de observación terrestre (EO) en toda una serie de aplicaciones (Christopherson, Chandra & Quanbeck, 2019). Usted puede obtener más información sobre los datos satelitales gratuitos y cómo acceder a ellos aquí, y descubrir cómo se pueden aplicar los datos satelitales en apoyo de la gestión de desastres y la respuesta de emergencia en las Aplicaciones de datos del mes y Prácticas recomendadas del Portal del Conocimiento.

Hasta hace poco, para acceder a los archivos de imágenes multiespectrales archivadas y actualizadas obtenidas por diversos sensores instalados en satélites a lo largo de varios años, los usuarios debían conectarse a distintos sitios web o portales que albergaban dichas imágenes. Asimismo, era necesario utilizar programas informáticos especializados para desarrollar procedimientos que permitieran generar datos geoespaciales para distintas aplicaciones. Para facilitar el uso de los enormes inventarios de imágenes satelitales, en muchos países del mundo se están desarrollando infraestructuras especializadas de bases de datos llamados Cubos de Datos (Data Cubes). Estos cubos de datos están surgiendo a partir de los grandes avances en el aumento de la potencia de cálculo y de las propias infraestructuras en la nube, y están ofreciendo servicios colectivos de capacidad de procesamiento y almacenamiento para aprovechar el uso generalizado de la información satelital a través de productos de Datos Listos para el Análisis (ARD). Los cubos de datos están revolucionando la manera en la que gestionamos enormes conjuntos de datos geoespaciales y de observación terrestre y están aprovechando formas más rápidas y rentables de facilitar el análisis de imágenes de teledetección a escala, poniendo los datos directamente en manos de un público más amplio y de responsables políticos para apoyar la toma de decisiones. Esencialmente, todos los datos se proporcionan a los usuarios finales con los pasos de preprocesamiento completados, en contraste con usuarios individuales que realizan muchos pasos, incluyendo búsqueda y descarga de datos de diferentes portales, recorte/reproyección/mosaico, y muchas correcciones preparatorias antes de que la(s) imagen(es) pueda(n) ser utilizada(s) con precisión.

Las infraestructuras de cubos de datos de código abierto se han destacado como una posible solución para facilitar los esfuerzos de reducción del riesgo de desastres y para abordar importantes obstáculos técnicos, como la preparación, distribución y gestión de datos de archivos espaciotemporales espectrales cada vez mayores procedentes de múltiples sensores, con el fin de maximizar la explotación de los crecientes recursos satelitales (Cheng et al, 2020). Al reducir la carga que supone la preparación de los datos de observación terrestre y permitir a los usuarios finales consultar y analizar rápidamente grandes volúmenes de datos a través de una plataforma integrada, los cubos de datos de código abierto pueden aumentar la viabilidad de la reducción del riesgo de desastres y el seguimiento de los efectos de los desastres a escala regional y nacional, acelerar el desarrollo de algoritmos de código abierto y avanzar en la tramitación de las solicitudes urgentes de información de observación terrestre en apoyo de la gestión de desastres (Cheng et al., 2020). Los cubos de datos son, por tanto, una herramienta potente y prometedora para promover la utilización de los datos de observación terrestre y optimizar la eficiencia de la generación de productos de información sobre desastres derivados de satélites que proporcionan información crucial para apoyar la política y la toma de decisiones durante todas las fases del ciclo de desastres (Cheng et al, 2020).

ARD es un concepto central de un cubo de datos de observación terrestre y es la clave para facilitar el análisis y la interpretación de datos espaciados por usuarios no expertos. El Comité de Satélites de Observación de la Tierra (CEOS) ha definido los Datos Listos para el Análisis en Tierra (CARD4L) como "datos satelitales que han sido procesados según un conjunto mínimo de requisitos y organizados en una forma que permite el análisis inmediato con un esfuerzo adicional mínimo del usuario y la interoperabilidad tanto a través del tiempo como con otros conjuntos de datos" (Siqueira et al, 2019). Por ejemplo, los datos pueden suministrarse como mediciones de reflectancia de superficie normalizadas para datos ópticos, o como retrodispersión de radar normalizada para imágenes de radar (Siqueira et al, 2019).

El Concepto de Cubo de Datos

Un cubo de datos describe simplemente una matriz multidimensional de valores de n dimensiones. De conformidad con las normas operativas establecidas por la Organización Internacional de Normalización (ISO) y el Consorcio Geoespacial Abierto (OGC), los cubos de datos pertenecen a la categoría de coberturas, y la Práctica Comunitaria del OGC ha definido dicho cubo de datos como "establecido sobre la base de una Cobertura con un sistema de cuadrícula específico para datos geoespaciales con al menos una dimensión de definición espacial o temporal" (OGC, 2020). El ARD es pues fundamental para el cubo de datos de observación terrestre, que integra estos datos en una matriz lógica (como 5-D x/y/z/t/b para series temporales de imágenes, integrando la localización geográfica y la elevación (x,y,z), el tiempo (t), y la banda del espectro electromagnético (b), de modo que los datos se "apilan" por tiempo de adquisición) para permitir tanto el análisis espacial (horizontal y vertical) como el multitemporal.

El Cubo de Datos de Geociencia Australiano (AGDC) fue el primer cubo de datos de observación terrestre del mundo, concebido por Geoscience Australia y desarrollado en colaboración con varias organizaciones durante varios años. Se originó como una iniciativa para maximizar el impacto de los archivos de imágenes de la superficie terrestre de Landsat que habían sido adquiridos sobre la región de Australasia por sucesivas misiones Landsat desde la primera participación de Australia en el programa en 1979 (Lewis et al, 2017). El AGDC se relanzó como versión 2 (AGDCv2) en 2017, y evolucionó en la implementación de Digital Earth Australia (DEA) del Cubo de Datos Abiertos (ODC), una iniciativa global adoptada por el CEOS para proporcionar una solución de libre acceso con el fin de agilizar la distribución y gestión de datos satelitales para los proveedores, al tiempo que se reducen las barreras técnicas para los usuarios operativos, especialmente en los países en desarrollo.

El AGDC se diseñó para abordar las "tres V" de los desafíos de los macrodatos, a saber, Volumen, Velocidad y Veracidad, y con una mayor consideración de la Variedad, para la gestión integrada, la trazabilidad y la mejora de la extracción de información oportuna y relevante a partir de volúmenes de datos crecientes (Lewis et al, 2017). Por lo tanto, los protocolos se implementaron teniendo en cuenta la necesidad de una alta calibración de las observaciones por satélite, la entrega de mediciones básicas estandarizadas y una geolocalización precisa. Las correcciones geométricas y radiométricas proporcionan un ARD corregido para una serie de variaciones en las condiciones de observación y las diferencias entre sensores, con el fin de garantizar la alineación espacial de píxeles multisensor y la entrega de mediciones cuadriculadas de reflectancia superficial normalizada, de modo que las observaciones sean comparables a través del tiempo y el espacio. La evaluación de la calidad y los indicadores de calidad aplicados a los niveles de conjunto de datos y de píxeles permiten a los usuarios identificar observaciones no deseadas para aplicaciones específicas sin descartar escenas enteras, a fin de minimizar la pérdida de observaciones útiles. A continuación, los datos se indexan o ingieren como conjuntos de datos multidimensionales mediante la partición espacial de los datos en mosaicos y su empaquetado en archivos netCDF antes de derivar productos del cubo de datos (Lewis et al, 2017). Para obtener más información sobre el desarrollo de este cubo de datos, consulte un documento de acceso abierto disponible aquí.

La ODC se está utilizando para satisfacer las necesidades específicas de los usuarios a nivel mundial con el fin de maximizar el impacto de los datos de observación terrestre y abordar el reto de la "ampliación" en muchas economías, presentado en términos de acceso limitado a la descarga de datos, preparación de datos y análisis eficientes de imágenes satelitales. En esencia, la ODC es un conjunto de bibliotecas Python y una base de datos PostgreSQL que ayuda a trabajar con datos ráster geoespaciales (ODC, 2020). La ODC permite un despliegue flexible (desde el ámbito local hasta la nube) de su arquitectura de explotación de datos de libre acceso y facilita la puesta en común de código, herramientas y algoritmos. El ODC puede catalogar grandes cantidades de datos de cualquier proveedor de datos satelitales, que habitualmente se almacenan en formatos de archivo GeoTIFF o NetCDF, pero que pueden incluir cualquier cosa que pueda ser leída por GDAL (Leith, 2019). Además, el ODC sirve de puente entre los datos y las aplicaciones, con un conjunto de herramientas de código abierto y una API basada en Python que permite el acceso y la consulta de datos de alto rendimiento, y aplicaciones que incluyen análisis científicos listos para ejecutar en forma de cuadernos Jupyter (ODC, 2020).

Ejemplos de Aplicación

Las características del DEA descritas anteriormente han permitido el desarrollo de flujos de trabajo automatizados para la caracterización a escala continental de la superficie terrestre, las costas y los océanos a través del tiempo, y responden a la demanda de acceso casi en tiempo real a archivos completos de datos satelitales de resolución media para aplicaciones que incluyen técnicas de análisis de series temporales para detectar cambios, y el uso de composites de píxeles claros para análisis precisos en regiones que experimentan una alta frecuencia de nubes (Lewis et al, 2017). Por ejemplo, los científicos han utilizado el DEA para producir composiciones del "mejor píxel disponible" de las extensiones máximas de marea alta y marea baja en una zona estuarina de Australia, basándose en una serie temporal de 28 años de observaciones Landsat, de 1987 a 2006. Se seleccionaron los valores medios de reflectancia de la superficie correspondientes al 10% más alto y más bajo de las mareas observadas para la generación de los mosaicos de capas resumen del estuario en diferentes estados biofísicos. La metodología sirvió de base para la creación de un producto de mapas intermareales nacionales para mejorar la vigilancia de la costa de Australia y demostró las claras ventajas de aprovechar la arquitectura del cubo de datos para mapear ecosistemas dinámicos en lugar de basarse en análisis que utilizan un pequeño número de imágenes de satélite individuales (Lewis et al, 2017).

El Cubo de Datos de Taiwán (TWDC) es una aplicación del ODC con un archivo de datos ARD procedentes de sensores como Sentinel-1, Landsat 7, Landsat 9 y dos satélites FORMOSAT gestionados por la Organización Nacional Espacial (NSPO), que forma parte de los Laboratorios Nacionales de Investigación Aplicada (NARLabs) de Taiwán. TWDC se está desarrollando para abordar la reducción del riesgo de desastres a escala regional y nacional, lo que se ejemplifica con el desarrollo de productos de información sobre desastres derivados de TWDC que apoyarán los esfuerzos de Sentinel Asia, una plataforma de cooperación internacional y un mecanismo de emergencia que contribuyen a la gestión de desastres en la región de Asia y el Pacífico (Cheng et al, 2019). Por ejemplo, se demostró la aplicación de TWDC en la respuesta a desastres por inundaciones utilizando datos de Sentinel-1 para la generación rápida de un mapa de una zona urbana inundada. Tras un período de precipitaciones extremas e inundaciones en el sur de Taiwán el 26 de Agosto de 2018, se aplicó la diferenciación multitemporal de retrodispersión de radar en dos imágenes de radar de apertura sintética (SAR) adquiridas el 14 y el 26 de Agosto de 2018, respectivamente (Cheng et al, 2019). Dado que el coeficiente de retrodispersión del agua suele mostrar valores más bajos en relación con otros objetos terrestres como resultado de sus propiedades de reflectancia en el rango espectral de las microondas, se pudo extraer la zona inundada y no inundada aplicando un umbral a la diferencia de retrodispersión entre las imágenes anteriores y posteriores a la inundación (Cheng et al, 2019).

Implementaciones de Cubos de Datos

Los datos de observación terrestre representan una fuente de información extremadamente valiosa para ayudar a los responsables de la toma de decisiones en todos los aspectos de la sociedad, incluido el cumplimiento de los Objetivos de Desarrollo Sostenible (ODS) de las Naciones Unidas y el Marco de Sendai para la Reducción del Riesgo de Desastres 2015-2030 (ODC, 2020). Al incorporar y procesar automáticamente datos procedentes de múltiples sensores para ARD, incluida la corrección del ruido, el ángulo solar y de visión, la topografía, el ángulo de incidencia del radar y la atmósfera, se está reduciendo el tiempo y el coste de utilización de los datos de observación terrestre. Así pues, los cubos de datos están desplazando la atención de los analistas que cotejan y preprocesan conjuntos de datos brutos hacia el desarrollo de aplicaciones innovadoras.

Los cubos de datos pueden clasificarse en cubos de datos abiertos, que ofrecen una arquitectura de explotación de libre acceso, o servicios privados y comerciales, que suelen funcionar como asociaciones entre empresas líderes del sector, como el Euro Data Cube y Sentinel Hub, que proporcionan acceso a los datos, potencia de procesamiento y espacio de trabajo en la nube. La solución ODC de código abierto tiene la capacidad de implementarse en diversas infraestructuras computacionales, como la Infraestructura Nacional de Computación de Australia, la instalación de supercomputación que facilitó el desarrollo de AGDC, hasta infraestructuras comerciales en la nube (Dhu et al, 2019). Los cubos de datos se están estableciendo a escala regional y nacional, pero también pueden desarrollarse para aplicaciones específicas. Por ejemplo, iMMAP, una organización internacional sin ánimo de lucro cuyo objetivo es prestar servicios de gestión de la información a organizaciones humanitarias y de desarrollo, está trabajando en el desarrollo de un cubo de datos listos para el análisis (ARDC) para Oriente Medio y el Norte de África (MENA) basado en la infraestructura de la ODC para responder a las necesidades del sector humanitario, incluyendo la monitorización de desastres como inundaciones, incendios forestales y corrimientos de tierras. Puede leer más sobre la iniciativa aquí, que podrá desplegarse en cualquier región del mundo, pero que inicialmente se centrará en países de la región MENA como Siria, Jordania, Líbano e Irak.

Mientras que los cubos de datos individuales a nivel nacional apoyarán la política nacional y la toma de decisiones, el desarrollo de cubos de datos regionales (como Digital Earth Africa) permitirá abordar cuestiones transfronterizas relevantes para la política regional y las necesidades de planificación (Dhu et al, 2019). Este último tipo de cubo de datos puede ser especialmente importante para la gestión de todas las fases del ciclo de desastres, ya que los peligros y sus impactos a menudo no se limitan al interior de las fronteras nacionales y pueden requerir colaboración y planificación regional para abordarlos. Entre los ejemplos de cubos de datos abiertos regionales y nacionales ya implementados y/o en desarrollo se incluyen:

• Cubo de Datos de Brasil (en desarrollo desde Enero de 2019): En desarrollo por el Instituto Nacional de Investigaciones Espaciales (INPE) de Brasil, el proyecto tiene como objetivo crear cubos de datos multidimensionales para facilitar la extracción de información sobre el uso y la cobertura del suelo utilizando el aprendizaje automático y series temporales de imágenes satelitales, y apoyar el Programa de Monitoreo de Biomas de Brasil. El cubo de datos de Brasil pretende crear ARD a partir de imágenes de satélite de resolución media de todo el territorio brasileño procedentes de las colecciones Landsat, Sentinel y del programa de Satélite de Recursos Terrestres China-Brasil (CBERS).
• Cubo de Datos de Colombia (CDCOL): Una implementación del ODC lanzada en 2016, desarrollada por el Instituto de Hidrología, Meteorología y Estudios Ambientales (IDEAM) y la Universidad de los Andes. CDCOL está permitiendo a los usuarios de las instituciones colombianas desarrollar algoritmos, ejecutar análisis y crear productos a partir de grandes conjuntos de datos terrestres. Sus objetivos principales son apoyar la vigilancia forestal a escala nacional y la detección de cambios en el territorio. Puede inscribirse aquí.
• Tierra Digital África (ED África): En 2020, DE África hizo la transición del Cubo de Datos Regional Africano (lanzado en 2018, e inicialmente apoyando a cinco países de África central: Kenia, Senegal, Sierra Leona, Ghana y Tanzania) para aumentar la escalabilidad y funcionalidad del proyecto a una infraestructura de datos e información totalmente operativa que proporcione servicios, conjuntos de datos y productos avanzados a escala continental. DE Africa proporciona décadas de datos ARD de las colecciones Landsat 5, 7 y 8, Sentinel-1 y Sentinel-2 de acuerdo con el marco CARD4L. DE Africa utiliza GeoTIFFs optimizados en la nube para permitir flujos de trabajo más eficientes en la nube y metadatos de especificación del Catálogo de Activos Espaciales y Temporales (STAC) para que los datos se indexen y descubran más fácilmente. Una mejor comprensión del paisaje cambiante de África ayudará a los responsables de la toma de decisiones con ideas y conocimientos a todos los niveles (desde el gubernamental hasta las empresas locales y los agricultores), para apoyar el seguimiento de los ODS de la ONU y abordar cuestiones relacionadas con la agricultura, la seguridad alimentaria, la deforestación, la urbanización, el acceso al agua, etc.
• Cubo de Datos Mexicano (en desarrollo): Una implementación del ODC en desarrollo por el Instituto Nacional de Estadística y Geografía (INEGI) para abordar los desafíos tecnológicos y de infraestructura que limitan el procesamiento y la integración de los datos de observación terrestre en los procesos a nivel nacional. El cubo de datos mejorará el detalle y la entrega oportuna de los mapas nacionales y estará orientado a apoyar las agendas locales y globales prioritarias, en particular el cálculo de los indicadores de los ODS. Entre los productos en desarrollo se incluyen Geomediana Landsat para la producción de mosaicos de resumen continuos y sin nubes que preservan las relaciones espectrales permitiendo la extracción de índices espectrales, y el algoritmo de Observaciones de Agua desde el Espacio (WOfS) (desarrollado en Australia) para calcular el porcentaje de observaciones claras en las que se detecta agua superficial (Juárez Carrillo et al, 2020).
• Cubo de Datos Suizo: Una implementación de la ODC operada por ONU Medio Ambiente/GRID-Ginebra y la Universidad de Ginebra para apoyar el monitoreo ambiental, la elaboración de informes y un mejor conocimiento del medioambiente suizo utilizando datos de observación terrestre y productos de información cuantitativa. El Cubo de Datos Suizo cuenta ahora con un archivo ARD de seis terabytes que abarca 35 años y aproximadamente 10.000 imágenes de Landsat 5, 7, 8 (1984-2017), Sentinel-1 y Sentinel-2 (desde 2015). Las aplicaciones del Cubo de Datos Suizo han incluido el desarrollo del algoritmo de Observaciones de la Nieve desde el Espacio (SOfs) para el seguimiento de la cubierta de nieve y la variabilidad en todo el país, que es esencial para la gestión de las fuentes de agua y tiene importantes implicaciones para la gestión del riesgo de inundaciones (Dhu et al, 2019).
• Uganda DFMS: Operativo desde 2019 y previsto en fase de prueba hasta 2022, el proyecto Servicio de Mitigación de Sequías e Inundaciones (DFMS) se basa en la tecnología ODC. El proyecto está financiado por la Agencia Espacial del Reino Unido y dirigido por el Grupo RHEA en asociación con varios socios del proyecto ugandeses y con sede en el Reino Unido. El DFMS se centrará en mitigar los efectos de la sequía y las inundaciones, reducir los impactos del cambio climático en la sociedad ugandesa y aumentar el impacto de la recogida y procesamiento de datos para la generación de información y conocimientos que se proporcionarán a los responsables de la toma de decisiones en Uganda para apoyar este objetivo. Los productos incluirán previsiones (como la escorrentía hidrológica a 2 y 7 días) y servicios de seguimiento y análisis (como los cambios en la humedad del suelo y la evapotranspiración) basados en imágenes satelitales que cubran todo el país.

Otras implementaciones de países de la ODC actualmente en desarrollo incluyen cubos de datos de Vietnam, Georgia, Moldavia, el Reino Unido y los EE.UU. Puede obtener más información sobre las implementaciones internacionales de cubos de datos de la ODC "Road to 20" previstas para 2022 y los posibles cubos de datos de países en revisión aquí.

Referencias

1. Cheng, M-C., Chang, L-Y., Kawakita, S., Chen, B., Liu, C., Lin, H-C., Lin, L-C (2020). ‘Development of Open Data Cube to Facilitate Disaster Risk Reduction’. IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium, 26 Sept-2 Oct 2020. DOI: 10.1109/IGARSS39084.2020.9324214.
2. Christopherson, J.B., Ramaseri Chandra, S.N., and Quanbeck, J.Q. (2019). 2019 Joint Agency Commercial Imagery Evaluation—Land remote sensing satellite compendium: U.S. Geological Survey Circular 1455, 191 p., https://doi.org/10.3133/cir1455.
3. Dhu, T., Giuliani, G., Juárez, J., Kavvada, A., Killough, B., Merodio, P., Minchin, S., Ramage, S (2019). ‘National Open Data Cubes and Their Contribution to Country-Level Development Policies and Practices’. Data, 4(4):144, https://doi.org/10.3390/data4040144.
4. Juárez Carrillo, O.J., Merodio Gómez, P., del Socorro Ponce Medina, M., Ornelas de Anda, J.L., Coronado Iruegas, A.A (2020). ‘Cubo de datos geoespaciales para el uso de las imágenes satelitales en la generación de información geográfica y estadística’. Realidad, Datos y Espacio, Revista Internacional de Estadística y Geografía, 11:3, pp. 124-139.
5. Leith, A (2019). What is the Open Data Cube? Medium blog post. Accessible via: https://medium.com/opendatacube/what-is-open-data-cube-805af60820d7 (accessed on 21/05/2021).
6. Lewis, A., Oliver, S., Lymburner, L., Evans, B., Wyborn, L, et al. (2017). ‘The Australian Geoscience Data Cube-Foundations and lessons learned’. Remote Sensing of Environment, 2020, 276-292, http://dx.doi.org/10.1016/j.rse.2017.03.015.
7. Open Data Cube (2020). Overview. Accessible via: https://www.opendatacube.org/overview (accessed on 21/05/2021).
8. Open Geospatial Consortium (2020).Geospatial Coverages Data Cube Community Practice. Version 1.0, OGC Document 18-095r7. Available at: https://www.ogc.org/docs/cp.
9. Siqueira, A., Lewis, A., Thankappan, M., Szantoi, Z., Gory, P. et al. (2019). CEOS Analysis Ready Data for Land-An Overview on the Current and Future Work. IGARSS 2019 - 2019 IEEE International Geoscience and Remote Sensing Symposium, pp.5536-5537.DOI: 10.1109/IGARSS.2019.8899846.