A hardware implementation of Compressive Sensing Theory

Implementación a nivel de hardware de la teoría de Compressive Sensing

Alexis D. Velázquez, José Luis Paredes, Francisco Viloria

Escuela de Ingeniería Eléctrica, Universidad de Los Andes. Mérida 5101, Venezuela. Tel-Fax: (0274) 240 2903

Abstract

In this paper, the new theory of compressive sensing (CS) that unifies signal sensing and compression into a single task is implemented on a Digital Signal Processing (DSP) board. An iterative algorithm for signal reconstruction known as Matching Pursuit is implemented on the DSP and used to the reconstruction of real signals from a reduced set of random projections. Two kinds of validation procedures are used to test the reconstruction algorithm implemented. More precisely, sparse signals synthesized on the DSP and sparse signals generated by a special-purpose generator are used to experimentally test the compressive sensing theory verifying in this way its potential. It is shown that the CS theory is able to recover the most significant values of the underlying signal, while yielding negligible differences between the original signals and the reconstructed ones.

Keywords: Compressive Sensing, sparse signals, signal reconstruction, Matching Pursuit.

Resumen

En este artículo, la nueva teoría de Compressive Sensing es implementada en una tarjeta de adquisición. Esta teoría permite realizar en forma simultánea los procesos de muestreo y compresión de señales poco densas. El algoritmo iterativo de reconstrucción Matching Pursuit es implementado y usado para la reconstrucción de señales reales a partir de un conjunto reducido de proyecciones aleatorias. El algoritmo implementado es sometido a dos diferentes tipos de validación: 1) la reconstrucción de señales sintetizadas en la tarjeta y 2) la reconstrucción de señales pocos densas producidas por un generador de propósitos especiales. Se corrobora experimentalmente el potencial de esta teoría al comparar las señales reconstruidas con respecto a las señales originales observándose prácticamente no diferencia apreciable.

1. Introducción

Compressive Sensing (CS) es una teoría recientemente introducida por Candes [1] y Donoho [2], la cual intenta unificar el proceso de muestreo y compresión de señales pocos densas en forma simultánea. En principio, la teoría de CS establece que una señal poco densa puede recuperarse, con alta probabilidad, a partir de un conjunto reducido de proyecciones lineales aleatorias usando algoritmos de reconstrucción no lineal. La señal puede ser poco densa en cualquier dominio (tiempo, frecuencia, wavelet, etc.) y el número de proyecciones aleatorias usadas para recuperar la señal, en general, es mucho menor que el número de muestras, permitiendo así re- Rev. Téc. Ing. Univ. Zulia. Vol. 34, No. 3, 2011 ducir la frecuencia de muestreo y como consecuencia disminuir los recursos de conversión analógico-digital, los recursos de almacenamiento y/o los recursos de transmisión. Innumerables trabajos han sido reportados recientemente donde se muestra el potencial de uso de esta teoría (Ver el compendio de trabajos disponibles en www.dsp.ece.rice.edu/cs/), incluyendo la implementación a nivel de dispositivo de adquisición de señales bidimensionales [3]. Ante tales prometedores resultados surge la necesidad de realizar una implementación a nivel de hardware (tarjeta de desarrollo) de la teoría de Compressive Sensing (CS) con lo cual se permita corroborar experimentalmente y a nivel de dispositivos de hardware tal teoría, así como también estudiar las limitaciones y los aspectos inherentes a un proceso de implementación. En este trabajo se implementa la teoría de Compressive Sensing en la tarjeta de desarrollo TMS320C30. Inicialmente, se hacen pruebas del algoritmo de reconstrucción no lineal implementado en la tarjeta así como del proceso de proyección usando señales sintetizadas generadas en la misma tarjeta. Seguidamente, usando un generador programable se generan señales poco densas en el dominio de la frecuencia (señales cuadradas, triangulares, o combinaciones lineales de funciones senos/ cosenos) las cuales se adquieren a través de la tarjeta de desarrollo, se proyectan y se ejecuta el algoritmo de reconstrucción en la tarjeta de desarrollo. A fin de validar el proceso de reconstrucción, se compara la señal analógica producida por el generador programable con la obtenida por el algoritmo de reconstrucción, ambas mostradas en un osciloscopio digital.

2. Revisión de la teoría de Compressive Sensing

Sea el vector cuyas componentes representan la versión discretizada de una señal analógica de interés y la matriz cuyas columnas definidas en 2N conforman un diccionario de funciones básicas, ortogonales o no, que son usadas para representar señales como combinaciones lineales de ellas. A los vectores , se les denominan átomos del diccionario y pueden ser funciones bases senos y/o cosenos, funciones ortogonales generadas a partir de una función generatriz tipo wavelet, o funciones no ortogonales generadas a partir de una función generatriz cualquiera [4]. Se dice que X es poco densa si ésta puede representarse como una combinación lineal de K componentes del diccionario , es decir:

T es un vector con K componentes distintas de cero; el valor de #i representa la contribución de la i-ésima componente del diccionario en la conformación de la señal X a lo largo de todo su dominio de definición.

Sea la matriz de proyección aleatoria, donde cada componente de dicha matriz, 5i , j, proviene de una distribución normal de media cero y varianza1/ N o de una distribución de Bernoulli. Adicionalmente, se considera que las filas de la matriz de proyección sean incoherentes con las columnas de 3, es decir, ningún vector columna de 3 puede ser una combinación lineal de unas pocas filas de . El conjunto de mediciones aleatorias, denotado por Y, se obtienen al proyectar la señal original X en la base creada por la matriz de proyección

Como se puede observar en la Ec. (2), el vector M-dimensional Y contiene la proyección de la señal de interés sobre una base aleatoria. En general, M << N, por lo que se tiene entonces un proceso de compresión, dado que la información representada por el vector N-dimensional X ha sido compactada en sólo M componentes.

La teoría de CS establece que existe un factor c > 1, tal que con sólo M f (cK) medidas incoherentes son necesarias para reconstruir, con una alta probabilidad, la señal X a partir del conjunto de proyecciones aleatorias Y, resolviendo para ello el problema de optimización [1, 2]:

donde representa la norma l0, definida como el número de componentes del vector distintas de cero y es el diccionario holográfico dado por la proyección de cada átomo del diccionario, donde la señal original es poco densa, en el espacio expandido por la matriz aleatoria de proyección.

La minimización de la norma l0 es un problema de optimización no-convexo de elevada complejidad, por lo que envuelve dificultades computacionales en su solución [2, 5]. A fin de superar tal inconveniente, el problema de minimización dado por la Ec. (3) se puede reformular mediante la solución de un problema no-cuadrático convexo conocido como Basis Pursuit [6], cuya solución rinde el vector 4 de baja densidad y como consecuencia la señal original X es recuperable a partir de sus proyecciones aleatorias. Específicamente, el problema de optimización (3) usando Basis Pursuit se reduce a:

donde denota la norma definida como:

Obsérvese que en la formulación de CS sólo se requiere como información a priori el dominio en el cual la señal es poco densa. Obsérvese además que las proyecciones obtenidas son completamente independientes de la estructura de la señal. Ahora bien, resolver el problema de optimización Basis Pursuit dado por Ec. (4) sigue siendo computacionalmente costoso y no apropiado para aplicaciones en tiempo real, por lo que se han desarrollado un conjunto de algoritmos iterativos, rápidos y eficientes, que a costa de un pequeño incremento en el número de proyecciones, resuelven el problema de optimización definido en (4). Entre estos algoritmos de reconstrucción se encuentran el Matching Pursuit [7], Orthogonal Matching Pursuit [8], Regularized Orthogonal Matching Pursuit [9], entre otros. En este trabajo se realiza el proceso de reconstrucción usando el algoritmo Matching Pursuit, el cual presenta un menor costo computacional en comparación a los demás algoritmos [8].

El algoritmo de reconstrucción MP es un algoritmo iterativo computacionalmente sencillo que recupera la señal original siguiendo el procedimiento descrito a continuación. Inicialmente se determina cuál de los átomos del diccionario holográfico es el que aporta la mayor contribución a la definición de la señal proyectada, se encuentra un estimado de dicha contribución y se remueve el correspondiente átomo de la conformación de la señal proyectada, definiéndose así una señal residuo. Seguidamente, se busca de nuevo cuál de los átomos del diccionario holográfico está presente con mayor fuerza en la señal residuo y se le sustrae del mismo. Este procedimiento es iterativamente repetido hasta que el residuo contenga información irrelevante de la señal original. La Figura 1 muestra el algoritmo MP. Como se puede observar en la Figura 1, en cada iteración se determina el grado de similitud entre la señal residuo (proyección aleatoria para la primera iteración) y cada átomo del diccionario usando el producto escalar como medida se similitud entre señales. Aquel átomo del diccionario holográfico que más se parezca a la señal residuo tendrá asociado el máximo producto escalar. Encontrado dicho átomo, se substrae del residuo eliminándose así su contribución. Seguidamente, se actualiza el estimado del vector 4 que en la medida en que progrese el algoritmo iterativo contendrá el estimado de la contribución de cada átomo en la definición de la señal. Finalmente, el estimado de la señal original se obtiene mediante la superposición de los distintos átomos encontrados en el proceso iterativo ponderados por su correspondiente contribución, es decir:

Observe además que el algoritmo debería iterar tantas veces como átomos conformen a la señal1, sin embargo es posible que un mismo átomo sea seleccionado varias veces como el átomo que contribuye mayormente a la definición del residuo, en cuyo caso el número de iteraciones crece, aumentando el tiempo y el costo computacional para reconstruir la señal dada.

Como se mostró en [8], el costo computacional de este algoritmo está determinado principalmente por el paso en que se busca el átomo del diccionario holográfico que aporta la mayor contribución a la definición de la señal proyectada, siendo el costo computacional de este paso de orden O(K×M×N), donde K es el nivel de densidad de la señal original, M el número de proyecciones, y N la dimensión de la señal original.

3. Implementación en la tarjeta de desarrollo de la teoría de Compressive Sensing

3.1. Descripción del sistema de desarrollo

En esta sección se describe brevemente las características del sistema de desarrollo TMS320C30 tales como la velocidad del procesador, capacidad de memoria, puertos de entrada y salida, velocidad de muestreo, consumo de energía y lenguaje de programación soportado por la tarjeta de desarrollo, incluyendo las librerías disponibles para realizar las operaciones matemáticas necesarias en el sistema de desarrollo (Ver referencia [10] para mayores detalles.

Procesador: El procesador de la tarjeta TMS320C30 contiene unidades aritméticas de tipo entero y punto flotante, procesa palabras de 2048 × 32 bit on-chip RAM, palabras de 4096 × 32 bit on-chip ROM, posee una unidad de control de interfaces en serie y en paralelo y velocidad del reloj de 33,3 MHz, para un rendimiento de 16,7 millones de instrucciones procesadas por segundo.

Memoria: La tarjeta incluye dos áreas de memoria denominadas por el fabricante como áreas A y B. El área A se divide en tres bloques de 64 k-palabra de 32 bit cada uno para un total de 192 k-palabra de 32 bit. El área B, es un solo bloque de 64 k-palabra de 32 bit para un total de memoria disponible de 256 k-palabra de 32 bit para almacenamiento temporal de los datos.

Interfaz analógica: La tarjeta de desarrollo incluye cuatro canales analógicos, dos de conversión analógica-digital de 16 bits y dos para la conversión digital-analógica, soportando velocidades de muestreo de hasta los 200 kHz. Los canales de entrada incluyen circuitos de muestreo y retención, ambos protegidos a través de un filtro paso bajo del tipo Sallen-Key de cuarto orden. La velocidad de muestreo es de 20 kHz limitada por el ancho de banda de los filtros de protección.

Programación: SPOX es el software que incluye las librerías necesarias para la ejecución de instrucciones en el procesador de señales TMS320C30, sin embargo, es posible ejecutar dichas instrucciones sin el uso de las librerías utilizando programación de bajo nivel (código assembler). SPOX presenta un software de alto nivel para el hardware del DSP que no sé requiere de una experiencia avanzada para su programación, ya que se puede programar usando líneas de código del C estándar. La librería que maneja el DSP se pueden agrupar en dos grandes módulos: Un Módulo básico el cual incluye el conjunto de funciones para la gestión de memoria y el manejo de buffer de entrada-salida, y un Módulo matemático el cual incluye las librerías que permiten realizar operaciones aritméticas, lógicas e incluso de procesamiento de señales tales como convolución, auto-correlación, transformada de Fourier, operación de filtrado vía enventanado, entre otras. Además, el módulo matemático permite realizar operaciones básicas vectoriales y matriciales como producto escalar entre vectores, suma y multiplicación de matrices, transposición, y asignación de matrices. Adicionalmente, posee funciones para la generación de números seudo aleatorios que siguen una distribución gausiana y una distribución uniforme entre 0 y 1.

3.2. Montaje experimental

El algoritmo de reconstrucción MP descrito en la Figura 1 se implementó en la tarjeta de desarrollo TMS320C30, optimizándose la implementación mediante el uso de las librerías que dispone la tarjeta. Se realizó una serie de pruebas que validaron el funcionamiento del algoritmo así como también la teoría de Compressive Sensing en forma experimental.

A fin de validar la implementación desarrollada, se realizan dos tipos de pruebas. Inicialmente se generan señales sintetizadas en la tarjeta de desarrollo para su posterior proyección aleatoria y reconstrucción mediante el algoritmo MP, ambos implementados en la tarjeta de desarrollo, tal como se muestra en la Figura 2(a).

Como un segundo grupo de pruebas, se adquieren señales reales poco densas en el dominio de la frecuencia, producidas por un generador programable. Se muestrean dicha señal a través de uno de los canales de entrada de la tarjeta de desarrollo, tal como se muestra en la Figura 2(b).

Seguidamente, se proyecta aleatoriamente dicha señal y se reconstruye usando el algoritmo MP implementado en el DSP. Se valida el procedimiento de reconstrucción mediante la observación de la señal real generada y la señal reconstruida ambas visualizadas en un osciloscopio digital.

4. Resultados y análisis

4.1. Reconstrucción de señal sintetizada poco densa en el dominio de la frecuencia

Sea la señal

para n = 0,1,…, 800 sintetizada en la tarjeta de desarrollo. Dicha señal contiene tres componentes de frecuencia, por lo tanto es una señal poco densa en el dominio de la frecuencia. Considere la construcción del diccionario de Fourier dado por las funciones parametrizadas:

para otros valores de f, siendo N el tamaño de la señal sintetizada. Obsérvese que los átomos del diccionario, columnas de la matriz , se generan al definir valores discretos para el parámetro f. En nuestra aplicación f= 0,5,10,15,…F₀, siendo F₀ la frecuencia máxima contenida en el diccionario.

Para nuestro caso esta frecuencia máxima fue fijada en 100 Hz. Así, el diccionario está conformado por 42 átomos usándose 33.6 k-palabra de 32 bit de la memoria del dispositivo. La cantidad de átomos en el diccionario puede ser mucho mayor si se realiza la implementación en una tarjeta con mayor capacidad de memoria que la empleada en este trabajo. A modo de prueba los 42 átomos disponibles son suficientes para corroborar la teoría Compressive Sensing y el algoritmo Matching Pursuit (MP), y demostrar que sí es posible recuperar una señal poco densa a partir de un conjunto muy reducido de proyecciones aleatorias.

La Figura 3(a) muestra de arriba hacia abajo la señal sintetizada, la señal reconstrucción y el error como la diferencia entre las dos señales anteriores, respectivamente. La Figura 3(b) muestra las proyecciones de la señal y el error de reconstrucción en modo expandido. Observe con particularidad el orden de magnitud de la señal de error. Estas dos últimas figuras se generaron a partir de los registros guardados en archivos y posteriormente leídos usando Matlab©.

4.2. Reconstrucción de señales reales adquiridas por el sistema de desarrollo

La Figura 4(a) muestra la señal original proveniente del generador, su reconstrucción y el error que se comete al recuperar la señal a partir del conjunto de proyecciones. La señal original es adquirida por la tarjeta, proyectada usando la base aleatoria y reconstruida a partir de tan sólo 10 proyecciones aleatorias. La Figura 4(b) muestra las proyecciones y el error ampliado que se comete en la reconstrucción.

Observe en la Figura 4(a) la limitación de la frecuencia de trabajo del convertido digital analógico donde se observa el efecto de cuantización a 16 bits y el valor constante de la señal reconstruida entre sucesivos instantes de muestreo. Obsérvese además, en la Figura 4(b), que la señal mostrada no sólo refleja el error de reconstrucción sino además el error típico de cuantización propio de un proceso de conversión analógico-digital- analógico.

Finalmente, considere una señal X(t) triangular anti-simétrica y periódica con valor medio cero y frecuencia fundamental 100 Hz generada por el Generador de Señales. Como es conocido dicha señal puede ser aproximada por la superposición de señales sinusoidales con frecuencia múltiplos de la frecuencia fundamental. Específicamente,

son los coeficientes de Fourier que para el caso de la señal triangular es dado por

Para un valor de K´>10, dicha aproximación es bastante buena, por lo que se puede considerar que X(t) es poco densa en el dominio de la frecuencia y por lo tanto la teoría de Compressive Sensing puede ser aplicada.

En la Figura 5 se muestra los correspondientes resultados. Como se puede observar el error cometido en el proceso de reconstrucción es elevado en los picos de la señal triangular debido a las discontinuidades existentes en estos puntos que implica altas frecuencia que no se encuentran definidos como parte del diccionario.

Para este caso el diccionario contiene un conjunto finito de 21 componentes de frecuencia donde se encuentran contenidos los 5 primeros armónicos diferentes de cero de la señal original.

Al igual que en las pruebas anteriores la cantidad de armónicos en el diccionario está limitado a la capacidad de almacenamiento de la tarjeta. Observe que la señal es poco densidad en el dominio de Fourier y de manera aproximada se puede reconstruir una señal triangular ó cuadrada a partir de sus 5 primeros armónicos.

La Tabla 1 muestra los coeficientes del vector que arroja el algoritmo Matching Pursuit

para la reconstrucción de la señal triangular para diferentes realizaciones de la matriz de proyección.

para m impar, en consecuencia la señal reconstruida se aproxima a la señal triangular.

Finalmente cabe mencionar que se hicieron experimentos con señales poco densas en el dominio del tiempo y en el dominio wavelet corroborándose experimentalmente la aplicación de la teoría, por razones de espacio no son incluidos en el presente artículo. Ver referencia [12] para mayores detalles.

5. Conclusiones

En este trabajo se comprobó de manera práctica el potencial que tiene la teoría de CS en la reconstrucción de señales poco densas a partir de un conjunto limitado de proyecciones aleatorias.

Se implementó el algoritmo MP en una tarjeta de desarrollo, se adquirió las señales reales poco densas en la frecuencia y se usó el algoritmo MP para su correspondiente reconstrucción. Se mostró que, con pocas iteraciones, el algoritmo MP detecta las componentes sinusoidales que conforman la señal de interés. El potencial de uso de una implementación a nivel de hardware como la desarrollada en este trabajo emerge en el escenario donde las proyecciones aleatorias son transmitidas a través de un canal de comunicación y el receptor requiere reconstruir la señal para su posterior manipulación. Al realizar tal operación a nivel de hardware (tarjeta de desarrollo) evita el uso de recursos de software y acelera el proceso de reconstrucción.

Agradecimiento

Los autores desean expresar su gratitud al Fondo Nacional de Ciencia, Tecnología e Innovación (FONACIT) bajo el Proyecto G-2005000342 y al Consejo de Desarrollo Científico, Humanístico y Tecnológico de la Universidad de Los Andes (CDCHT-ULA) bajo el proyecto I-1109-08-02-F por el soporte económico dado en el desarrollo de presente trabajo. Igualmente, agradece al Laboratorio de Investigación y Desarrollo en Automatización e Instrumentación (LABIDAI) por ceder sus equipos y espacios para el desarrollo de este trabajo.

Referencias bibliográficas

2. Donoho, D. Compressed Sensing. IEEE Transactions On Information Theory, Vol. 52, Nº 4, (2006) 1289-1306.

3. Duarte Marco, Davenport Mark, Takhar Dharmpal, Laska N. Jasson, Sun Ting, Kelly F. Kevin, y Baraniuk Richard G. Single-Pixel Imaging via Compressive Sampling. IEEE Signal Processing Magazine. Vol. 25, Nº 2, (2008) 83-91.

4. Paredes J.L., Arce, G y Wang Z. Ultra- Wideband Compressed Sensing: Channel Estimation. IEEE Journal of Selected Topics in Signal Processing, Vol. 1,(3) (2007) pp. 383-395.

5. Mancera, L., y Portilla, J. L0-Norm-Based Sparse Representation Through Alternate Projections. Proc. of the IEEE ICIP 2006, pp. 2089-92, Atlanta, GA, USA.

6. Chen S. S., D. L. Donoho, y M. A. Saunders, “Atomic decomposition by basis pursuit,” SIAM J. Sci. Comput., Vol. 20, Nº 1, (1998) pp. 33-61.

7. Mallat, S. G., y Zhang, Z. Matching Pursuit With Time-Frequency Dictionaries. IEEE Transactions On Signal Processing, Vol. 41 (12), (1993) 3397-3415.

8. Tropp, J. A., y Gilbert, A. C. Signal Recovery From Random Measurements Via Orthogonal Matching Pursuit. IEEE Transactions On Information Theory, Vol. 53, Nº 12, (2007) 4655-4666.

9. Needell D. y Vershynin R.. Uniform Uncertainty Principle and Signal Recovery via Regularized Orthogonal Matching Pursuit. Found. Comput. Math., Vol. 9, Nº 3, pp. 317-334.

Rev. Téc. Ing. Univ. Zulia. Vol. 34, No. 3, 2011 Implementación a nivel de hardware de la teoría de Compressive Sensing 271

11. Proakis, J. G., y Manolakis, D. G. Tratamiento Digital de Señales. 3ra Edición, Madrid, España: Prentice Hall. 1998.

12. Velazquez Alexis, Paredes José L. y Viloria Franscisco. Implementación a Nivel de Hardware de la Teoría de Compressive Sensing. Proyecto de Grado. Escuela de Ing. Eléctrica. Universidad de Los Andes. Mérida. Jun. 2008.

Recibido el 10 de Enero de 2010 En forma revisada el 26 de Septiembre de 2011

Rev. Téc. Ing. Univ. Zulia. Vol. 34, No. 3, 2011 272 Velázquez y col.