Blogia
Tio Petros

Entropía y cantidad de información (1).

- Conceptos


Los niños que nacieron esta semana en el hospital materno-infantil de nuestra comarca tenían cada uno una cabeza, dos brazos y dos piernas. El sol salió por el este, se puso por el oeste y tras el ocaso el cielo se fue oscureciendo hasta volverse negro...

Noticiario imaginario

Hace cosa de un mes establecimos en este blog qué debe entenderse por variable aleatoria desde un punto de vista totalmente riguroso. Así, el concepto intuitivo de una función que puede tomar uno de entre una serie de valores con una cierta ley de probabilidad, quedaba explicado de forma bastante pormenorizada haciendo uso del concepto de espacios y funciones medibles.

Para los fines de este post, hablaremos de variables aleatorias (v.a.)de forma menos envarada. Tenemos la v.a. X, que supondremos, aunque no tiene porqué ser así, discreta. Esto quiere decir que puede tomar los valores de un conjunto finito {x1, x2,.., xn}, con unas probabilidades definidas:

P{X= x1}=p1
P{X= x2}=p2
...
P{X= xn}=pn

Además, dado que los {x1, x2,.., xn} son todos los casos posibles, tenemos que
p1 + p2 + ... + pn = 1.

Nuestro propósito es definir dos conceptos relativos a las variables aleatorias: cantidad de información y entropía.

Si leen la noticia que encabeza este post (imaginaria evidentemente), verán que a pesar de su más que plausible veracidad, nunca periódico alguno publicará algo semejante. El motivo es claro: está enunciando unas noticias carentes e interés.

Conviene que analicemos un poco esa carencia de interés. En nuestro caso se debe a que los sucesos relatados son de tal habitualidad que no son dignos de ser reseñados. No se trata de que no sean importantes, o que dé lo mismo su cumplimiento que su incumplimiento. Se trata de que la importancia de una noticia es proporcional a su improbabilidad. Un notición es la reseña de un acontecimiento extraordinario que ocurre muy de vez en cuando. Si ocurre una única vez y es prácticamente irrepetible, se convierte en una primicia.

Esta idea intuitiva nos induce a hablar de la cantidad de información de un suceso. Cuanto mayor sea la probabilidad de que se produzca, menor será la información que aporta. Si el suceso es de probabilidad uno, la información que nos aporta su conocimiento es cero. En el caso límite contrario, un suceso de probabilidad cero nos aportaría una información infinita.

Precisamente la función logaritmo tiene unas propiedades muy buenas para cuantificar este extremo: log (x) vale cero para x=1, y va aumentando (en valor absoluto) hacia infinito conforme la x va desde la unidad hacia el cero. Definiremos por tanto la cantidad de información asociada a un suceso aleatorio de la siguiente manera:



El motivo del signo menos es que el logaritmo de todo número comprendido entre 0 y 1 es negativo.La elección de la base 2 para los logaritmos es de índole práctica e irrelevante para la explicación del concepto. Podríamos en principio poner cualquier base; simplemente es una cuestión de escala.

Mañana seguiremos por este camino, pero antes debemos definir qué cosa es la Esperanza matemática de una variable aleatoria . Con este concepto y el de cantidad de información bucearemos en la interpretación del concepto de entropía a la luz de la teoría de la probabilidad.

La Entropía tiene dos problemas:

1.- El concepto es algo difícil de pillar (no demasiado, pero requiere un cuartito de hora de atención)

2.- Es una palabra muy eufónica, suena tremendamente bien.

Ambas propiedades juntas hacen que muchos oradores la suelten, así sin más en medio de su discurso; como para dar empaque a su charla.

Este concepto de entropía es muy polifacético: aparece en matemáticas hablando de simples conjuntos (Entropía de Kolmogorov, de la que hablamos aquí), aparece en la teoría de la información con el aspecto que vamos a tratar en esta serie de post, y cómo no, aparece en física. Internamente subyace una unidad conceptual en todas estas versiones, como una medida del desorden de un sistema.

Seguiremos mañana definiendo la esperanza de una variable aleatoria; paso previo para definir la entropía.

6 comentarios

Tadalafil -

Yo ocupo saber si las formulas que nos das me pueden servir para resolver integrales de primer grado y ecuaciones.

Anónimo -

juan -

saludos y felicidades po su página, acabo de leer sus artículos sobre las sumas de infinotos ceros y me ha quedado una duda. ¿se puede definir el cero como la potencia de exponente negativo de un infinito cualquiera? porque eso nos llevaria a la posibilidad de que existiera ceros de diverso grado , puntos más grandes que otros puntos, etc

Tio Petros -

Bien, omalaled: en principio y hablando sin rigor, de forma coloquial "cantidad de información" es número de bits. Sin embargo, y dada la ineficacia de dicha definición, la cantidad de información I definida en este post nos mide precisamente la calidad de la misma.
Según dicha definición, el cantidad de información del noticiario imaginario es nula, aunque se empleen muchos bits en formularla.

omalaled -

De todos modos, Tio Petros, creo que se confunde cantidad con calidad de información. En la frase que citas del noticiario imaginario da cantidad pero no calidad. La calidad es cuando no la conocemos, ¿no?
Saludos

Duende -

Supongo que se querría referir al desorden, aunque poco tiene que ver el desorden "moral" con el desorden de la Física. El empleo de estos términos tiene que ver con tu artículo de los postmodernos franceses, aunque en estos últimos el caso es más aberrante. Obviamente, la utilización de términos científicos por parte de esta gente no añade mucha información como podría suponerse, dado el carácter aleatorio de la inclusión de los mismos. Me viene a la mente el generador automático de artículos científicos ... o la tesis doctoral en Ciencias Políticas que consistió en un discurso de una hora sin decir absolutamente nada (no debe ser coña). Saludos, Duende.