Entropía y cantidad de información (2)
Cuando nos sometemos a una situación de incertidumbre es natural preguntarse qué resultado es esperable obtener. Naturalmente, esta pregunta debe ser precisada convenientemente para que tenga operatividad.
El concepto de Esperanza matemática o valor esperado habilita la herramienta idónea para responder a dicha pregunta. Si nos jugamos a cara y cruz con nuestro oponente 1 euro a una tirada, no hace falta hacer muchas consideraciones matemáticas para comprender que la esperanza del juego es nula: por simetría no podemos asignar ventaja a ninguno de los dos jugadores, por lo que ambos están igualmente expuestos a perder un euro o a ganarlo.
Cada uno de los jugadores comprende que en ausencia de trampas hay la misma probabilidad de ganar que de perder y que en cada caso, la cantidad involucrada es 1 euro. Por lo tanto este juego tiene esperanza nula; o lo que es lo mismo; es un juego que no tiene ganancia esperada. Si jugáramos un número suficientemente grande de veces, las ganancias compensarían a las pérdidas.
Cualquier juego real de apuestas tiene esperanza negativa: lo más probable es perder dinero. El motivo por el que se juega es que en caso de ganar, los premios son de escándalo. Estamos dispuestos a perder una cantidad pequeña de dinero casi con seguridad a cambio de la posibilidad, por pequeña que sea, de hacernos ricos de la noche a la mañana. Es perfectamente comprensible, de ahí que si leen ustedes en algún sitio que la mera esperanza matemática es la mejor guía ante una situación de incertidumbre, no se lo crean demasiado por ser un razonamiento demasiado simplista.
Pues bien, armados con esta idea, definimos la Esperanza matemática de una variable aleatoria X que toma valores en un conjunto { x1 , x2 , ... , xn} con probabilidades p1, p2, ... , pn como el número real:
E[X]= p1· x1 + p2· x2 +...+ pn· xn
Esto no es sino la suma de todos los posibles premios ponderada por la probabilidad de obtenerlos.
En el caso del juego de cara y cruz con un euro en juego, tenemos:
E[X]=0.5 · 1 0,5 · 1= 0
Para variables aleatorias continuas el concepto es exactamente el mismo, sustituyendo el sumatorio por una integral, y la probabilidad de cada suceso por la densidad de probabilidad. No hay ninguna diferencia conceptual y no incidiremos en ello ahora.
Antes de continuar, es bueno advertir que no toda variable aleatoria tiene una esperanza definida. Algunas tienen esperanza infinita, por ejemplo esta: Sea un juego en el que hay una probabilidad de un medio de ganar 2 euros, un cuarto de ganar 4 , un octavo de ganar 8, etc.
X toma valores en el conjunto {2n; nN} siendo P{X= 2n} = 1/2n
Seguidamente tenéis el desarrollo que demuestra que esta v. a. no tiene esperanza finita:
Visto esto, estamos en condiciones de afrontar la definición de Entropía de una variable aleatoria .
Lo haremos utilizando dos conceptos de importancia capital: el de cantidad de información visto en el post anterior y el de esperanza matemática visto ahora. Lo haremos en el próximo post, si ustedes quieren.
El concepto de Esperanza matemática o valor esperado habilita la herramienta idónea para responder a dicha pregunta. Si nos jugamos a cara y cruz con nuestro oponente 1 euro a una tirada, no hace falta hacer muchas consideraciones matemáticas para comprender que la esperanza del juego es nula: por simetría no podemos asignar ventaja a ninguno de los dos jugadores, por lo que ambos están igualmente expuestos a perder un euro o a ganarlo.
Cada uno de los jugadores comprende que en ausencia de trampas hay la misma probabilidad de ganar que de perder y que en cada caso, la cantidad involucrada es 1 euro. Por lo tanto este juego tiene esperanza nula; o lo que es lo mismo; es un juego que no tiene ganancia esperada. Si jugáramos un número suficientemente grande de veces, las ganancias compensarían a las pérdidas.
Cualquier juego real de apuestas tiene esperanza negativa: lo más probable es perder dinero. El motivo por el que se juega es que en caso de ganar, los premios son de escándalo. Estamos dispuestos a perder una cantidad pequeña de dinero casi con seguridad a cambio de la posibilidad, por pequeña que sea, de hacernos ricos de la noche a la mañana. Es perfectamente comprensible, de ahí que si leen ustedes en algún sitio que la mera esperanza matemática es la mejor guía ante una situación de incertidumbre, no se lo crean demasiado por ser un razonamiento demasiado simplista.
Pues bien, armados con esta idea, definimos la Esperanza matemática de una variable aleatoria X que toma valores en un conjunto { x1 , x2 , ... , xn} con probabilidades p1, p2, ... , pn como el número real:
E[X]= p1· x1 + p2· x2 +...+ pn· xn
Esto no es sino la suma de todos los posibles premios ponderada por la probabilidad de obtenerlos.
En el caso del juego de cara y cruz con un euro en juego, tenemos:
E[X]=0.5 · 1 0,5 · 1= 0
Para variables aleatorias continuas el concepto es exactamente el mismo, sustituyendo el sumatorio por una integral, y la probabilidad de cada suceso por la densidad de probabilidad. No hay ninguna diferencia conceptual y no incidiremos en ello ahora.
Antes de continuar, es bueno advertir que no toda variable aleatoria tiene una esperanza definida. Algunas tienen esperanza infinita, por ejemplo esta: Sea un juego en el que hay una probabilidad de un medio de ganar 2 euros, un cuarto de ganar 4 , un octavo de ganar 8, etc.
X toma valores en el conjunto {2n; nN} siendo P{X= 2n} = 1/2n
Seguidamente tenéis el desarrollo que demuestra que esta v. a. no tiene esperanza finita:
Visto esto, estamos en condiciones de afrontar la definición de Entropía de una variable aleatoria .
Lo haremos utilizando dos conceptos de importancia capital: el de cantidad de información visto en el post anterior y el de esperanza matemática visto ahora. Lo haremos en el próximo post, si ustedes quieren.
4 comentarios
Tadalafil -
susana -
Anónimo -
samu -
No me hagais mucho caso pues lo estoi poniendo de memorieta, lo que si recuerdo es que se puede emplear todo esto para construir una codificacion de los mensajes mas optima que la usual (como ASCII)
Asignando codigos mas cortos a los sucesos (cadenas de caracteres) con alta probabilidad de aparecer y dejar los codigos mas largos para cadenas menos probables...
no se si querras entrar en este tema pero es interesante.