TALLER 6 DE TEORÍA DE LA COMUNICACIÓN Y LA INFORMACIÓN ENTROPIA

- Prepare un analices similar al caso planteado en el ejemplo donde se obtenga el cálculo de la entropía con ejemplos de codificación.

Para cada una de las siguientes cadenas de caracteres:

1. AAAAAAAAAA
2. AAABBBCCCDDD
3. AAAAAA
4. AAAAAAAABB
5. AAAAABBBCC
6. AAABBBCCDD
7. AAAAABBBBB
8. AAAAAAAABC

Calcular la frecuencia de cada símbolo, hacer su histograma y calcular su entropía. Ordenar las secuencias de menor a mayor entropía. ¿Qué observa?

Entropía:

H=∑i=1nP(Si)log2(1/P(Si))=−∑i=1nP(Si)log2(P(Si))$$H=\sum _{i=1}^{n}P(S_i){\log }_2(1/P(S_i))=-\sum _{i=1}^{n}P(S_i){\log }_2(P(S_i))$$

La entropía indica la cantidad de información en promedio que una fuente emite medida en bits por símbolo: ¿Está de acuerdo a la luz de los resultados obtenidos? ¿Qué es más compresible: una secuencia con baja o con alta entropía? ¿Por qué? Sacar conclusiones.

Rta:

1. P(A)=1$$P(A)=1$$
   , 
   H=0$$H=0$$
2. P(A)=P(B)=P(C)=P(D)=1/4$$P(A)=P(B)=P(C)=P(D)=1/4$$
   , 
   H=2$$H=2$$
3. P(A)=1$$P(A)=1$$
   , 
   H=0$$H=0$$
4. P(A)=4/5$$P(A)=4/5$$
   , 
   P(B)=1/5$$P(B)=1/5$$
   , 
   H=(4/5)log2(5/4)+(1/5)log2(5)$$H=(4/5){\log }_2(5/4)+(1/5){\log }_2(5)$$

(y así sucesivamente...)

- Que dice la teoría de Shannon para el manejo de entropías de casos de la información.

Los problemas que plantea Shannon, tienen que ver con la cantidad de información, la capacidad del canal de comunicación, el proceso de codificación que puede utilizarse para cambiar el mensaje en una señal y los efectos del "ruido". Pero no se refiere a las personas como protagonistas de la comunicación, sino al proceso desde la perspectiva de:

- Sus aspectos medibles.

- A las condiciones idóneas de transmisón de información entre máquinas.

- Al cálculo de la pérdida de información transmitida a través de un canal.

Su teoría se utiliza para medir la información y su contenido.

- Porqué nlogn como medida para el cálculo de las entropías

Si se tiene un sistema con por ejemplo n diferentes opciones de transmisión.

Y si se quiere tener una medida basada en esas opciones para poder diferenciar un sistema de otro o para diseñar sistemas en el cuales el origen, el canal y el destino estuvieran bien dimensionados. 

- Que pasa con los sistemas de probabilidades distintas?

Si el numero de posibles resultados equiprobables se incrementa entonces la entropía también se incrementa. 

También nos interesa que esta función H(X) tenga simetría con respecto a la probabilidades de izquierda a derecha.

H(X) debiera ser concava hacia abajo (limitada) y continua.

Para que cumpla con estos requerimientos, la entropía se define de la siguiente forma: