TALLER 6 DE TEORÍA DE LA COMUNICACIÓN Y LA INFORMACIÓN ENTROPIA

- Prepare un analices similar al caso planteado en el ejemplo donde se obtenga el cálculo de la entropía con ejemplos de codificación.

Para cada una de las siguientes cadenas de caracteres:

1. AAAAAAAAAA
2. AAABBBCCCDDD
3. AAAAAA
4. AAAAAAAABB
5. AAAAABBBCC
6. AAABBBCCDD
7. AAAAABBBBB
8. AAAAAAAABC

Calcular la frecuencia de cada símbolo, hacer su histograma y calcular su entropía. Ordenar las secuencias de menor a mayor entropía. ¿Qué observa?

Entropía:

H=∑i=1nP(Si)log2(1/P(Si))=−∑i=1nP(Si)log2(P(Si))$$H=\sum _{i=1}^{n}P(S_i){\log }_2(1/P(S_i))=-\sum _{i=1}^{n}P(S_i){\log }_2(P(S_i))$$

La entropía indica la cantidad de información en promedio que una fuente emite medida en bits por símbolo: ¿Está de acuerdo a la luz de los resultados obtenidos? ¿Qué es más compresible: una secuencia con baja o con alta entropía? ¿Por qué? Sacar conclusiones.

Rta:

1. P(A)=1$$P(A)=1$$
   , 
   H=0$$H=0$$
2. P(A)=P(B)=P(C)=P(D)=1/4$$P(A)=P(B)=P(C)=P(D)=1/4$$
   , 
   H=2$$H=2$$
3. P(A)=1$$P(A)=1$$
   , 
   H=0$$H=0$$
4. P(A)=4/5$$P(A)=4/5$$
   , 
   P(B)=1/5$$P(B)=1/5$$
   , 
   H=(4/5)log2(5/4)+(1/5)log2(5)$$H=(4/5){\log }_2(5/4)+(1/5){\log }_2(5)$$

(y así sucesivamente...)

- Que dice la teoría de Shannon para el manejo de entropías de casos de la información.

Los problemas que plantea Shannon, tienen que ver con la cantidad de información, la capacidad del canal de comunicación, el proceso de codificación que puede utilizarse para cambiar el mensaje en una señal y los efectos del "ruido". Pero no se refiere a las personas como protagonistas de la comunicación, sino al proceso desde la perspectiva de:

- Sus aspectos medibles.

- A las condiciones idóneas de transmisón de información entre máquinas.

- Al cálculo de la pérdida de información transmitida a través de un canal.

Su teoría se utiliza para medir la información y su contenido.

- Porqué nlogn como medida para el cálculo de las entropías

Si se tiene un sistema con por ejemplo n diferentes opciones de transmisión.

Y si se quiere tener una medida basada en esas opciones para poder diferenciar un sistema de otro o para diseñar sistemas en el cuales el origen, el canal y el destino estuvieran bien dimensionados. 

- Que pasa con los sistemas de probabilidades distintas?

Si el numero de posibles resultados equiprobables se incrementa entonces la entropía también se incrementa. 

También nos interesa que esta función H(X) tenga simetría con respecto a la probabilidades de izquierda a derecha.

H(X) debiera ser concava hacia abajo (limitada) y continua.

Para que cumpla con estos requerimientos, la entropía se define de la siguiente forma: 

TALLER 5 DE TEORÍA DE LA COMUNICACIÓN Y LA INFORMACIÓN

 Fundamento de la entropía

Es parte de la idea de que los canales no son ideales, aunque muchas veces se idealicen las no linealidades, para estudiar diversos métodos de envío de información o la cantidad de información útil que se pueda enviar a través de un canal. La información necesaria para especificar un sistema físico tiene que ver con su entropía.

 Fundamento de la entropía de la información
Es una magnitud que mide la información provista por una fuente de datos, es decir, lo que nos aporta sobre un dato o hecho concreto.
La medida de la entropía puede aplicarse a fuentes de información de cualquier naturaleza, y nos permite codificarla adecuadamente, indicándonos los elementos de código necesarios para transmitirla, eliminando toda redundancia.

La entropía nos indica el límite teórico para la compresión de datos. Su cálculo se realiza mediante la siguiente fórmula:

A partir de esta definición básica se pueden definir otras entropías.

TALLER DE TEORÍA DE LA COMUNICACIÓN Y LA INFORMACIÓN

Historia de la Teoría de la Información

 Desarrollo de la teoría de la comunicación

Con el modelo de la teoría de la información se trata de llegar a determinar la forma más económica, rápida y segura de codificar un mensaje, sin que la presencia de algún ruido complique su transmisión. Para esto, el destinatario debe comprender la señal correctamente; el problema es que aunque exista un mismo código de por medio, esto no significa que el destinatario va a captar el significado que el emisor le quiso dar al mensaje.
Un concepto fundamental en la teoría de la información es que la cantidad de información contenida en un mensaje es un valor matemático bien definido y medible. El término cantidad no se refiere a la cuantía de datos, sino a la probabilidad de que un mensaje, dentro de un conjunto de mensajes posibles, sea recibido. El valor más alto se le asigna al mensaje que menos probabilidades y cero se le asigna al mensaje que tiene mas probabilidades de ser recibido.

Pilares y las aplicaciones más usadas en la actualidad.

Internet fue creado a partir de un proyecto del departamento de defensa de los Estados Unidos llamado DARPANET (Defense Advanced Research Project Network) iniciado en 1969 y cuyo propósito principal era la investigación y desarrollo de protocolos de comunicación para redes de área amplia para ligar redes de transmisión de paquetes de diferentes tipos capaces de resistir las condiciones de operación más difíciles, y continuar funcionando aún con la pérdida de una parte de la red

El protocolo TCP/IP (Transmission Control Protocol/Internet Protocol), un sistema de comunicaciones muy sólido y robusto bajo el cual se integran todas las redes que conforman lo que se conoce actualmente como Internet. TCP/IP guarda la información, cierra el sobre y en la parte exterior pone la dirección a la cual va dirigida y la dirección de quien la envía

ZIP, documentos que se comprimen para su transmisión a través de correo electrónico o como parte de los procedimientos de almacenamiento de datos. La compresión de los datos hace posible completar la transmisión en menos tiempo. La teoría de la información también entra en uso con otros tipos de archivo; por ejemplo, los archivos de audio y vídeo que se reproducen en un reproductor de MP3 se comprimen para una fácil descarga y almacenamiento en el dispositivo.