Fundamento de la entropía
Es parte de la idea de que los canales no son ideales, aunque muchas veces se idealicen las no linealidades, para estudiar diversos métodos de envío de información o la cantidad de información útil que se pueda enviar a través de un canal. La información necesaria para especificar un sistema físico tiene que ver con su entropía.
Fundamento de la entropía de la información
Es una magnitud que mide la información provista por una fuente de datos, es decir, lo que nos aporta sobre un dato o hecho concreto.
La medida de la entropía puede aplicarse a fuentes de información de cualquier naturaleza, y nos permite codificarla adecuadamente, indicándonos los elementos de código necesarios para transmitirla, eliminando toda redundancia.
La entropía nos indica el límite teórico para la compresión de datos. Su cálculo se realiza mediante la siguiente fórmula:
A partir de esta definición básica se pueden definir otras entropías.
No hay comentarios:
Publicar un comentario