Théorème d'Unicité de l'Entropie (Shannon)

Claude Shannon a démontré en 1948 que si l'on veut définir une fonction qui mesure l'incertitude d'un système probabiliste, cette fonction doit nécessairement avoir une forme très précise.

Ce résultat n'est pas une hypothèse, mais une conséquence logique stricte des propriétés que doit satisfaire une mesure d'incertitude.

---

1. Objectif

On cherche une fonction $S(p_1, p_2, \dots, p_n)$ des probabilités $p_i$ qui mesure :

• L'incertitude sur l'état réel du système,
• Le désordre ou la diversité des micro-états possibles.

---

2. Conditions naturelles imposées

Pour qu'une telle fonction soit cohérente, elle doit vérifier les propriétés suivantes :

• Continuité : $S$ doit varier continûment quand les $p_i$ changent un peu.
• Maximalité : $S$ doit être maximale quand tous les $p_i$ sont égaux (incertitude maximale).
• Additivité : Pour deux systèmes indépendants A et B, l'entropie totale doit être la somme des entropies :

Ces exigences sont très naturelles : elles expriment notre intuition sur ce que doit être une "quantité d'incertitude".

---

3. Forme imposée par le raisonnement de Shannon

Shannon démontre que :

La seule fonction qui satisfait toutes ces conditions est, à un facteur multiplicatif près :

où :

• $p_i$ est la probabilité d'occuper l'état $i$,
• $K$ est une constante positive.

---

Comment l'interpréter ?

• Le signe "-" est nécessaire pour que l’entropie soit positive (car ( \ln(p_i) ) est négatif pour $p_i < 1$).
• Le logarithme assure l'additivité naturelle :

• Chaque terme $p_i \ln p_i$ représente la contribution du micro-état $i$ à l'incertitude globale.

---

4. Application physique

En physique statistique :

On utilise cette même forme pour mesurer l’entropie thermique, La constante $K$ devient la constante de Boltzmann $k_B$,

On obtient alors :

Cette formule relie directement l'incertitude microscopique aux grandeurs macroscopiques comme l’entropie et la température.