香農三大定理

香農三大定理是資訊理論的基石，它們分別闡述了可變長無失真信源編碼、有噪信道編碼和有失真信源編碼的核心原理。具體如下：

可變長無失真信源編碼定理（香農第一定理）。此定理說明了，在離散無記憶信源的情況下，如果編碼後的信源序列信息傳輸速率不小於信源的熵，則可以實現無失真的編碼。這意味著可以通過將原始信源符號轉化為新的碼符號，使碼符號儘量服從等機率分布，從而每個碼符號所攜帶的信息量達到最大，進而可以用儘量少的碼符號傳輸信源信息。

有噪信道編碼定理（香農第二定理）。此定理指出，當信道的信息傳輸率不超過信道容量時，採用合適的信道編碼方法可以實現任意高的傳輸可靠性。如果信息傳輸率超過了信道容量，則不可能實現可靠的傳輸。這表明，存在一種編碼方式，使得當編碼序列足夠長時，傳輸差錯可以任意小。

保失真度準則下的有失真信源編碼定理（香農第三定理）。此定理闡述了在給定失真度條件下，只要碼長足夠長，總可以找到一種信源編碼，使得編碼後的信息傳輸率略大於率失真函式，而碼的平均失真度不大於給定的允許失真度。這意味著在接受一定程度的失真情況下，可以通過增加編碼的複雜性來提高信息傳輸的效率。