megrxu

關於隨機,有序和價值

Oct 27, 2018  「Information Theory」  

什麼是隨機呢?不確定性是一個很迷人的東西。

人造資訊的編碼

人造的資訊,必須先編碼code,才能在資訊空間cyber space中存在,並進行處理和傳輸等操作。夏農第一定律已經指出了,對於任何資訊的編碼,其長度都有一個下界(與信源的資訊熵entropy有關),在這個下界之上可以進行任意無損的編碼,但是在下界之下,壓縮就變得有損了,可能無法恢復出原來的資訊。

編碼的實質也是一種對映,比如對於文字編碼,就是先定義出一個對應關係,然後對映到1和0的序列。對於廣泛意義上的編碼,就是序列和序列之間的對映。舉例來說,如果我們的語言是一種序列,共有26個不同的字元,那麼把這26個字元分別對映到不同的01序列(00000,00001 等),就完成了一次對映。

當然,這個對映需要是可逆的,否則我們就無法把這串序列從資訊空間中再取出到現實空間,也就沒有達到資訊傳輸的目標。因此在這個方面,人們發明了許多許多種無損編碼方式,都能夠相當好地逼近極限。比如夏農編碼,使用了機率函式的二進位制表示作為編碼序列,非常符合直覺又計算快速;比如哈夫曼編碼,也考慮機率,讓最經常出現的符號擁有最短的序列長度,因此很好地逼近了夏農編碼定理的極限。

剛剛提到的編碼,都沒有避開機率這個概念。因為在設計一種編碼的時候,我們並不知道具體需要傳輸什麼資訊,而只知道這個資訊是在哪個語義下的資訊(字串,數字,還是影象)。更一般地,就是一些符號。然而這些符號可能有不同的出現機率(例如字母中的 「e」 和 「z」)。因此,在不知道具體傳輸啥時,基於符號的出現機率分佈,根據符號和序列的對映,計算出統計意義下的碼長,這才有討論的價值。

這樣我們就清楚了,經過編碼,我們的資訊在資訊空間內變成了一段由「0」和「1」組成的序列。那麼,這個序列的機率分佈又是如何呢?

在資訊空間中的資訊

夏農第一定律說明,對於任何信源,要實現無損編碼,碼字的平均長度不能小於信源的資訊熵。信源的資訊熵是由符號出現的機率分佈所決定的。

參考一下夏農的論文1,可以看到,如果有一條規則實現了最佳的無損信源編碼,那麼編碼後的結果在機率上是完全隨機的。也就是說,在現實空間有意義的字串,資料,等各種資訊,在編碼之後都會變成統計意義上隨機的序列。我們只能透過預設好的對映關係來逆向編碼的過程,才能得到原始的資訊。信源編碼這個過程,形象地表述起來,是在「補齊」信源不均勻的分佈;也就是試圖把這個低熵體隱藏在隨機之中。

這樣看來,隨機並不意味著沒有資訊意義上的價值。甚至是,只有達到了真正隨機的效果,通訊才達到了最大的效率:使用了最少的資料量傳輸了最多的現實空間的資訊

然而人們生活在物理空間,編碼後的資訊透過物理通道channel傳輸,才能真正意義上跨越時間或者空間重現資訊,這才能真正實現通訊。也就是說,之前我們只討論了, 資訊在資訊空間如何表示才能更省資源 ,而忽視了資料在物理世界的表示形式。

通訊的物理極限

通訊的物理極限 ,這一文2使用了一個思想實驗,並加以推導,展示了物理世界的資訊該如何傳輸,才能達到最高的效率。

它假設了一個內壁可以完全反射的長為$l$,截面積為$A_t$的一個管子tube(即是在電磁學裡面經常用的cavity),且人們擁有一種可以在管內設定任意一個微狀態microstate電磁波的技術。由於完全反射,因此設定的任意一個狀態,都可以無限期地保持下去。這個管子直接通向接受者,這樣就構造出了一個假想的通道。任意一條資訊$x_i$被一個微狀態的電磁波所表示。透過交換不同的管子,就能夠進行資訊的傳輸。

之後的證明,作為一個並不搞電磁的同學,已經開始看不懂了。但是到最後,結論是,採用電磁輻射作為資訊載體,且每單位時間具有固定的能量預算,傳輸效率要達到最優時,產生的強度譜是與黑體輻射相同的。

而我們的宇宙背景輻射,就基本上可以等效為一個約 3K 的黑體所發出的輻射。這幾乎就像是自然界的隨機了。觀察一個物理上的最佳資訊載體,就如同觀察著宇宙一樣,不知道如何解析其中的符號,就永遠無法得到其蘊含的資訊。

感想

到頭來,無論是資訊空間的資訊,還是物理空間的資訊,為了達到最大的傳輸效率,都變成了在統計規律上毫無意義的隨機資料流或者物理現象。在不知道對應的編碼,或者對應的物理解析方式時,它就是毫無意義的東西。

我們用低階的隨機傳輸資料,更高等的文明則使用更接近真隨機的東西。

無數的資料從我們眼前流過,我們卻什麼也發現不了。