megrxu

腦洞:有關資訊,語言和知識

Feb 20, 2018  「Information Theory」  

我的民科思想記錄。

引子

在這學期學習資訊理論的時候,就覺得猶如醍醐灌頂,彷彿是在把對於事物的直覺轉化成式子。

這種忽然清晰的感覺甚至有點類似於小時候的第一次接觸數學和大一第一次接觸程式設計。於是也在腦袋中不斷回想有關的概念和知識。

比如今日在群裡遇到某個段子的時候:

小學奧數題:浙大有3個人,甲,乙,丙。他們一人是巨佬,一人是菜雞,一人是中等選手。其中,菜雞永遠說真話,巨佬永遠說假話,中等選手有時說真話,有時說假話。請根據下列言辭,判斷誰是巨佬,誰是菜雞:

甲:還好我不是最菜的;

乙:我是真的菜雞啊;

丙:你們都在說謊。只有我最菜啊…… (根據浙大現象改編)

如果將甲乙丙的回答都換成一樣的「我是最菜的」(這也更符合現實),很明顯就無法得出答案,因為前置條件和實際結果之間的互資訊是0…


資訊和語言

類似於機器透過二進位制符號進行資訊傳遞,人與人之間的資訊傳遞是透過語言和文字的。這種簡單的傳遞方式持續了千年,而且至今也在不斷地演變和發展。它似乎和個體的機能高度耦合。例如腦部損傷造成 「無法辨認文字,但可以聽懂說話」 這樣的症狀,就可以說明了。

但是實際上,人們之間的交流,和機器之間的交流,有相當多的不同。

  • 人們之間的交流,實際上只能算作「試圖重現」。

    機器之間的交流,更傾向於資訊的複製再處理,其中的每一個環節都有著十分清楚的邏輯和作用。但是對於人來說,對聽到的話語進行理解,是一個黑箱的過程。沒有任何手段確定受眾是否理解了,甚至沒有手段確定自己是不是對自己的腦中的概念表述得正確

    更多時候,人們的資訊交換都是經驗式的。透過從小習得的一種理解能力(類似於共情),可以對聽到的話語進行一種重現,以便進一步在頭腦中構建類似的概念。

  • 資訊的載體是語言,但是語言是複雜的,是基於歷史和習慣的,不具有邏輯的。

    相較之下,給機器設計的語言(或者稱之為編碼)都十分嚴謹,在儘可能規避歧義。但是實際上,要使編碼被人理解,仍然需要對其意義在自然語言上進行規定。也正是因為自然語言的重要性和更大的隨意性,使得自然語言理解也變得十分複雜,因為這相當於是在已定的形式中尋找規律。

語言和知識

在教授知識的過程中,我們也使用的是自然語言。很明顯,這種教授是有效果的。從小學開始,我們漸漸懂得一些知識,有的知識可以用公式表達,有的知識就是一段話。有的知識甚至是一件事,進而可以總結成許許多多不同的話。

瘋狂地說,我們可以把一個小孩從小時候到長大成人所聽到的所有的話,見到的所有的文字,都記錄下來,這些資料本身,結合個體的發育和成長,就確實含有他所習得的所有知識

但是知識這個東西,對於每個人來說都不是那麼清楚的。我自己無法總結自己所習得的知識,即便是明白你所需要我說的知識是哪一點,我也只能透過再表示成自然語言的形式來重現這個知識。

知識表達,應該對於我們理解「學習過程」有著十分重要的作用。而同時,感覺上,如果我們能夠成功地透過不依賴自然語言的方式「表達知識」,也對知識的資訊化和數字化有了極大的突破。甚至說白了,我們也就可以不依賴自然語言進行資訊傳遞了。