浅谈最大熵原理和统计物理学△

浅谈最大熵原理和统计物理学△ 淺談最大熵原理和統計物理學 文/曾致遠 摘 要 在本文中我們將分別從物理和資訊論角度簡單討論熵的意義並介紹由 E.T.Jaynes 所奠立基礎的最大熵原理的原始理解。透過研究理想氣體,我們將闡述如何運用最大熵 原理研究真實問題。同時藉由簡短分析統計物理學研究方法的問題,本文會給出最大熵 原理更深層涵義及其應用。我們將稱之為最大熵原理第二延伸。最後透過真實氣體的研 究, 我們將描繪出如何運用第二延伸來幫助我們思考及研究熱力學系統。 一、前言 介紹,我們將從過去Jaynes對於熵的認識到今日 長時間以來人們對於熵有物理上的理解也有我們的新發現,掀開熵的神秘面紗。資訊論 (Information theory) 上的理解。物理上 的熵可以說明熱力學系統的演化方向、熱平衡的達 成與否亦或是代表系統的混亂程度等[1-3]。在資二、最大熵原理 訊論裡,資訊熵則代表量測資訊系統的可信度或者l、什麼是最大熵原理 是忽略度[3,4]。然而不管物理或是資訊論上對熵相信物理系學生和物理研究人員都很熟悉的理解,實際上仍侷限於將熵視為一個量測的工Clausius的經驗準則-熱力學第二定律[1,2]。該定具。正如我們可藉由系統能量的量測來了解系統狀律說明當一個熱力學系統達到最後熱平衡狀態態穩定與否。然而由於E.T.Jaynes的貢獻,熵可時,該系統的熵會達到最大值。進一步的研究指出視為一種研究問題的推理工具,這一層意義才為人當系統的熵最大時, 其自由能將會成為最小。在所知[5,6]。時至今日,我們雖然仍無法全盤了解此一特性的影響下人們慣性的傾向於將熵視為類熵的真正意含,但是我們也漸漸掌握熵在物理學尤似能量的巨觀物理量。此一物理量成為描述系統亂其是統計物理中所能扮演的角色。通過本文淺顯的度的依據。此後由於 Gibbs 引入 ensemble 觀 念,開啟微觀角度的研究方法因而奠立近代統計力。不過這些熵的微觀知識,只讓我們了解到熵和用學理解熵的理論基礎。在統計力學的觀念中,觀察以描述熱力學系統物理量平均值的機率份佈之間者所量測到該系統熱力學性質之巨觀物理量諸如存在一個關聯性。除此之外,我們並未獲得更多觀系統內能或壓力,基本上只能以平圴值來表現。原念上的突破。熵仍只是一個量測工具。因在於觀察者無法明確掌握系統微觀狀態。此種不 確定性可以藉由機率分佈如canonical ensemble在 1940年代 Shannon 等人所發展的 來量化表示。古典系統熵便可由此機率分佈來定義communication theory[4]也就是後來漸趨成熟且出不連續表示, 多元化的Information theory 中,也同樣存在一 相似特性的量。 Shannon 也稱之為熵,該量被視 為量測雜訊如何影響系統中有用資訊的程度,我們S,,kPlogP , (1),biii定義為忽略度 (degree of ignorance) 或者描述 了選取系統資訊的傾向程度,稱之為傾向度 Pk式中 代表波茲曼常數而 為觀察者量測到ib(degree Of likelihood) 。通過 Cox 和 Skilling i系統處在狀態時的機率分佈。或者是連續表示,完全不同的論證[5,7],資訊熵的機率分佈型式類 似於熱力學熵。所不同者在於熱力學熵含有波玆曼 常數。這樣的相似性直到 Jaynes 在1957 年的研 究才證明這個相似其實是相等[5]。資訊熵和熱力，，，，S,,kdqPqlogPq , (2)bNNN, 學熵實際上具有相同的含意。Jaynes更進一步指出 且證明最大熵原理 (maximum entropy principle) 並不只是單純的熱力學第二定律。他的研究指出,，，q,r,p式中 代表空間和動量參數且N最大熵原理不具任何物理意義僅是一個推論的工，，Pqdq 表示觀察者量測到系統微觀狀態在NN具。藉由此原理,觀察者所擁有的相關系統資訊可dq 範圍之機率份佈。對於量子統計系統, von N以公正客觀的被編入特定機率分佈中來描述觀察Neumann 發現也同樣存在著類似形式來描述系統者量測到系統微觀狀態的機會。下一小節中我們將亂度。他給出熵密度矩陣 (density matrix) 型以理想氣體為例具體說明在 Jaynes 的理解下,如，，q,式, , N何運用此一原理重現統計力學的結果並且通過這 樣的方式我們將更能了解熵及最大熵原理在物理 ，，，，S,,kdq,qlog,q, (3)bNNN上的含義和功用。 , 2、實例一:理想氣體 假設一含有 N 個氣體分子的理想氣體已達熱 ,因子 (Lagrangian multipliers) 和 ,我,平衡狀態,觀察者可量測到該氣體之總內能平均值 為 們得到以下變分方程, ,,,S,dqPq,1，，，，NN,，，E,dqPqH(4)NN , (6),，，，，,,dqPqH,E,0NN, 2Np iH其中 代表系統的漢米頓量,,2m，，Pq將式 (2) 代入上式後對 變分,我們可以,1iN ，，Pq得到 (Hamiltonian),對於理想氣體而言僅有動能而無N ，，Pq分子間相互作用能而 代表我們量測到系N H統微觀能量狀態等於 時的 N 個分子機率分,1,,,,H ，，Pq,eN (7)佈。關係式 (4),我們稱之為能量約束方程。它描 述了我們對於理想氣體有關能量部分資訊的了 ，，Pq解。無庸至疑的,我們也知道機率分佈需 N 接著利用上兩約束方程,我們可分別決定拉格朗日要滿足下列約束方程, ,因子 和 。最後我們可得到最合適描述此, ，，Pq理想氣體的機率分佈 ,N ，，dqPq,1(5)NN , 1 ,,H，，(8)Pq,eN Z所有系統可能狀態的機率分佈總合要等於1。現在 ，，Pq的問題是我們如何找到合適的 可以同時 N 滿足此二約束方程。因為唯有知道確實的機率分 為 N 個理想氣體分子分配函數 (partition 佈,我們才有辦法繼續研究此一系統的其它物理牲 function) 其值為, 質。根據 Jaynes 的研究,最大熵原理告訴我們, 當此系統達到熱力學平衡時,最有可能的機率分佈 ，，Pq將會使熵達到最大值。具體來說,最大熵NN V,,,,H(9)Z,dqe,,,N ,3原理說明在約束方程 (4) 和 (5) 的條件考慮下,,,最大化熵。此最大化過程可由變分原理來達成。首 先我們分別針對式 (4) 和 (5) 引入兩拉格朗日 1 2約束方程 (11) 決定之。2,,2,,,,,,其中 為大家所熟知的熱力學波 ,,通過此一例子,我們可了解不管是從物理理論如氣mkTB,, 體運動方程的推論而得到的 canonical ensemble 長。通過分配函數,系統的 Helmholtz 自由能可或者 grand canonical ensemble 實際上與我們在由下推導得出 考慮與系統相關約束方程下最大化熵的結果一 致。這樣的結果揭示一個解決物理問題不一樣的思 V(10)F,,kTlogZ,,NkTlog維。也就是當我們將所知的物理知識當作是一種資bb 3, 訊來處理,則 ”如何解決物理問題“這個課題可 以重新解讀為如何有效誠實處理這些資訊。在這樣 的解讀下最大熵原理已提供了最公正的解答。換言此理想氣體的各種物理性質如壓力變化、相圖都可 之,若我們擁有一系統充份相關的物理知識,如實以由此依序獲得。這也就是統計力學中的驗結果,我們便可給出與之相關的約束方程。之後canonical ensemble 方法。若我們獲取更多關於 經由最大熵原理,我們便可公正客觀的決定關於這此一理想氣體的資訊,如觀察者所量測之總粒子數 些物理知識最佳的機率分佈。經由 Jaynes 的證平均值可由粒子數密度來關聯時明,最大熵原理所扮演的角色不再僅是量測忽略度 而已,它更是系統化將我們所知資訊編碼的推理工 具。而且其應用不侷限於 canonical ensemble 或 ，，，，N,dqPqnr(11)NN, 者是 grand canonical ensemble而是取決於我們 能獲得何種資訊。正因如此過去人們處理如統計物 理學的既定觀念和方式將變為有所依循而且可避 免許多針對特別問題由研究者所給定的人為假，，nr其中 代表 N 顆氣體分子密度分佈。我們則 設。如此一來一個具有最小偏差的研究理論可於焉可得到 grand canonical ensemble 誕生。 3三、統計物理學的問題 ˆ,,，，H,,drn，，r1,(12)，，Pqe,N Z根據上述分析,使用最大熵原理作為統計力學N 的研究方法基本上可以區分成兩部分討論。第一部 份為物理部份,唯有具備正確且相關於待研究系統 的物理資訊,恰當約束方程才能給定。第二部分為NV,,,,,分配函數 而化學能 可由Z,e,,處理物理資訊部份, 亦即利用最大熵原理將相關N 3,,, 資訊做最佳編碼以得機率分佈。上一節中,理想氣 體的研究便是最佳典範。當理想氣體的物理特性由可以利用如平均場近似法來進行。約束方程 (4) 和 (5) 來描述後,canonical ensemble 的決定則單純的由最大熵原理來進行。簡單說,長久以來統計力學的研究有大部分的其過程完全與物理無關。很明顯的因為最大熵原理努力便是在尋找合適的近似方法。因此人們針對其恆真,canonical ensemble 是否恰當描述理想氣想要研究的課題發展出各類型近似法。如凡德瓦 體則完全取決於約束方程的適當與否。而正如前所(van der Waals) 引入平均埸概念用以取代氣體中述由於約束方程的決定需要相關的物理知識協助複雜的多體相互作用力,因此而得到著名的凡德瓦來決定。如何抉擇有助系統研究的物理資訊是統計方程,真實氣體方程式[8]。然而雖然凡德瓦方程力學所需面對的第一個問題。不幸的是目前為止,成功顯示三態變化的相圖和預測流體臨界點,可是並不存在一個系統化的方法來解答這個問題。大多卻無法成功預測且描述液體或者固體物理性質如數時候,人們還是只能依賴著嘗詴錯誤法或是從經微觀結構等。問題在於除了平均場法的粗糙外,還驗、實驗結果來判斷。這樣的課題關連到所謂“觀根源於凡德瓦人為引入假設氣體分子為堅硬球體念形成”的探討,有待進一步研究來回答。因此本來描述相變所需的額外條件-短距離排斥力。結果文將不會針對此問題來進行深入討論。基於這額外條件太過粗糙並無法精細的重現真實 短距離排斥力,使得這近似無法成功使用於需詳細 我們所關心的是除此之外,統計力學進一步所短距離排斥力資訊的液體和固體的研究。在此之需面對的問題。當機率分佈如 canonical 後,由於了解到短距離排斥力這項資訊對於研究液ensemble 由最大熵原理給定後,我們如何去解讀體或固體的重要性,人們發展出許多以此資訊為基這些機率分佈以計算關於系統物理性質的期望礎的近似法如易行模型 (Ising model) 或液體理值。換句話說,我們如何計算分配函數。對於理想論Ornstein-Zernike 方程[2,9,10]。這些的努力氣體,由於氣體間不存在任何相互作用力,方程式 基本上都是為了有效處理分配函數中短距離相互 作用。在檢視這些近似法後,我們質疑是否存在一(9) 中分配函數的計算是易如反掌。但事實上由於 複雜的相互作用力,真實系統的機率分佈是難以計個系統性且不需額外人為假設的方法。該方法只需算。對於這樣的機率分佈我們稱之為不可計算機率要輸入系統初始資訊比如關於排斥力和吸引力資分佈。因此當我們面對真實熱力學系統時,如何處訊便可以產生恰當的近似法。從資訊論的角度審理複雜多體相互作用力成為統計力學中一必要課視,理論上的確存在這樣一個方法[11]。下一節中題。換句話說只有當我們理解如何有效處理複雜多將針對我們的發現做一討論。體相互作用力,我們才可能發展合適的近似法來計 算分配函數。例如因為短距離排斥力和長距離吸引 力的相互競爭造成流體不同於固體的物理性質,讓四、最大熵原理之第二延伸 我們知道要計算含有這些相互作用力的分配函數 1、基本概念 從資訊論的角度來看,利用近似法來計算真實 ，，Pq最大熵原理告訴我們最好的詴驗族群 可系統分配函數這個方向,等同於利用一可計算且近0N ，，，，PqPq似描述真實系統的機率分佈族群 取代真用以取代真實族群 ,將會最大化系統的0NN ，，Pq實不可計算的機率分佈 。更明確的說法熵, N ，，Pq是,我們希望找到一個 其含有的資訊最 0N Pq，，N0接近真實系統而利用此族群可以最佳回答我們有(15)SPPkdqPq,,，，,,logbNN00,，，PqN興趣的問題。 要具體化的從這個方向進行可以分做兩步驟 來達成。第一步驟為尋找可資利用的族群,這個步 ，，Hq;,假設關於詴驗族群的漢米頓量為 ,,0N 驟類似於前一節中我們所面臨到的統計力學第一 代表不同詴驗族群的參數,該參數可用以取代複雜個問題。目前仍停留在利用錯誤嘗詴法或是經驗法 的相互作用力使得分配函數的計算成為可行如平則來尋找而並無一系統化的方法。第二步驟則是在 均場。根據最大熵原理,描述該族群的機率分佈為我們尋找到數個可計算的近似機率分佈族群而這 些族群我們稱之為詴驗族群(trial families) 都 可部份正確描述我們所關心的系統後,我們該選擇 3ˆ;Hqdrrnr,,，，，，，，,，,0N,那一個族群能最接近真實族群。我們如以這樣的方e，，Pq;,dq,dq0NNN 式重新詮釋,我們發現最大熵原理提供了最客觀最Z0 ，，Pq小偏差的解答。基本概念如下假設族群 N (16) 代表真實系統但我們無法計算, 詴驗族群的分配函數為 3Hqdrrnrˆ,,，，，，，，;,，,N,3,,,ˆ,，Hqdrrnr，，，，，，;e0N,Zq,edq，，;,(13)，，Pq;,dqdq,NN0NNN, (17) Z,,,0,e 其不可計算的分配函數為 ，，,r式中 為拉格朗日因子用以限制在空間中任 何一位置關於期望密度的約束方程為方程式3,,,ˆ,，Hqdrrnr，，，，，，;N,Zq,edq，，;,NN(11)。將 (13) 和 (16) 代入 (15),利用變分原,(14) ,,,,e 理,我們可得到最大熵, ,最大熵原理 (18) 告訴我們最佳均場為參數 , 的平均場為 ,,,,SPP,,,,,,H,H (18)0000 3，，，，，，vr,dr'ur,r'nr'(20)0 , ？(式中 下代表期望值以詴驗族群為基底來0，，ur,r'式中 代表真實分子間相互作用位能而 ，，nr代表在空間中位置 最佳的氣體密度分r,,SPP,0計算)。因為 ,最大化熵等同於在含 0 ,佈。藉由計算最佳 的 Legendre U蓋詴驗族群中所有可調整參數,,下最小化,, transformation,我們可找到最佳氣體密度分佈關,,,，H,H,也就是U000 係式, 3，，log,nr ,,min, (19) 3UU,,,,,，，，，，，，，,,,vr,,r，dr'ur,r'nr', (21) ，，,Pq如此我們便可找到最佳參數 可使得 0N 利用 Percus-Yevick 近似[9],我們可將密度分佈 ，，Pq以取代 。下一節我們便以真實氣體為例N 形式轉換成放射分佈函數(radial distribution 子做一簡單說明如何利用此原理產生可信度最高function ,該函數被視為一洽當形式來研究流體的近似法來研究真實氣體並指出其成功與失敗之熱力學問題)。最後可經由 self-consistency 法處。 數值解式 (21)。我們的數值計算結果和實驗數據2、實例二:真實氣體 的比較顯示式 (21) 正如我們預測可正確描述稀 正如我們所知,我們無法理論解真實氣體的原薄氣體結構。由於本文重點僅在於介紹最大熵原理因就在於氣體間相互作用力過於複雜使得真實氣在統計物理學所扮演的角色及意義,在此將不再詳體分配函數的計算難以進行。通過我們對真實氣體細敘述所有的研究分析、結果。有興趣者請參考的理解,我們知道長距離吸引力是真實氣體之所以[11]。 為氣體的主因。同時我們的物理知識告訴我們,恰這樣的使用最大熵原理尋找最好的可計算族 ，，vr當的平圴場 為最簡單且能正確重現長距0 群來正確取代真正的族群,從我們的研究顯示這樣離吸引力的近似表示。基於這些資訊,當我們以平 的推理過程將會是最誠實的方法。因為整個過程只訊,雖然成功描述稀薄氣體行為,但我們卻喪失描有初始資訊的建立紮根於物理知識。只要我們輸入述液體的能力。若我們有興趣研究液體物理性質,正確的資訊,最大熵原理將給我們最正確關於該資新的含有短距離排斥力初始資訊則需要加入考訊的表述。在我們的研究中,我們輸入平均場來取量。雖然關於最大熵原理第二延伸在統計物理上的代氣體間相互作用力結果卻顯示此最佳詴驗族群適用性仍然在檢驗及建立當中[12],但我們仍然可只能用以描述稀薄氣體行為。因為最大熵原理恆以相信,熵不但可以是熱力學系統的亂度可以是資真,我們的方法導致此不完全正確結果僅可以理解訊系統的可信度也同樣的可以是我們在研究問題為由於初始資訊的不完整--平均場只適合描述長時一個公正客觀的推理方法。至於這樣的推論結果距離吸引力並無法恰當的代表短距離排斥力,因此是否正確則取決於初始相關資訊是否關聯至我們我們的方法,最大熵原理將無法給出含有此排斥力有興趣的課題而與此方法完全無關。在不久的未資訊的最佳族群。換句話說,若我們嘗詴研究短距來,相信我們可以更加確信這一思考方式在幫助我離排斥力扮演重要角色的稠密氣體或是液體,除了們做物理研究時的可行性及客觀性。屆時我們也將平均場這一參數外我們將需要另一關於短距離排 更了解什麼是熵。 斥力參數。 致謝 五、結論 作者要特別感謝紐約州立大學 Albany分校物理系 本文簡略的陳述出人們對熵的觀念從單純的教授 Ariel Caticha,藉由通過與他的討論和在他系統亂度乃至於推論工具的演變和成型。通過理想的指導下而導致本文中許多觀念的突破和建立。同氣體的簡單計算,我們知道了如何運用最大熵原理時對於林怡倩小姐的多方幫忙一併致上感謝之來解決統計物理問題。然而當我們面對真實系統意。 時,我們發現最大熵原理的第一應用僅是將我們所 參考資料: 無法處理的物理資訊如分子間相互作用力公正客 觀的編碼成另一不可計算的機率分佈型式。解決之[1] L.D.Landau and E.M.Lishitz, Statistical 道再於我們如何找到最佳近似表示,最大熵原理第Physics,by Addison-Wesley publishing 二延伸的發現則提供別於傳統方法,較為客觀有系company(1969). [2] Herbert B.Callen, Thermodynamics and an 統的方法產生最佳近似法。正如文中所提只要我們 輸入正確相關的初始資訊,最大熵原理將公正客觀introduction to Thermostatistics, by John 的給出最佳近似。但是這方法存在著和統計力學第Wiely and Sons(1985). 一問題相同的困難,我們如何抉擇那一個資訊有[3] Harry S. Robertson, Statistical 用、相關且可計算。在真實氣體的例子當中, 我們Thermophysics,by P T R Prentice Hall(1993). 可看到利用經驗法選取平均場理論作為初始資 [4] C.E. Shannon and W. Weaver, The 分的研究正確的考慮長短距離相互作用力的所造Mathematical Theory of Communication, by Univ. 成的流體行為,是否我們的理論可正確無誤的顯示of Illinois Press, Urbana (1949).並解釋流體相變現象或臨界現象。 [5] E.T.Jaynes, Phys. Rev. 106, 620 (1957). 作者簡介 [6] E.T.Jaynes, Phys. Rev. 108, 171 (1957).曾致遠(Richard Chih-Yuan Tseng) 現為紐約州立大學Albany分校物理系博士候選人, [7] John Skilling, Maximum Entropy and 研究領域主要為古典資訊論,量子資訊論及理論統Bayesian Methods in Science and Engineering 計熱物理學,其中目前特別著重於從流體結構,相vol.1, by Kiuwer Academic Publishers (1988).變,臨界現象及非平衡熱力學等物理現象理論研究 古典資訊論在統計物理學中之意義及應用。 [8] J.D.van der Waals, On the continuity of the Gaseous and Liquid State, ed. by J.S.Rowlinson Email: ct7663@Albany.edu (1988). [9] Jean Pierre Hansen and Ian R. Mcdonald, Theory of Simple Liquids, by Academic Press (1986). [10] V.I.Kalikmanov, Statistical Physics of Fluids, by Springer (2001). [11] Chih-Yuan Tseng and Ariel Caticha, in Bayesian Inference and Maximum entropy methods in Science and Engineering, Ed. by Chris Williams, AIP Conf. Proc. 659,73 (2002). [12] 目前我們正在進行的深入研究再探索最大熵 原理第二延伸的完整架構及適用性。主要可包含兩 部分,第一、在利用熱力學微擾理論[9,10]將短距 離排斥力適當的引入情況下,如何使用最大熵原理 第二延伸產生近似法及其適用性。第二、當第一部