第!.卷第%!期
年月!""#%!大学物理
0+EEFGF>HIAJ0A
C91(!.D9(%!
KL?(!""#
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
信息熵、玻尔兹曼熵以及克劳修斯熵之间的关系
———兼论玻尔兹曼熵和克劳修斯熵是否等价
李鹤龄
（宁夏大学物理与电气信息工程学院，宁夏银川)）*""!%
摘要：论述了信息熵、玻尔兹曼熵以及克劳修斯熵之间的关系；由不涉及具体系统的方法从玻尔兹曼关系、信息熵推导出了克劳修斯熵的表达式；指出玻尔兹曼熵与克劳修斯熵不是等价关系，而是玻尔兹曼熵包含克劳修斯熵，信息熵又包含玻尔兹曼熵(
关键词：信息熵；玻尔兹曼熵；克劳修斯熵；等价；包含中图分类号：+#%#
文献标识码：,
文章编号：（）%"""-")%!!""#%!-"".)-"#
信息熵、玻尔兹曼熵以及克劳修斯熵三者之间的关系，目前是一个似乎清楚，但又缺乏严格论证的问题(尤其是玻尔兹曼熵与克劳修斯熵的关系(有作
［］%
者认为：玻尔兹曼熵与克劳修斯熵是等价的(本文
绝热过程或系统是孤立的时候，，此时有6!7"
6##"
或
#$$#%#"
即有熵增原理：孤立系统或绝热过程熵总是增加的(由此定义的熵称克劳修斯熵，或热力学熵(熵是一个对绝热过程和孤立系统中态函数，是热力学宏观量(所发生的过程，由熵函数的数值可判定过程进行的方向和限度(
!"#玻尔兹曼熵
（8）建立了熵#和系%/’&年玻尔兹曼91:;）引#%1=&(%’""年普朗克12=?@——称为玻尔兹曼常量，写出了玻进了比例系数’—尔兹曼$普朗克公式：
（）#7’1=&*
式（）所定义的熵称为玻尔兹曼熵，或统计熵(由此*玻尔兹曼表明了熵#是同热力学概率&相联系的，揭示了宏观态与微观态之间的联系，指出了热力学第二定律的统计本质：熵增加原理所表示的孤立系统中热力学过程的方向性，正相应于系统从热力学概率小的状态向热力学概率大的状态过渡，平衡熵态热力学概率最大，对应于#取极大值的状态；自发地减小的过程不是绝对不可能的，不过概率非常小而已(
!"$信息熵
（A）发表了《通信的数学理%’#/年仙农B2==9=
（）.
（）#
否定了此等价关系；论证了三种熵之间是包含关系(
!三种熵及其意义
!"!克劳修斯熵
（0）发表了《力学的热%/*#年克劳修斯1234534理论的第二定律的另一种形式》的论文，给出了可逆
循环过程中热力学第二定律的数学表示形式："
而引入了一个新的后来定名为熵的态参量(7"，
《力学的热理论的主要方程之便于%/&*年他发表了应用的形式》的论文，把这一新的态参量正式定名为熵(并将上述积分推广到更一般的循环过程，得出了
热力学第二定律的数学表示形式：，等号""
"
由此熵对应于可逆过程，不等号对应于不可逆过程(
#的定义为
6##
"
或
（）%
（）#!$$#%#
$"
式（）中的$、、%为始末!%表示始末两个状态，#$#
$
%
两个状态的熵，6!为系统吸收的热量，"为热源的温度，可逆过程中"也是系统的温度(当系统经历
收稿日期：!""#$"!$%&作者简介：李鹤龄（—），男（回族），河北沧州人，宁夏大学物理与电气信息工程学院副教授，主要从事高等数学和统计力学教学及平衡%’&"态、非平衡态统计物理的研究(
万方数据
36
大学物理
第’3卷
论》，使用概率方法，奠定了现代信息论的基础!仙农引入了信源的信息熵：
（"）（）（）!$%%$%"#!&#$’#
#
&")’
/5$/5］［（）’3)’/)
’
（）6（）)
它代表了信源输出后每个消息所提供的平均信息量，或信源输出前的平均不确定度!为信源可能%#取的消息（符号），（）为选择信源符号%作为消$%##息的先验概率!
（）将信息熵引入统计力()*+年詹尼斯,-/01.
［］’学，并提出了最大信息熵原理!詹尼斯的信息熵定义为
&")’$/
3)/,)
对式（）（、）微分，并令7，得：6))"8
7&"*5+
’*+
（）
3
（）(8
（）7&"*5+((*+
并注意到-+")’1，*分别为3)’1!’和3)’1!
两式共同有
（7&"7*5-7+）!1
而由可逆过程热力学第一定律
72"7*5-7+
得
（）(’（）(3
（）(4
&"#’!$$/$##
#
（）2
式（）的定义只比仙农熵的原定义式差一比例系数!2当研究的系统为热力学系统时，式（）中的$为系2#统的第而一般情况$为信#个微观态出现的概率；#
这样定义的信息源的第#个信息基元出现的概率!息熵表示的是系统（信息源或热力学系统———也是信息源）的不确定性
［］3
7&"72!1
式（）正是克劳修斯熵的表达式!即克劳修斯熵可(4由玻尔兹曼熵推出!上面的推导显然要比文献［］的(推导简单得多!但是上述所有推导（包括文献［］）的(如下本文不涉不足之处是：都是由理想气体推出的!及具体系统，由玻尔兹曼熵推出克劳修斯熵!
任一以+为唯一外参量的孤立系统的熵由式（）表示!对式（）微分，得**7&"’又7&"
7)57*57+（#）（）（)#*#+）
*，+
)，+
)，*
信息熵也称为广义熵!!
!三种熵之间的关系
三种熵按定义出现的先后，虽然克劳修斯熵在前，玻尔兹曼熵次之，信息熵最后，但从所包含的内容来看却相反!用数学语言可表示为：信息熵"玻尔兹曼熵"克劳修斯熵，即&信"&玻"&克!下面详细阐述!
［］$
!"#由信息熵可方便地推导出玻尔兹曼熵
由式（），并注意到孤立系统平衡态的等概率假2
（）)5*5+］(*［#)#*#+
（）(2
令则有
，，"""$"##)#*#+
（7&"’"7)57*5$7+）#"’"，
#**，+
（）(+（）(6"’$
设，即平衡态的每一个微观态的概率为$(!(，#"这里的(为孤立系统的总的微观态数!得
/"((
&"#’!$$/$##"#’!
#
#
（#)）
（）
，"’##+)，+
（）
)，*
（)，（）’$/(*，+）+
式（）的右端正是玻尔兹曼熵!当然式（）也可反过++来看，即可由式（）推出式（），只是逻辑关系差点!*2需要注意的是：一定的孤立系统，粒子数)、能量体积+不变；而不同状态的孤立系统，*、)、*、+是不同的!所以总的微观状态数(是)、*、+的函数!
!"!由玻尔兹曼熵推出克劳修斯熵
文献［］由玻尔兹曼关系对单原子理想气体推(出了克劳修斯熵的表达式!事实上，若由文献［4］、［］中玻氏关系计算出的孤立系统单原子理想气体*
万方数据和满足关系!",-的经典理想气体的熵为
（）()
当粒子数不变时，为讨论#、考虑7)"8!$的意义，由同种组元、两个子系统(、由熵’构成的孤立系统!
［］4增原理很容易证明：热平衡条件、（在热平衡的基
础上）力学平衡条件分别为
，("（）$’8("’$’##
注意到热平衡定律及热流是从高温物体流向低温物体的，故可取
（）"’(
1)，+
即#"有时也将式（）作(!’1，’(#是统计力学温度!为热力学绝对温度的定义!在统计力学中，任何涉及到温度的地方，都是#!文献［］及上述用理想气体(
（#*）
第"$期
李鹤龄：信息熵、玻尔兹曼熵以及克劳修斯熵之间的关系
,%
的推导，所用的麦克斯韦速度分布、粒子能量平均值的得出，事实上都用到了统计温度!!又因为"!!"#力学平衡是在达到热平衡的基础上的平衡，可取［或注意到式（），由式（）］这样$%$&"!#!!"，#为压强#）变为式（"&
（（）’$!’%(#’&）!"!’’!"$$即由玻尔兹曼熵推导出了克劳修斯熵的表达式#而式（）的得出，并没用到任何具体系统#$$
!"#由信息熵推导克劳修斯熵
对式（）的信息熵表达式及如下的约束条件：)
［］0
，平均分布等于最概然分布#则对于平压倒的优势
衡态，微观状态数有
（）+孤$+正$+巨$%
即玻尔兹曼关系式适用于任何系统的平衡态#
上面已由玻尔兹曼熵推出了克劳修斯熵，说明满足玻氏关系的玻尔兹曼熵$玻必满足克劳修斯熵即$克的表达式，
（）$玻%$克,23但注意到上述推导过程中用了平衡条件，即只是在平），所以式（）的准确表达式应为衡态时有式（,23,23
平平
（）$玻%$克,24而克劳修斯表达式表示了所有平衡态的克劳修斯熵，则任给一个平衡态的克劳修斯熵，必能从玻尔兹曼熵推导出来，即这一克劳修斯熵也属于玻尔兹曼熵#所以又有
"，))%((!%!(!"!((
由拉格朗日条件极值及最大信息熵原理，可得正则
［］)
分布函数
（)*!*&）(!!，
其中正则配分函数为
%+!(
（）$,（）$-
（*&）!!*!，
(
%+!(
$玻&$克
则有
平
平
平平
则
［%$!+!!)./))((!!!(!((
(
(
$玻!$克
再考虑到玻尔兹曼熵、克劳修斯熵都可向非平衡态
［］1延拓#在局域平衡假设下，克劳修斯熵可表示为各
（）,"
（）,$
（］［（（）./*&）!!./*&）+#./*!#$0!，!，!!］
"（（）’$!!’%(’&）$)#!!）的得出用了式（$)
+""（（%!+#./*&）!#)!./*&）!#&!，!，!#!，
（）$1
）及式（）得：由式（"%$)
#$，（）!!!!!!$&#!!"#&""%#%&
）也可说明"!#将式（）代入式（）由式（$&!!"#$&$)得式（）这正是克劳修斯熵的表达式#$$#
!"$玻尔兹曼熵与克劳修斯熵是否等价文献［］提出玻尔兹曼熵与克劳修斯熵是等价"的，因为文献［］由玻尔兹曼关系对单原子理想气体"导出了克劳修斯熵的表达式，但并没有由克劳修斯“等价”是一数学名词，意为两熵导出玻尔兹曼关系#
者之间互为充分必要条件，即可互相推导#因此文献［］中提到的“等价”不是数学意义上的等价，而指的"
是两种熵是同一个物理量#注意到克劳修斯熵是宏观物理量，是唯象的热力学理论中的态函数，而玻尔兹曼熵是统计熵，是与微观状态数直接相联系的，所因此不可能从宏观的热力学熵推导出以是微观熵#
微观的玻尔兹曼熵#还应注意到玻尔兹曼关系，虽然是在“孤立”的条件下得出来的，但任何系统（正则系
局域熵之和：
克$克!!$,
非
平
（）,$（）,,
又可容易地证明玻尔兹曼熵具有可加性，即
玻$玻!!$,
非
平
因此在满足局域平衡的非远离平衡态的非平衡区域仍有
（）$克!$玻,-再注意到玻氏关系对任何非平衡态都成立，即玻尔兹曼熵可以延拓到任何非平衡区域#而在不满足局域平衡的远离平衡态的非平衡区域，没有式（），即,$克劳修斯熵不能延拓到远离平衡态的非平衡区域#不仅如此，玻氏关系中的热力学概率还可以延拓到非热力学系统，而克劳修斯表达式只能是热力学系统#所以玻尔兹曼熵要比克劳修斯熵包含的内容要（）$玻&$克,0
!"%三种熵之间的关系
由信息熵的表达式（）及詹尼斯的最大信息熵)原理，用到热力学系统的平衡态，求信息熵的条件极
［］)
值，可得平衡态的1种分布函数及相应的熵当然#
非
非
（）
（）
广#综上所述，有
也包括玻尔兹曼熵#再注意到式（）中的)可以是),任何一种研究对象的概率，没有受到平衡态、等概率（玻尔兹曼关系要求等概率）、热力学系统等等的限制#而且詹尼斯的最大信息熵原理不仅可用于平衡
万方数据的平衡态，统或巨正则系统等）微观状态数都占绝对
@’
大学物理
第&"卷
态，还可以用于非平衡定态，即非平衡定态的熵取极大值!信息熵概念的含义比玻尔兹曼熵、克劳修斯熵要广，对于热力学过程信息熵就为克劳修斯熵、部分的玻尔兹曼熵!但克劳修斯熵却并不能应用于非热力学过程，因为克劳修斯熵的概念局限于粒子热运动这种特定的物质运动方式，它与能量（热量）的分配有特定的比例关系!对于并不涉及热量、能量转换的非热力学过程，克劳修斯熵是不能应用的!玻尔兹曼熵具有克劳修斯熵的所有特征，且玻尔兹曼熵还可以延拓到非热力学系统和远离平衡态的热力学系统的非平衡态，但是为了保持熵函数的特征，要加入等概率的条件!信息熵可以与热量、能量转换的多少没有关系，也可不受到等概率的约束!因此，克劳修斯熵的概念包含于玻尔兹曼熵的概念之中，玻尔兹曼熵的概念又包含于信息熵的概念之中!所以说信息熵是比玻尔兹曼熵、克劳修斯熵包含内容更广泛的熵，即信息熵与玻尔兹曼熵、克劳修斯熵的关系为
（）!信!!玻!!克"#而且热力学第二定律在信息论中的广义热力学
第二定律可表示为：如果不从外界得到新的信息，那么对信息所进行的操作和变换不可能使信息量增加!由此可引出信息热力学!这是一个更广泛的热力学研究对象!
参考文献：
［］蒋学华!熵的两种关系式等价性的直接论证［］大学$%!
物理，，（）：&’’"&&()!$*!［］%&+-./01!2-3456+784-79.45-:/7+78/78;+［］谭涛，李鹤龄!统计力学基本假设的教学更新［］大学"%!物理，，（）：，$((*$#$@@!@)@A!［］汪志诚!热力学・统计物理［B］第&版!北京：高等教@!育出版社，$(("!"&@!［］童颜（李鹤龄，张奎）七种系综的经典分布及其热力学)!等价性［］大学物理，，（）：%!$((*$#"$(!［］张奎，李鹤龄!统计分布的统一形式［］大学物理，#%!
，（）：$((*$#&$*!&’!［］李如生!非平衡态热力学和耗散结构［B］北京：清华*!大学出版社，$(A#!)’!
，!"#$#%&’()*+#’,##*(*-)$.&’()*#*’$)1)%’2.&**#*’$)*3/0/0&
4%&56(56#*’$)/0
C2D.E
（G，，，）4
：，7+6’$&8’19.5.
J/8-.794:79+7:4-475.
，，N879G
（上接""页）
7:#)(*’(*’"#3#$(;&’()*-$).’"#:(*#’(8#*#$0/
’"#)$#.’)’"#/$(*8(%#)-,)$:&*3#*#$/
STUP8-EVL-F
（W，，，）.+576.-743=9/8;/1/8-9L+J-8?.5/87P.88-’’’A@G98-+O,F,XF$
：7+6’$&8’TV.48-78-79.:.58?+784-354679.V8-.78;.-.579.45.67479.58-;8
：；；；9#)$36;4-/.5?.:8-7.5-+
；；.I7.5-+
万方数据