Entropy

Japanese: エントロピー - えんとろぴー（英語表記）entropy

A quantity introduced to quantitatively express the irreversibility (also called non-reversibility) specific to thermal phenomena. The name entropy was given by Clausius in 1865. It is defined that when an object at absolute temperature T receives heat Q , the entropy of the object increases by Q / T , and when it releases heat Q ', the entropy decreases by Q '/ T . An object is in thermal equilibrium, meaning that the temperature, pressure, and volume can be specified. The change in entropy of an object when it changes from one thermal equilibrium state A to another thermal equilibrium state B is calculated as the algebraic sum of the amount of heat that enters and leaves during the process, divided by the temperature at each time, assuming that the change is extremely slow from A to B. If the change is not "slow," unevenness will occur in some places and the temperature of the object cannot be determined.

[Koide Shoichiro]

Increase in entropy due to heat conduction

A typical example of an irreversible change is thermal conduction. When a hot object and a cold object are brought into contact, heat will flow from the former to the latter on its own, and when the temperatures become uniform, the change will stop and thermal equilibrium will be reached, but the reverse does not happen. Let A be the state in which two objects are isolated and at different temperatures, and B be the state of thermal equilibrium that is reached after they come into contact. In order to carry out the change A → B "slowly," heat is transferred little by little from the hot object to the cold object while keeping both objects isolated. Even if this gradually disappears, there will still be a temperature difference, so when q heat is transferred along the way, the entropy q / T2 gained by the cold object is greater than the entropy q / _T1 lost by the hot object. Therefore, when this process is repeated to go from _A to B, the total entropy of both objects will have increased.

[Koide Shoichiro]

Entropy increase due to free expansion of a gas

A vessel is divided into two, one of which is filled with gas, and the other is kept vacuum (state A). When the partition is suddenly removed, the gas spreads throughout the vessel (state B). At this point, the volume of the gas doubles, but since no work is exchanged with the outside, the energy of the gas remains constant and the temperature hardly changes either. This is called free expansion. In order to calculate the entropy change that occurs during this change, it is necessary to perform the change from A to B "slowly." It would be possible to gradually move the partition back, but then the gas will push the partition and do work, losing energy and lowering its temperature. Therefore, to achieve the same result as free expansion, B, the gas must be heated little by little while constantly moving the partition back. Since heating increases entropy, the gas in state B has more entropy than state A. This shows the entropy change during free expansion ( Figure A ).

[Koide Shoichiro]

Irreversible changes and increase in entropy

The increase in entropy shown in these examples is thought to occur in general in any irreversible change, and is therefore known as the principle of increasing entropy. Thermal equilibrium refers to the state in which the internal entropy of a system is at its highest (principle of maximum entropy). To generalize the examples we have just seen, the direction of irreversible change is from state A, where thermal energy and gas molecules are localized on one side, to state B, where they diffuse and spread evenly throughout. The same is true for the vaporization (evaporation) of solids and liquids, where the range of molecular motion expands significantly when the system becomes a gas. The entropy that increases at this time is given by the heat of vaporization. When a solid becomes a liquid, the entropy increases by the amount calculated by dividing the heat of fusion by the absolute temperature of the melting point. This is related to the fact that when a solid crystallizes, the molecules that were bound to equilibrium positions begin to wander over a wider range and move around irregularly.

To investigate this phenomenon of melting using a simplified model, consider a checkerboard like the one shown in Figure B , where the orderly arrangement of stones as shown in (a) represents a solid crystal, and the irregular state in which stones can be placed at will in any of the 25 squares as shown in (b) represents a liquid. If we apply the concept of permutations and combinations, there is only one possible arrangement in a solid state, but in a liquid there are as many possible arrangements as there are combinations of 13 selected from 25. In other words, when changing from a regularly ordered state of a solid to a disorderly state of a liquid, the "number of cases" increases dramatically. This is because a neatly ordered state is only a very limited special case out of many possible cases.

[Koide Shoichiro]

The microscopic definition of entropy

From this, we can infer the microscopic meaning of entropy. A liquid that is stationary macroscopically is in a state of motion that is rapidly changing from one of many different states to another when viewed microscopically. In other words, even one state viewed macroscopically has a huge number of different states (let's call it W ) hidden behind it on the microscopic level. Counting this W is difficult, and Figure B shows an extremely simplified case. To be precise, it is necessary to take into account the speed of the molecules and apply quantum mechanics. In any case, when W is determined in this way, it is called the thermodynamic weight of that macroscopic state. It has been proven that taking the natural logarithm of this W and multiplying it by the Boltzmann constant k , k log _e W , is equal to the entropy in that macroscopic state. In this case, an increase in entropy means that W changes from a small state to a large state. When the volume of the gas doubles due to the change A → B in Figure A , the velocity distribution of the molecules does not change, so only the possibilities regarding position increase. It doubles for each molecule, so if there are N molecules, the total will be ^2N times greater. In other words, W increases ^2N times with the change from A to B. Therefore, entropy increases by k log _e 2 ^N = Nk log _e 2. Incidentally, Boltzmann, who made a great contribution to clarifying the microscopic meaning of the concept of entropy, is graved in Vienna, Austria, and the equation S = k log W , which defines entropy S at a microscopic level, is engraved on his grave.

[Koide Shoichiro]

Entropy of mixing

When water and alcohol are mixed, the water molecules and the alcohol molecules move around in a wider range than before they were mixed, so the entropy increases. The increased entropy is called the entropy of mixing.

[Koide Shoichiro]

Heat engine efficiency and entropy

In heat engines and generators that convert heat into work or electricity, heat is applied to a gas or other substance used as a working substance, causing it to expand at high temperature and pressure, and extracting a large amount of work. After that, cooling is required to reduce the pressure and return the working substance to its original state. In this process, if the amount of heat given to the working substance by a high-temperature heat source (for example, consider a nuclear reactor, whose temperature is T1 ) is Q , then according to _the law of conservation of energy, the remainder Q - W ' ( Q ') obtained by subtracting the work W ' given to the outside from this amount is released as waste heat into cooling water or the _like (whose temperature is T2 ). At this time, the entropy of the entire system, including the heat source and cooling water, can only increase and never decrease, so the entropy gained by the cooling water, Q '/ T2 _, should be greater than the entropy lost by the heat source _, Q / T1 . This difference is the entropy gained during the transfer of heat and the expansion of steam, and it is practically impossible to completely eliminate it. In that case,

Easily from

The following relationship is obtained. W '/ Q is the proportion of added heat that can be used as work or electricity, and is called the efficiency. From this formula, we can see that there is an upper limit to the efficiency when converting heat into work, which is determined by the temperatures _of the heat source and cooling system. It may seem that making T2 as small as possible would be good, but creating low temperatures requires another energy source, such as electricity, and there is also a _limit to how high T1 can be due to factors such as heat-resistant materials.

[Koide Shoichiro]

Heat Utilization and Entropy

It is easy to convert work into heat, but the reverse is not easy. There is a limit to the efficiency of converting heat into work, and waste heat is inevitable. As the efficiency formula shows, heat cannot be converted into work without a temperature difference. Work is needed to create a temperature difference. Therefore, from the perspective of energy conservation, it is a great waste to allow heat to diffuse without utilizing the temperature difference. Since matter and energy are immortal (something cannot be created from nothing), even in production activities, it can be said that the only thing being created is entropy. If we spew soot or dump sewage into a river, entropy increases through diffusion and mixing. In that sense, entropy is undesirable, just like garbage. Pollution and environmental problems are deeply related to the increase in entropy. It is necessary to be careful not to increase entropy as much as possible and not to waste energy by turning it into waste heat. On average, the Earth receives 222 watts of energy per square meter from the sun, along with entropy. They also release roughly the same amount of energy into space in the form of infrared radiation, along with a greater amount of entropy than when they received it. By collecting sunlight and creating high temperatures, entropy can be kept low, and work can be extracted by utilizing the temperature difference. This is the use of solar energy. If we look at living organisms only within their own systems, they appear to be going against the principle of increasing entropy. In other words, by ingesting food and introducing order into the body, they reduce internal entropy. However, living organisms can be thought of as maintaining their delicate order (life) by discarding the excess entropy created by their activities in excrement and releasing it into the outside world. In the case of Earth or living organisms, if they are closed systems isolated from the outside world, entropy would only increase, but in the open systems described above, order is maintained by discarding entropy.

[Koide Shoichiro]

Information and Entropy

If letters or symbols are arranged in a certain order, information can be transmitted, but if they are arranged in a disorderly manner, information is lost. Entropy is a quantity related to the degree of order, so it is also used in information theory. However, the units are completely different, and it has no direct relationship to the exchange of heat.

[Koide Shoichiro]

"Physics One Point 1: Entropy" by Koide Shoichiro (1979, Kyoritsu Shuppan)" ▽ "What is Entropy?" by Koide Shoichiro and Abiko Seiya (1985, Iwanami Shoten)" ▽ "What is Entropy?" by Hori Junichi (1986, Kodansha, Bluebacks)" ▽ "All About Entropy" by Ono Shu (1987, Maruzen)" ▽ "The Law of Energy and Entropy - From the Perspective of Chemical Engineering" by Kojima Kazuo (1997, Baifukan)" ▽ "From Thermology to Thermodynamics - Focusing on Entropy" by Ishinawa Takao (1997, Scientist Publishing)" ▽ "From Entropy to Chemical Potential" by Watanabe Kei (1997, Shokabo)" ▽ Suzuki Hideo and Ito Etsuro, "Biological Information and Entropy: Aiming to Clarify the Logic of Biological Information Transmission Mechanisms" (2000, Baifukan) ▽ "Parity Editorial Committee, Sugimoto Daiichiro, "Entropy Now?" (2002, Maruzen)" ▽ "Martin Goldstein et al., Yonezawa Fumiko and Mori Hiroyuki, translated "Refrigerators and the Universe: The Horizon of Science Seen from the Perspective of Entropy" (2003, Tokyo Denki University Press)" ▽ Aoki Norio, "Nonlinear Analysis 3: Measures, Entropy, Fractals" (2004, Kyoritsu Shuppan) ▽ Nishino Tomotoshi, "Learning Entropy from Scratch" (2004, Kodansha) ▽ Tomonaga Shinichiro, "What is Physics? Volume 2" (Iwanami Shinsho)

Free expansion of gas (Figure A)
©Shogakukan ">

Free expansion of gas (Figure A)

Solid and liquid model (Figure B)
©Shogakukan ">

Solid and liquid model (Figure B)

Source: Shogakukan Encyclopedia Nipponica About Encyclopedia Nipponica Information | Legend

Japanese:

熱現象に特有な不可逆性（非可逆性ともいう）を数量的に表現するために導入された量。エントロピーという名はクラウジウスが1865年に与えた。絶対温度Tの物体が熱量Qを受けたとき、物体のエントロピーはQ/Tだけ増し、熱量Q'を放出するときエントロピーはQ'/Tだけ減少すると定める。物体が熱平衡状態にあるということは、温度や圧力や体積が指定できるということであるが、一つの熱平衡状態Aから別の熱平衡状態Bへ変わったときの物体のエントロピー変化は、AからBへきわめてゆっくり変化させていく過程を考えて、その途中で出入する熱量をそのときどきの温度で割ったものの代数和として計算する。変化が「ゆっくり」でないと、場所によって不均一を生じ物体の温度が定められないからである。

［小出昭一郎］

熱伝導によるエントロピーの増加

不可逆変化の代表的なものは熱伝導で、高温物体と低温物体を接触させれば熱はひとりでに前者から後者に流れ、温度が一様になると変化がやんで熱平衡になるが、逆はおこらない。いま、2物体が隔離されて異なる温度にある状態をA、接触後に到達する熱平衡状態をBとする。変化A→Bを「ゆっくり」行うため、両物体を隔離したまま少しずつ熱を高温物体から低温物体へ移す。しだいになくなるにしても、とにかく温度差は存在するから、途中でqだけの熱を移すときに高温物体の失うエントロピーq/T₁よりも低温物体のもらうエントロピーq/T₂のほうが大きい。したがってこの操作を繰り返してA→Bにしたとき、両物体のもつエントロピーの合計は増加していることになる。

［小出昭一郎］

気体の自由膨張によるエントロピー増加

器を二つに仕切って、その一方に気体を入れ、他方を真空にしておく（状態A）。仕切り板を急に引き抜くと気体は器全体に広がる（状態B）。このとき気体の体積は2倍になるが、外部と仕事のやりとりはないので気体のもつエネルギーは不変で、温度もほとんど変化しない。これを自由膨張という。ところで、この変化に際してのエントロピー変化を計算するために、変化A→Bを「ゆっくり」行う必要がある。仕切り板を徐々に後退させればよいが、そうすると気体は仕切り板を押して仕事をするのでエネルギーを失い温度が下がる。そこで自由膨張と同じ結果Bにするには、仕切り板を後退させながら絶えず少しずつ加熱しなければならない。加熱をすればエントロピーが増すから、B状態の気体はA状態よりもよけいにエントロピーをもつことになる。これが自由膨張におけるエントロピー変化を示すことになる（図A）。

［小出昭一郎］

不可逆変化とエントロピーの増大

これらの例が示すエントロピーの増加は、どんな不可逆変化の場合でも一般的におこると考えられるのでエントロピー増大の原理といわれる。熱平衡状態は、ある系の内部のエントロピーがもっとも大きくなった状態をさす（エントロピー極大の原理）。いまみた例を一般化すれば、熱エネルギーや気体分子が一方に局在した状態Aから、拡散して全体に一様に広がった状態Bへ向かうのが、不可逆変化の向きである。固体や液体の気化（蒸発）の場合も同様で、気体になることで分子の運動範囲は著しく広がる。このとき増すエントロピーは気化熱によって与えられる。固体が液体になるときには、融解熱を融解点の絶対温度で割った量だけエントロピーは増大するが、これは、固体の結晶をつくっているときには、つり合いの位置に束縛されていた分子が、もっと広い範囲にさまよい出て不規則に動き回るようになることと関連している。

　この融解という現象を簡単化したモデルで調べるために、図Bのような碁盤状のものを考え、石を(a)のように規則正しく並べた状態が固体の結晶を表すとし、(b)のように25の升目のどこにでもかってに置いてよい不規則な状態が液体を表すとしよう。順列・組合せの考え方を適用すれば、固体の状態では並べ方は1通りしかないが、液体のときには25から13を選ぶ組合せの数だけの並べ方が存在する。つまり、固体という規則的な秩序のある状態から液体という無秩序状態に変わると、「場合の数」が急増する。きちんと整頓(せいとん)した状態というのは、可能な多くの場合のうちのごく限られた特殊の場合にすぎないからである。

［小出昭一郎］

エントロピーのミクロな定義

このようなことから、エントロピーのミクロな意味が推察できる。巨視的にみて静止している液体も、微視的にみれば異なるいろいろな状態の一つからほかへとめまぐるしく移り変わっている運動状態にある。つまり、マクロにみて一つの状態も、その裏にミクロの莫大(ばくだい)な数（Wとする）の異なる状態が隠れている。このWの数え方はむずかしく、図Bは極度に簡単化した場合である。正しくは、分子の速度を考えに入れ、量子力学を適用する必要がある。とにかくこうしてWを決めた場合に、これをそのマクロな状態の熱力学的重率という。このWの自然対数をとり、それにボルツマン定数kを掛けたものklog_eWが、そのマクロの状態におけるエントロピーに等しいことが証明されている。そうすると、エントロピーが増えるということは、Wが小さい状態から大きい状態へ変わるということである。図Aで変化A→Bによって気体の体積が2倍になるとき、分子の速度分布は変わらないので、位置に関する可能性だけが増す。1個の分子ごとにそれは2倍になるから、分子がN個あれば全体で2^N倍になる。つまりA→Bという変化でWは2^N倍になるのである。したがって、エントロピーはklog_e2^N＝Nklog_e2だけ増すことになる。なお、エントロピーの概念のミクロな意味を明確化するのに多大の貢献をしたボルツマンの墓はオーストリアのウィーンにあるが、そこには、エントロピーSをミクロに定義する式S＝klogWが刻んである。

［小出昭一郎］

混合のエントロピー

水とアルコールを混ぜたとすると、水の分子もアルコールの分子も混合前よりは広い範囲を動き回ることになるので、エントロピーは増加する。このとき増加するエントロピーを混合のエントロピーという。

［小出昭一郎］

熱機関の効率とエントロピー

熱を仕事や電力に変える熱機関や発電機では、作業物質として使う気体などに熱を加えて高温高圧で膨張させ、大きな仕事を取り出す。そのあと作業物質を元に戻すために圧力を下げるので冷却が必要になる。この過程で、高温の熱源（たとえば原子炉を考え、その温度をT₁とする）が作業物質に与える熱量をQとすると、エネルギー保存則により、これから外部にする仕事W'を引いた残りQ－W'（これをQ'とする）が廃熱として冷却水など（温度をT₂とする）に放出される。このとき、熱源や冷却水まで含めた全系のエントロピーは、増えることはあっても減ることはないから、冷却水の得たエントロピーQ'/T₂のほうが、熱源の失ったエントロピーQ/T₁より大きいはずである。その差は、熱の移動や蒸気の膨張などのときに増えたエントロピーであり、これをまったくなくすることは実際上不可能である。そうすると

から容易に

という関係が得られる。W'/Qは、加えた熱のうち、仕事や電力として使えるものの割合で効率とよばれる。この式から、熱を仕事に変えるときの効率には、熱源と冷却系の温度で決まる上限が存在することがわかる。T₂をなるべく小さくすればよさそうにみえるが、低温をつくるためには別のエネルギー源、たとえば電力などが必要であり、T₁を高くすることも耐熱材料などの関係で限界がある。

［小出昭一郎］

熱の利用とエントロピー

仕事を熱に変えるのは容易だが、逆は容易ではない。熱を仕事に変えるには効率に限界があるし、廃熱が不可避である。効率の式が示すように、熱は温度差がないと仕事に転換できない。温度差をつくりだすには仕事が必要である。したがって、温度差を利用せず、熱が拡散していくのを放置することは、省エネルギーの観点からは非常にもったいないことといえる。物質もエネルギーも不生不滅である（無から有を生じることはない）から、生産活動といっても、つくっているのはエントロピーだけといえる。煤煙(ばいえん)を吐き出したり汚物を川へ流せば、拡散や混合でエントロピーが増える。その意味でエントロピーはごみのように好ましくない。公害や環境問題はエントロピー増加と深く関連している。なるべくエントロピーを増やさないよう、エネルギーをむだな廃熱にしないように気をつけることが必要となる。地球は太陽から平均して1平方メートル当り222ワットのエネルギーをエントロピーとともに受け取っている。また、赤外線放射の形でほぼ同量のエネルギーを、受け取ったときより多量のエントロピーといっしょに、宇宙空間へ放出している。太陽光を集めて高温をつくりだせば、エントロピーを低く抑えられ、温度差を利用して仕事が取り出せる。これが太陽エネルギーの利用である。生命体をその系のなかだけでみるならば、生物は、エントロピー増大の原理に逆らっているようにみえる。つまり、食物を摂取して体内に秩序を取り入れることによって、体内のエントロピーを減少させている。しかし、生物は活動でできる余分のエントロピーを排泄物(はいせつぶつ)に含ませて外界に捨てることで、その微妙な秩序（生命）を保ち続けていると考えることができる。地球でも生体でも、外部から遮断された閉じた系ならエントロピーが増す一方であるが、いま述べたような開いた系としてエントロピーを捨てることで秩序を保っていると考えられる。

［小出昭一郎］

情報とエントロピー

文字や記号を一定の秩序で配列すれば情報が伝わるが、無秩序な配列では情報が失われる。エントロピーは秩序の度合いに関連した量なので、情報理論でも使われる。ただし単位の桁(けた)がまったく違うし、熱のやりとりとも直接の関係はない。

［小出昭一郎］

『小出昭一郎著『物理学One Point 1　エントロピー』（1979・共立出版）』▽『小出昭一郎・安孫子誠也著『エントロピーとは何だろうか』（1985・岩波書店）』▽『堀淳一著『エントロピーとは何か』（1986・講談社・ブルーバックス）』▽『小野周著『エントロピーのすべて』（1987・丸善）』▽『小島和夫著『エネルギーとエントロピーの法則――化学工学の立場から』（1997・培風館）』▽『石鍋孝夫著『熱学から熱力学へ――エントロピーを中心に』（1997・サイエンティスト社）』▽『渡辺啓著『エントロピーから化学ポテンシャルまで』（1997・裳華房）』▽『鈴木英雄・伊藤悦朗著『生体情報とエントロピー――生体情報伝達機構の論理の解明をめざして』（2000・培風館）』▽『パリティ編集委員会編、杉本大一郎著『いまさらエントロピー？』（2002・丸善）』▽『マーティン・ゴールドスタイン他著、米沢富美子・森弘之訳『冷蔵庫と宇宙――エントロピーから見た科学の地平』（2003・東京電機大学出版局）』▽『青木統夫著『非線形解析3　測度・エントロピー・フラクタル』（2004・共立出版）』▽『西野友年著『ゼロから学ぶエントロピー』（2004・講談社）』▽『朝永振一郎著『物理学とは何だろうか　下巻』（岩波新書）』