Information science - information science

Japanese: 情報科学 - じょうほうかがく（英語表記）information science

What is Information Science?

If there was one single factor that characterized the development of science and technology after World War II, it would be the emergence of the electronic computer. Supported by the rapid development of electronics, which is based on solid-state physics, this technology has made remarkable progress and continues to do so to this day. The science and technology of "information" developed based on the progress of computer science, electronics, and communication engineering, and this gave rise to a new academic field with its own unique logic called "information science."

Information technology is now having a major impact on society as a whole. The study of information has now shown multifaceted development, including in the fields of humanities and social sciences. However, this article will focus on the science of information machines, such as communication machines, computing machines, and automatic control machines, while taking into account the history of its establishment.

[Arakawa Hiroshi]

The Birth of Information Science

The birth of information science is directly attributable to the work of three outstanding scientists, Wiener, Shannon, and von Neumann. Their research results from the mid-1940s to the 1950s formed the foundation of information science, and it can be said that its framework was established by the mid-1950s.

In 1948, in his book Cybernetics, Wiener emphasized that the problems of "control" and "communication" did not fit within the framework of existing academic fields, and proposed the formation of a new field of study, cybernetics. Wiener's ideas became the ideological precursor of information science.

In the same year, Shannon published "Information Theory," which mathematically specified the specific handling of information transmitted by communication, and for the first time presented information theory of communication systems as a systematic, and in itself highly complete, theory.

Meanwhile, in 1945, von Neumann proposed the stored-program computer. The basic principles of this idea have been passed down to the present day and have played a crucial role in the development of digital computing machines, which form the main material conditions that make up information science. von Neumann also carried out general research into automatic machines (automata), paving the way for this field of information science. The above-mentioned theories of communication and information by Shannon, the theory of control and prediction started by Wiener, and digital information processing and automata theory represented by von Neumann provided the basic course for the comprehensive development of information science thereafter, which continues to this day.

[Arakawa Hiroshi]

Information theory

Many people have played with a string telephone as a child. It is a direct transmission of information by mechanical vibrations through the string. The telephone converts the mechanical vibrations into electrical signals. Wireless telegraphy utilizes the propagation of electromagnetic waves in space. Information theory, which began with Shannon, takes a general mathematical form that fits all of these cases and is its concrete development. It was clear that the transmission of information has socio-economic significance before its physical meaning became an issue. The invention of wire telegraphy by S.F. Morse (1837) is evidence of its commercial significance above all else. Morse code is essentially a binary logic of YES/NO. About a century later, this emerged as Shannon's information theory in the form of a general mathematical theory of information transmission in communication systems.

[Arakawa Hiroshi]

Control and Prediction

Today, robots and magic hands have become widely used in production, but the movement of grasping an object is a simulation of the function of an arm, where the brain makes a certain prediction about the purpose, information signals are transmitted through the nerves, and muscle movements are controlled. This is exactly the perspective that Wiener had when he viewed living organisms as cybernetic machines, and today this is embodied in the form of robots.

[Arakawa Hiroshi]

Computers and Information Processing

The weather forecasts we see every day are made based on certain calculations made on observation data. In addition to the development of observation systems, high-speed calculations are required. It is well known that the direct impetus for the appearance of electronic computers was the calculation of anti-aircraft gun trajectories during World War II. This also required high-speed calculations. Back in the late 19th century, Hollerith invented the punch-card electric statistical machine, which successfully tallied the total population for the 1890 U.S. census that same year. This was a historic and symbolic event, considering that up until that point, it had taken seven and a half years to compile a single census. Today's computers have a calculation speed that is incomparable to that of the ENIAC (1946), the first large general-purpose electronic computer, which used 18,800 vacuum tubes.

An electronic computer is an information processing machine as an automatic machine. The most advanced information processing device today is the digital computer, in which all information is reduced to a binary symbol sequence of YES/NO. The fact that the bit, which is used as a unit of "information volume," is a binary choice corresponds to this point. For example, in the case of a dam flow control system for a water system or a production management system for a steelworks, a large computer is at the center of all of them, and there is a network system of process computers and various other terminal devices linked to it, and all the information captured there is expressed in binary symbols. Among information, there is essentially analog information rather than digital information, such as image information and audio information, and it can be said that information involving humans is more often the latter. So far, in terms of practical use, the direction has been pursued in the direction of how far such information can be approximated digitally. In the future, further development of analog computers is expected in parallel with this. Also, research on what is called the fifth generation computer is currently underway, which is said to have artificial intelligence elements. If this is the case, it would involve qualitatively new elements compared to previous computers, and the challenges before it can be realized are great. Today, information processing technology is the field that is seeing the most development, and its range of applications is expanding more and more. Research into fifth-generation computers, project ICOT, led by the Ministry of International Trade and Industry (now the Ministry of Economy, Trade and Industry), was carried out over the 1980s and 1990s, and was completed as a project in the mid-1990s. Since then, research in this direction has expanded even further.

[Arakawa Hiroshi]

The future of information science

The future development of information science will likely be dominated not only by the hardware aspect of computers, but also by the software aspect, and by the overall development of information processing technology. At the same time, the social impact will not be limited to the direct impact of automation in the labor process, but will be a problem that has already been raised as something that is fundamental to the future development of society, such as the issue of controlling public opinion in an "informationized" society. From this perspective, there is an ever-increasing demand for development, including in the humanities and social sciences, as a future task.

[Arakawa Hiroshi]

Information theory

What is Information Theory?

Information theory is the mathematical theory of information transmission in communication. Information is generally expressed as a sequence of symbols, such as a sequence of characters or a sequence of 0s and 1s, a sequence of numbers, or a function of a continuously changing quantity. These symbol sequences that express information are called messages. From an engineering perspective, the problem is how to transmit a selected message from a sender to a receiver accurately and quickly. To theoretically address this problem, it is necessary to grasp the quantity of information. Shannon modeled the source of information using a stochastic process, defined the amount of information, and developed a mathematical theory of information transmission. This theory was then gradually systematized with the rapid development of electronic computers, and today it has developed into a field of study known as information theory.

[Tokiwano Kazuo]

Communication System Model

A model of a communication system in information theory is represented by a block diagram like that shown in Figure A.

The information source is specifically a human or a machine, and constantly generates various information in the form of a message or a series of messages. Messages may include spoken words, written words, symbols, drawings, pictures, music, etc. The receiver refers to the human or machine that receives this information. The transmitter converts the message into a signal that fits the communication channel and transmits it. This signal is sent to the receiver through the communication channel, and the receiver reconstructs the message from the signal. For example, in the case of a telephone, the communication channel is an electric wire, the signal is the changing current on the wire, the transmitter converts the change in sound pressure into a change in current, and the receiver performs the reverse operation. In many cases, the signal is distorted or noise is added in the communication channel due to various factors. Therefore, the message on the receiving side does not necessarily match the message on the sending side. In this way, all changes in the signal received on the communication channel are called noise.

The transmitter is also called an encoder because it converts messages from the information source into a code sequence, and the receiver is also called a decoder. As will be described later, the encoder has two roles: to remove as much redundancy as possible from the information source message and convert it into a code with no waste, and to encode the message in a way that minimizes transmission errors due to noise according to the characteristics of the communication channel. Encoders are often designed to be divided into source encoders and channel encoders according to these two functions. Decoders can also be divided into channel decoders and receiver decoders.

[Tokiwano Kazuo]

Amount of information

Let us assume that there is an information source that generates messages one after another. The generation of messages from this information source is sequential and probabilistic. Let us consider _an information source that generates n messages a1 , a2 ,……, an with _{probabilities} p1 , p2 ,……, pn _, _respectively _, as a complete event system _.

A complete event system is one in which one and only one of the events in the set { a ₁ , a ₂ ,……, a _n } occurs on each trial (for example, when a die is rolled, one of the numbers 1, 2, 3, 4, 5, or 6 appears).

is called the "information amount" of information about the information source X. H ( X ) is formally the same as the entropy in statistical thermodynamics except for the proportionality constant, and is also called Shannon's entropy.

The receiver receives a message from an information source X (whose statistical properties are assumed to be known), but before receiving the message, it is uncertain which message will be obtained. H is a quantity that expresses this uncertainty. For example, if any one of p _i in the information source X is 1 ( p ₁ = 1, p ₂ = p ₃ = ... = p _n = 0), H ( X ) = 0 is calculated. In other words, it is known that the message appearing from X is a ₁ , and there is no uncertainty in X. In this case, the amount of information obtained by receiving is 0. Next, when all messages appear with the same probability ( p ₁ = p ₂ = ... = p _n = 1/ n ), H is maximized and is equal to log n . This is clearly the case where there is the most uncertainty about which message out of n messages will be obtained. In this case, something that was completely unknown to the receiver is confirmed by receiving it, so the reception will bring the largest amount of information. In this way, information theory uses the uncertainty H regarding the information source as a quantitative measure of information.

The amount of information H can be said to represent the complexity of the selection procedure required to distinguish and select one message from all possible messages. The simplest "selection" is to choose one of two possible events when both occur with the same probability (for example, choosing heads or tails when flipping a coin). This selection is the simplest information. Since the probability of getting heads and the probability of getting tails are the same, 1/2, if we take the logarithm to the base 2, H ( X ) = 1. This unit is called a bit. Let's consider the previous example again, a special case where n messages occur with equal probability. The amount of information is calculated as H ( X ) = log ₂ n bits, which is the number of binary operations (dividing into two groups and choosing one) required to select one from n possibilities. For example, if there are eight messages, the procedure for selecting one from the eight can be decomposed as follows. First, divide the eight messages into two groups of four (both have equal probability) and choose one. Next, the four pieces from the selected group are divided into groups of two and one is chosen, and finally one of the remaining two is chosen. In this case, the number of alternative operations is three, which coincides with the value of the amount of information H (log ₂ 8 = 3). The reason why a logarithmic expression is used in the definition of information amount is due to the additivity of information amount. For example, a relay that performs a simple open/close operation can process a unit of information (1 bit) that simply selects two messages. If one relay processes a unit of information, then three relays process three times that amount, three units of information. Such an expression satisfies the logarithmic measure. In reality, three relays can process eight messages, and the amount of information is expressed as 3 bits (log ₂ 8 = 3).

The concept of information in information theory is based on the definition of the amount of information H , and should not be confused with the commonly used meaning of the word information. The amount of information is determined by the probabilistic structure of the information source, and does not take into account the specific meaning and content that the message originally contains.

[Tokiwano Kazuo]

Conditional Entropy and Mutual Information

Let us now consider the case where an event system X is related to another event system Y. If event systems X and Y are not independent and there is a relationship between them, then we can obtain information about X by knowing what Y is. Therefore, when we know Y , the uncertainty of X will decrease. The uncertainty about X when event system Y occurs is written as H ( X | Y ), and is called the conditional entropy. H ( X | Y ) is a quantity that measures how uncertain there is about X when Y is known. In general, Shannon's inequality H(X)H(X|Y) holds. Mutual information is defined as follows:

I ( X ; Y )＝ H ( X )－ H ( X | Y )
From Shannon's inequality, we can see that the mutual information I ( X ; Y ) is always non-negative. Let X be the input to a communication channel and Y be its output. In this case, the mutual information I ( X ; Y ) represents the amount of information obtained (or the amount of information transmitted) through a given communication channel. H ( X | Y ) is the uncertainty about the input X that remains after knowing the output Y of the communication channel. Therefore, when there is no noise in the communication channel and the transmitted signal is transmitted without error, H ( X | Y ) = 0, and the amount of transmitted information I ( X ; Y ) is equal to the entropy H ( X ). When there is noise and there is still uncertainty about the input X after it is received ( H ( X | Y ) ≠ 0), the amount of transmitted information is smaller than H ( X ). I ( X ; Y ) becomes 0 when the noise is very large and the input signal and the output signal are virtually independent.

[Tokiwano Kazuo]

Source coding and channel coding

A set of letters is called the alphabet and represented by α, and each letter is numbered and written as α = {α ₁ , α ₂ , …, α _m }. Suppose it is possible to send a sequence of letters of this alphabet over a certain communication channel. To transmit a message from information source X , n messages a ₁ , a ₂ , …, a _n must be expressed in letters of α. For example, in telegraphy, messages (letters) are transmitted by expressing them as α = {0,1} (with or without electric current). Each message a _i corresponds to a sequence of letters of α, and we write a _i → U _i ＝ u ₁ ⁱ u ₂ ⁱ …… u _Ni ⁱ ( u _k ⁱ ∈α).
The process of converting this into is called coding. U _i on the right hand side is the codeword, its length N _i is the codeword length, and a collection of these codewords is called a code. A code consisting of a sequence of only two types of symbols such as 0 and 1 is called a binary code. A method of dividing a source symbol sequence into blocks of a fixed length and assigning a communication symbol sequence to each block is called block coding.

[Tokiwano Kazuo]

Source Coding Theorem

In order to improve communication efficiency, it is better for the codeword length Ni _to be small. Average codeword length per message

is a measure of the efficiency of communications. In order to reduce , long code words are assigned to messages with a low probability of occurrence, and short code words are assigned to messages with a high probability of occurrence, as in Morse telegraphy. However, since each code word must be encoded so that it can be distinguished from the others, there is a lower limit to . When there is no noise in the communication channel and the receiver can receive the character α _i accurately, the following source coding theorem (Shannon's first coding theorem) holds: "If the average code word length is

"It is possible to find a coding method that satisfies the entropy limit." This theorem shows that the average length of a codeword cannot be made smaller than H ( X )/log m , which is determined by the entropy of the information source, and conversely, that there exists a coding method that is infinitely close to the entropy limit. A specific method for constructing an optimal code in this case is the coding method proposed by David A. Huffman (1925-1999) (Huffman encoding).

[Tokiwano Kazuo]

Channel coding theorem

Normally, there is noise in the communication channel, which causes errors in the transmitted information. The important role of a channel coder is to enable reliable transmission with as few errors as possible. When a certain communication channel (with its noise characteristics, transmission bandwidth, etc.) is given, the maximum amount of information that can be transmitted through the channel is called the channel capacity, and this capacity C is expressed as the amount of mutual information per unit time:

Here, p ( X ) indicates the probability distribution of the information source X , and max means taking the maximum value over all possible information sources. { H ( X ) -H ( X | Y )} is the transmission rate, which is written as R. The conditional entropy H ( X | Y ) is specifically called "ambiguity."

The channel coding theorem (Shannon's second coding theorem) is stated as follows: "In a discrete channel with a channel capacity of C (bits/second), a certain source is encoded at a rate of R (bits/second) and transmitted through this channel. If R is smaller than C , then there exists a coding method that allows the information of this source to be transmitted with an arbitrarily small degree of ambiguity (or error probability)" ( Figure B ).

Now _, if we assume that the communication channel has no memory and the average error probability of the received signal _is Pe , then there exists a block coding method that can suppress Pe to Pe _exp {- NE ( R )}. N is the block length. E ( R ) is called the reliability function, and depends only on the characteristics of the communication channel. Since E is positive when R is smaller than the channel capacity C , this inequality shows that the error probability can be made as small as possible by increasing N while keeping the transmission speed constant.

[Tokiwano Kazuo]

Rate Distortion Theory

Rate-distortion theory is a theory that determines the minimum required information transmission rate and considers optimal coding when a distortion tolerance is given to the information source. In the case of continuous information, distortion is always present when messages from the information source are transmitted through a noisy communication channel. When continuous messages are quantized and encoded into a binary code for transmission, the number of symbols in the codeword must be increased and the capacity of the communication channel must be increased accordingly in order to keep distortion to a minimum. Conversely, if a large distortion is allowed, the amount of information sent is small and the communication channel capacity can be reduced. This is not a problem limited to continuous messages, but also includes discrete messages. When a tolerable distortion D determined by a certain evaluation criterion is given, it is generally required to keep the amount of information R sent to the communication channel per unit time as small as possible, and conversely, when R is given, it is required to keep distortion as small as possible. R is a function of D , expressed as R ( D ), and is called the rate-distortion function. The core of rate-distortion theory is the "source coding theorem" for R ( D ), which gives a limit to the transmission speed. When compressing data or signal waveforms generated from a source, this theory shows the theoretical limit of the compression, and it is the theoretical basis of today's data compression technology.

[Tokiwano Kazuo]

Code Theory

Since the discovery of the channel coding theorem by Shannon, research into codes that realize transmission speeds as close as possible to the channel capacity with low error probability, especially error-correcting codes that lead to improved reliability of communication systems and computers, has made remarkable progress in coding theory. The purpose of coding theory is to systematically construct codes for highly reliable and efficient information transmission. The error probability can be reduced by increasing the length of the transmission symbol sequence. However, when the code length is increased, the number of types of symbol sequences increases exponentially, requiring a huge amount of storage for encoding and decoding, making it virtually impossible to realize a decoder. Therefore, it is important to develop a code construction method that can correct errors in a more systematic way. Codes can be broadly classified into block codes and convolutional codes, depending on whether they are constructed in blocks or sequentially. The former began with the Hamming code in 1950, passed through the BCH code in 1960, and today forms the algebraic coding theory represented by the BCH-Goppa code. This method has become an important technology for highly reliable transmission of voice, images, and various data. Convolutional codes, proposed by Peter Elias (1923-2001) in 1955 and research into which has continued since then, have an excellent decoding method and are of practical importance, so their development is attracting attention. Coding theory is a large system in itself, and is often considered to be a field independent of information theory.

[Tokiwano Kazuo]

Multi-terminal information theory (multiple information theory)

It deals with systems consisting of multi-terminal (multiple) information sources (multiple correlated information sources) or multi-channels (multiple correlated channels). It began with Shannon's theory of two-way channels (1961), in which information is transmitted in two directions. After Hans Marko (1925-2017) put forward an interactive model in 1966, research progressed in the 1970s on broadcast channels with 1 input and N outputs, and multiple access channels with N inputs and 1 output, and it became an important topic in information theory in connection with data communication by computers.

[Tokiwano Kazuo]

Data Processing

What is information processing?

Information processing refers to a series of "processing" of "information" carried out by information processing machines centered around electronic computers, that is, processes such as the generation, expression, conversion, transmission, storage, and retrieval of information.

The content of information processing is developed as an academic discipline called "information engineering." In other words, information engineering aims to study the information handled by information processing machines and systems from a technical and engineering perspective, and is characterized by its extremely broad and general-purpose nature, combining aspects related to the production, operation, and use of computers, as well as aspects related to the collection, analysis, organization, and management of information. It has its own methodologies (programming, algorithms, architecture, etc.), techniques (abstraction, scheduling, etc.), and many unique fundamental concepts (logical, virtual, complexity, etc.).

This information engineering system is divided into three fields: "basic theory of information processing" as the foundation of information processing in general, "computing machines" as information processing machines that are the material and physical conditions essential for the specific processing of information, and "information processing" about the overall functions and utilization of information processing machines and systems. Of course, these fields are closely related to each other and often overlap, as will be described later.

[Otomo Akio]

Basic theory of information processing

The basic theory of information processing is premised on basic scientific fields such as general mathematics, physics, logic, and linguistics, and is related to individual engineering fields such as electronics, communications, and mechanical engineering, while consisting of fields such as information theory, discrete systems mathematics, algorithm theory, automata and language theory, theory of computation, systems theory, and basic theory of artificial intelligence, which are mutually linked to form the foundation on which information engineering is based, as well as providing an academic foundation for information science and a path to concrete applications. These will be discussed below.

[Otomo Akio]

Information theory

It refers to a theoretical system for handling information (details described above).

Discrete Systems Mathematics

Its content includes logical mathematics, set theory, group theory, graph theory, and Boolean algebra, and has contributed to the development of not only the representation of data structures, but also flow problems within networks, scheduling problems, and switching theory, as well as its role as a design theory for information circuits (combinational circuits, sequential circuits, etc.), which are the components of information processing machines, but also to the development of problems such as the representation of data structures, flow problems within networks, scheduling problems, and switching theory, and is also an important foundation of algorithm theory.

[Otomo Akio]

Algorithm Theory

When all problems in a certain problem set can be generally solved by an information processing device by performing a finite series of operations, this series of operations is called an algorithm for that problem set. Algorithm theory is related to the feasibility and operation of information processing machines, which will be described later, and provides a method for elucidating and designing algorithms, which are the very essence of information processing, and judging their suitability.

[Otomo Akio]

Automata and Language Theory

Automata theory combined with language theory, that is, the system of automata-language theory, forms the core of the fundamental theory of information processing.

Automata theory is the theory of automatic machines that originated from finite automata (described below), which have been thoroughly analyzed as a typical model of information processing machines. It is based on algorithm theory as a methodological foundation within the formal framework of symbol transformation/processing and logical operations, and is an important fundamental theory of information processing, including the design and analysis of information circuits using switching theory and research into regular expressions (described below) for sets of input sequences.

On the other hand, linguistic theory connects with automata by investigating linguistic structures through semantics (the theory of semantics of language) and syntax (the theory of formal language that issues the way it combines as a set of words that removes meaning from language), and "evolves" automata into machine translation, pattern recognition, learning machines, proliferation machines, etc. (automata research).

[Otomo Akio]

Theory of calculation

Calculation is generally the transformation and processing of information expressed in symbol sequences, etc. In addition to the aforementioned algorithm theory, automaton and language theory, calculation theory is positioned as a culmination of basic information processing theory, including program theory, programming methodology, and calculation complexity evaluation theory. It provides concrete and technical methods for the design of computing machines and compiler configuration, and is also an indispensable theory for the organizational design and functional evaluation of programming languages and algorithms (program theory creates the theoretical foundation for "programs" that provide a path to processing information by information processing machines, and is a central theory of software engineering, including programming methodologies).

[Otomo Akio]

Systems Theory

A system is most commonly a complex of interacting elements, and at the same time, anything that can be considered to be integrated into a single system through its interaction.

System theory consists of three areas: mathematical systems theory as a theoretical framework that explains complex phenomena in systems, systems engineering as a technology for analyzing and designing functions and functional synthesis for achieving the objectives given to systems, and systems philosophy as a philosophical aspect that is also related to scientific methodology and epistemology. This theory overlaps with the above-mentioned theories and is an important element of basic information processing theory.

[Otomo Akio]

Basic theory about artificial intelligence

The purpose of research on artificial intelligence is to realize human intellectual abilities such as thinking, problem solving, learning, language, cognition, and understanding on machines as devices and systems using theories and methods of information processing. This basic theory of artificial intelligence centers around the theory of the field known as "knowledge engineering", such as knowledge expression, reasoning mechanisms, learning theory, knowledge-based management and its systems, and is essentially nothing but the associational content of the above-mentioned basic information processing theory.

[Otomo Akio]

Calculation machine

Information Machine

Machines that process information are called information processing machines or simply information machines. Computing machines are broadly synonymous with information machines, and narrowly refer to abstractions of information machines (tape machines) of information machines that are large enough to be used in storage devices. In any definition, computing machines can be broadly divided into three types of information machines, digital digital, analog analog, and hybrid hybrid, depending on the format of information conversion and processing. Furthermore, the operation of these information machines is classified as synchronous synchronous and asynchronous asynchronous depending on whether or not the clock pulse is followed. Today's information machines and systems are central to synchronous digital machines. What is described below is about calculation machines of this type in the broad sense.

An information machine can be divided into a "finite state machine (finite automata)" in which the internal state (described below) that defines the relationship between input and output information is finite, and the output information is determined by this finite internal state and input information, and an information machine that can handle infinite information that cannot be executed by this finite state machine. The latter is a tape machine known as a Turing machine, and includes program-storage digital computers, representative of electronic computers (computers). In addition, computing machines as "artificial intelligence" such as perceptrons (learning machines) and robots, which attempt to apply the above information machines to fields of intellectual ability such as pattern recognition, translation, and learning, but are essentially the same as information machines based on automata and computers.

As representative examples of computing machines, we will discuss basic points regarding finite automata, Turing machines and computers, and also refer to algorithms, system control and operating systems that are essential for these computing machines to function effectively in information processing.

[Otomo Akio]

Finite automaton

Automata (automatology) is used synonymously as a mathematical model or a mathematical receiver acceptor. Its essence lies in that it is constructed to reproduce its mechanism with the aim of elucidating the formal and logical structure of the functions of any target system, and therefore serves as a means of describing or constructing "how to process the basic problems of formal logic." This involves algorithms in particular. Automata research also starts from finite automata, and is deeply related to various fields of information processing, and is linked to automata research.

Finite automata is important in clarifying the essential features of information processing mechanisms. In general, in a synchronous digital information machine, the output Y ( t ) at time t is determined by the input information X ( t ) at time t and the internal state S ( t ) of the information machine defined by previous experience. That is, Y ( t ) = F { X ( t ), S ( t )}. Here, F is called the transition function of the information machine, and is specifically determined according to the system and is expressed as a transition table. A finite automata is an information processing machine when the number of possible states of this internal state S ( t ) is finite.

になったんです。 English: The first thing you can do is to find the best one to do.

Incidentally, not all code sequences of information are represented by regular expressions. Furthermore, finite automatas cannot "process" all information. The capabilities of finite automatas have a limit due to their number of states, or the amount of memory, being finite. The Turing machine (tape machine) overcomes this limitation.

[Otomo Akio]

Turing Machines and Computers

になったんです。 English: The first thing you can do is to find the best one to do.

In a universal Turing machine, the transition table of other Turing machines that it is intended to simulate is stored on tape as a program, the program on the tape is read by a finite automata, and the information processing performed by other Turing machines according to the program is executed. This is the very operation of an electronic computer (computer) consisting of hardware and software. Thus, the universal Turing machine is provided with software (transition table of Turing machines as a program) to a Turing machine (a finite automata with tape as an external storage device) and becomes an information processing machine with all the information processing functions that can be executed by a digital computer (computer).

The essence of information processing performed on any information machine, including the tape machine mentioned above, is revealed by an algorithm.

[Otomo Akio]

algorithm

The finite sequence of operations that generally solve all problems belonging to a certain problem group is called an algorithm for that problem group. The important thing in the definition of this algorithm is "a series of operations for a certain problem group." The former means "a series of operations for a certain problem group" and "an algorithm for a problem group." The latter means that "it will eventually finish and will always give an answer", while the latter means that "the algorithm is given to the problem group." In particular, the latter assumes an appropriate information processing machine for the problem group, and if the problem group is different, the corresponding algorithm and the Turing machine that solves it are different, and therefore, "If a Turing machine that solves a certain problem group can be designed, there is an algorithm that solves that problem group." This is the strict definition of algorithms today.

Thus, when solving a problem set specifically with an information machine, the problem arises whether or not a general algorithm exists (decision problems and calculation problems). Whether or not a general algorithm exists depends on the capabilities of a given information machine and the difficulty of the problem. For example, some numerical functions cannot be calculated by any algorithm on a tape machine, and it is mathematically proven that there are limits to the computing power of a tape machine. This is the essential limit of the information processing power of a tape machine, and therefore the limitation of the digital computer (computer) at the present stage.

[Otomo Akio]

System Control

System control is, in a narrow sense, an engineering concept that refers to a series of actions that correct biases in the state of the target system that occurs due to various external disturbances (external factors), and in a broader sense, it also includes the operation and management of large-scale information processing systems in addition to the above. The term "control" below is used in this broader sense.

The basic control of engineering systems is to observe the state (control amount) of the controlled system (control object), obtain a bias (control deviation) from a preset target value, perform appropriate calculations on this deviation, and feed back the amount of operation obtained to the controlled object, and compensate for the deviation. A digital computer is in a control loop centered on the target system, and not only performs the function of monitoring its operation, but also serves as a controller that directly controls the target system, detects, converts and transmits primitive data, performs necessary information processing, and controls the result as the amount of operation for the process.

Actual control systems have a hierarchical multi-structure with various disturbances with temporal, spatial, qualitative and quantitative differences, and the specific methods of system control are also hierarchically adjusted accordingly. For example, the level of control (self-organization level) for structural disturbances that occur most frequently but are related to the overall system configuration, adaptive and optimal control levels for disturbances that affect system parameters within the framework of their overall configuration, and direct control levels for disturbances that affect process variables. Digital computer systems are integrated with this hierarchical control system and configured to complete the functions of each level. As the controlled system becomes larger and more complex, they take the form of a distributed control system that organically combines multiple computer systems.

This type of system control is realized using various optimization methods centered on the theory of hierarchical control system engineering, as well as mathematical programming methods such as linear programming and dynamic programming. The key to this is a digital computer (computer) that is installed hierarchically with the scale, performance and functions necessary for the necessary parts of the control system. And, in order to operate this computer efficiently, an operating system is essential.

[Otomo Akio]

operating system

An operating system (OS) is a program system that controls computer operations that optimize the system and enables effective and efficient system operation.

になったんです。 English: The first thing you can do is to find the best one to do.

[Otomo Akio]

Processing information

The basic functions of information processing systems and devices, which are based on the above basic theory of information processing, can be roughly divided into three categories: (1) communication, (2) management, and (3) processing, which will be described later. Furthermore, (4) artificial intelligence can also be considered within the framework of information processing. In this classification, (1) to (3) can be considered to correspond almost to input/output, memory, and calculations as functional categories of computers.

[Otomo Akio]

communication

Communication originally means methods and means for the transmission and exchange of information, or for the inter-individual transmission of information, such as information symbols and characters, or the means for conveying information (wireless telegraph, satellite communication), and the meaning and content of information are important goals. With this in mind, communication as an information processing function is a function for creating an interface (interconnection structure) for systems that are separated into temporal (between stored data), spatially (regionally distributed systems), and logically (between processing processes) to communicate, exchange, and share information with each other. This content is related to the information to be transmitted and the form and means of exchange of information.

The first is to relate to mutual understanding of the meaning and content of information such as will and intentions (intellectual communication). This is mainly about communication between humans and machines, namely man-machine (computer) communication, in which, through the interface between humans and machines, is connected to human intellectual functions and mechanisms, on the one hand, and on the other hand, to terminal devices as input/output mechanisms for information processing machine systems such as computers.

Today, in the field of man-machine communication, research is being carried out from a variety of angles, including hardware development and improvements such as mechanical plotters and electronic displays, graphics systems that incorporate the results of software engineering, question-answer systems that utilize the results of artificial intelligence research, and organic use of information systems with the advancement of computer architecture (described below). However, the problem of man-machine communication is one of the biggest weaknesses of information processing systems, including the equipment used, and is an area where more serious research is needed in the future.

The second is about communication between machines. This concerns the function of communication between machines and machines (three processes of sending, sending and receiving) of messages that occur in an information-machine system. In this case, only the handling of quantitative aspects of information is necessary, and the semantic aspects of information is not taken into consideration. This point is as clarified in the information theory mentioned above.

The third aspect is the aspect involved in the transmission of signals responsible for messages, that is, signal processing, which is how efficiently the signal sequence is processed. This includes coding techniques related to the nature of the channel as a medium for information transmission, the structure of the signal sequence to efficiently transmit signals relative to the state, and engineering means such as linear exchange and filtering to maintain signal consistency between various devices and devices.

The above three communication functions are realized as communication systems that perform the various functions of message transmission, reception and exchange. These methods include technology methods such as data communication, transmission and exchange, which are established in electrical and communication engineering, as well as computer network technology and distributed processing technology, and, conversely, techniques for splitting and distribution into different systems. These communication systems have today become the realization of large-scale systems such as network systems. Furthermore, for partitioning, layering, and changing these large-scale systems, new concepts and methods such as certain criteria and regulations (called protocol protocols) that guarantee and verify the correct exchange of messages within or between systems are required.

[Otomo Akio]

management

"Information management" as a function of information processing refers to "management" as a function of accumulating and searching large amounts of information, and is a technology that stores information and uses the stored information as necessary.

The prototype of this "management" function is found in the technical method in which computers manage information (a method in which the necessary information is selected from a collection of data accumulated as files on a storage device and efficiently transfer it to a central processing unit). The management function for processing information is further developed and expanded by the operating system, along with an empirical accumulation rooted in practical requirements such as administrative processing, literature search, and computer design. This has led to the creation of new methodologies and methods such as multiple programming and scheduling, mainly related to hardware operation procedures and their techniques, such as memory management based on operating system functions, processing device management, and other device management.

Another management function that attracts attention today is its functions as a database database and database management system that have evolved with the organization of information systems such as complex, large-scale networks and system programs that have become widely used in society.

A database is a comprehensive accumulation medium for data for the purpose of multipurpose use of information. Today, the complexity and scale of real information objects has led to the problem of how to store and use data about the information objects as a database. With this issue, there has been an evolution of data description languages for storing information in a database, schemas, which are the format for classifying data elements, and data manipulation languages that trace and find the written data, and database management systems have been formed, including the development of database machines, which are realized as hardware. The enormous and decentralized databases have increased the role of hardware in database configuration, but new developments in data semantics and data models are also being attracted attention, with the use of knowledge and semantic expression methods that have been studied in the field of artificial intelligence for more advanced management.

[Otomo Akio]

process

Another function of information processing involves concrete "processing" by practical systems. In this regard, amidst the diversification of application fields and changes in usage as a result of the promotion of informationization of society, the main issues are concentrated in how to realize the functions and performance expected of real information processing systems, especially electronic computers, as the core of these systems.

In this case, the logical functions and structure of computers, mainly the types and formats of computer instructions, data formats, etc., the interface between hardware and software, and the functions and performance required in the technology and systems in which computers are related, and the fields of application, and the various interfaces that appear when they reach the hardware and software that deal with them. These problems are not only strongly dependent on the technology of designing, configuration and development of the elements and circuits that make up the hardware, but are also closely related to the functions and configuration methods of processing procedures in terms of software such as system programs and control programs, as well as the application fields and usage of computer systems. In other words, computer architectures are technical and engineered structures that integrate hardware, software, and firmware (hardware software). The above is nothing more than the basic content regarding the "processing" of information.

The specific development of information processing can be said to be supported by the following three backgrounds, taking into account the technical and engineering stages of information processing:

The first is the diversification and expansion of practical use and application fields of information processing systems (or computer systems), their forms and methods, namely, fields that require new functions and performance, such as large-scale numerical calculations, signal processing (pattern recognition) of figures, images, and audio, linguistic information processing, and accumulation, transmission and processing of enormous information.

The second is the review of hardware and software, which is born out of practical requirements such as the difficulty of developing huge software (called the "software crisis") and program compatibility, and the increased need for mutual sharing and integration.

The third is a new development based on significant advances in hardware in achieving the above requirements. Specifically, this is the development and technological development of integrated circuit technologies such as LSIs and ultra-LSIs, the development of ultra-mass-capacity memory devices using high-speed logic elements such as Josephson devices and magnetic bubble technologies, and the digitization of input/output devices and fusion with communication technology.

The pursuit of new architectures, supporting this background, encourages significant advances and expansion of concrete and practical content in information engineering, such as the following, and also raises concrete issues for the future of information processing.

(1)Implementing large-scale systems that combine microprocessors based on LSI technology, microprogramming technology, and many processors.

(2) Development of database machines using functionally dedicated processors, communication control processors, high-level language machines, and "intelligent" terminals for various input and output.

(3) Firmware technology, design and development of functional modules, and realization of hierarchical computer aided design system using these.

(4) The development of various virtual technologies such as virtual machines and virtual terminals, including imagination memory.

(5) Development of high-class language processors, functional languages, data flow languages, etc. aimed at overcoming the software crisis and non-Neumann processing, and embedded operating system functions as firmware.

(6)Improved processor performance through parallel processing and realization of new operation functions.

(7) The realization of wide-area distributed systems based on the combination of computer technology and communication technology, and distributed machines that achieve functional distribution and load distribution based on LSI technology, as well as the development of distributed processing technology.

(8) Implementation of non-numerical data processing, etc.

[Otomo Akio]

artificial intelligence

Artificial intelligence research, which has been actively developed since the beginning of computer development with the aim of "mechanization of intelligence" or "intelligent machinery," has been developed today with the goal of elucidating the inherent intellectual functions and structures of humans (organisms), and focuses on individually utilizing the "mock intelligence" and technical and engineering results related to it, which have been revealed in part on the way, in each field of information processing. In this sense, artificial intelligence research is included in the above-mentioned information engineering in general, and is likely to help establish and raise more advanced information processing methods in the future, and contribute to further improving the basic functions of information processing.

[Otomo Akio]

人文・社会科学的側面

Theoretical development of information phenomena

きわめて広義には、情報とは秩序と同義語であって、「負のエントロピー」ともよばれ、物的素材の「構造化」、ひいては人間の認識における「意味」の形成にもかかわるものと考えられている。そこから、われわれは今日、細胞分裂に秩序を与えて一定の有機体の形成を可能にする「遺伝情報」（遺伝子）について語ることもできれば、個々の人間の行動を統制して全体として一つの行為パターン（すなわち社会制度）を可能にする「社会情報」（具体的には法律や規範）について語ることもできるわけである。しかるに、情報現象に関するさまざまな理論的・装置的進歩、すなわちサイバネティックスや高度適応的自己制御システム論、フィードバック・メカニズムの考え方など、あるいは情報処理・情報変換装置（コンピュータ）の普及が、従来の学問の四大分野（物理科学、生物科学、社会科学、人文科学）を横断して適用可能であるところから、こうした諸学問分野のいわば結節点として情報科学を構想することも不可能ではないと思われる。すなわち、この発想では、古典的学問の四大分野に生起する諸現象に「情報現象」という共通した側面をみいだし、その一般理論として、通信理論、情報処理論（計算理論）、自動制御理論、ゲーム理論、意思決定論などを展開するわけである。

[Shuichiro Nakano]

情報の類型と属性

情報の3類型である(1)認知情報、(2)評価情報、(3)指命情報というのは、生物、機械、人間のいずれであれ、フィードバック機構をもつ目的的行動のすべてに適用可能であり、同時に時系列上におけるこれらの情報変換過程（(1)→(2)→(3)）が行動過程そのものであると考えられている。たとえば、電気こたつに取り付けられたサーモスタットは、(1)まず第一に現在のこたつの温度を確認し（認知情報）、(2)それがあらかじめセットされている温度（目的）に比べて高いか低いかを判定し（評価情報）、(3)最後に、その判定に応じてスイッチを入れるべきか切るべきかを指令するのである（指命情報）。

情報はまた、普遍的に三つの属性をもっているとされるが、それらは、(1)通信communication、(2)計算computation、(3)制御controlである。この情報の普遍的特性、すなわち伝達され、変換され、制御するという性質は、たとえば「文化」（シンボルや記号で表現された人間行為のパターン）を考えてみると、かつて文化人類学者たちが、文化の伝播(でんぱ)・変容・拘束力を語ったこととみごとに照応している。

[Shuichiro Nakano]

社会情報学の構想

人間社会事象に引き寄せて情報科学を考える場合、もちろんそこに神経生理学、遺伝学、電子工学などの成果を取り入れることにやぶさかであってはならないけれども、より直接的には論理学、記号論、言語学、意味論、イデオロギー論、知識社会学、宗教学、マスコミ論、社会意識論などとのかかわりが大きくなるように思われる。こうして、従来、社会情報現象として明確に意識されぬままに扱われてきた宗教、教育、マスコミ、社会意識、イデオロギー、科学、法律、道徳、美術などを、その生産、流通、蓄積、変換、消費の諸過程までをも含めて体系的に考察する、いわば「社会情報学」とでもよぶべき一分野が構想されなければならないのである。

もちろん、過去においても情報の占める役割が皆無であるような社会は存在しなかった。にもかかわらず、今日、われわれはいわゆる情報化社会の到来を目の当たりにしている。そのことの背景には、まず、大量性と間接性（機械的装置を媒介する）を特徴とするマス・コミュニケーションの出現、ついで、物の生産からサービスや知識の生産を主柱とする脱工業化社会の幕開き、それに、飛躍的に進歩した情報処理装置（コンピュータ――ソフトウェアを含む）の開発があげられよう。なかでも特筆すべきは、インターネットの日常化と高速化である。人々はこうして空前の規模と量の情報に囲まれて生活するようになった。

[Shuichiro Nakano]

今後の研究動向

今後の社会情報研究についていえば、その方向は二つある。一つは、コンピュータの発達に伴う情報処理技術の高度化を基礎にして、たとえば、経済、経営、都市開発、国防、その他技術アセスメントやシミュレーションを含むさまざまな社会活動の計画・調整という実際的・応用的分野である。他方、われわれが見過ごしてはならないのは、人間社会の価値観、規範、意味の問題を含むもう一つの社会情報研究である。マルクスの上部構造論、ウェーバーの宗教社会学、マンハイムの知識社会学、イデオロギー論などと結び付くこうした領域は、今日、マスコミ分析、社会意識や世論の分析、態度分析などを突破口にして、ハードサイエンス（自然科学）的アプローチとも密接な関係をもち始めている。

かつて、異文化間の交流（情報交換）は長い時間と困難な状況を克服してはじめて可能となったが、今日では情報通信技術とメディアの発達によって多様な情報（文化要素）が容易に地球上を流れるようになった。文化を異にする多民族が相互理解を深め、共存・共生の世界をつくる可能性、あるいは早晩、地球文化（グローバル・カルチャー）とでもよぶべきものが生まれるとする議論も、じつはこうした「世界の情報社会化」という文脈で語られているのである。

[Shuichiro Nakano]

『北川敏男ほか編『講座情報社会科学』全18巻（1971～1979・学習研究社）』 ▽ 『高橋秀俊ほか編『岩波講座情報科学』全24巻（1981～1986・岩波書店）』 ▽ 『N・ウィーナー著、池原止戈夫訳『サイバネティックス――動物と機械における制御と通信』（1984・岩波書店）』 ▽ 『長尾真ほか編『岩波情報科学辞典』（1990・岩波書店）』 ▽ 『西垣通著『デジタル・ナルシス――情報科学パイオニアたちの欲望』（1991・岩波書店）』 ▽ 『小倉久和著『情報科学の基礎論への招待――コンピュータはうそがつけるか』（1998・近代科学社）』 ▽ 『細野敏夫著『情報科学の基礎』（2000・コロナ社）』 ▽ 『竹田仁・浜田直道・福田千代子著『情報科学とコンピュータ』新版（2003・日本理工出版会）』 ▽ 『坂井利之著『情報の探検――コンピュータとの発見的対話』（岩波新書）』 ▽ 『C・E・シャノン、W・ヴィーヴァー著、長谷川淳・井上光洋訳『コミュニケーションの数学的理論――情報理論の基礎』（1969・明治図書出版）』 ▽ 『瀧保夫著『情報論Ⅰ――情報伝送の理論』（1978・岩波書店）』 ▽ 『宮川洋著『情報論Ⅱ――情報処理の理論』（1979・岩波書店）』 ▽ 『J・R・ピアース著、鎮目恭夫訳『記号・シグナル・ノイズ――情報理論入門』（1988・白揚社）』 ▽ 『大石進一著『例にもとづく情報理論入門』（1993・講談社）』 ▽ 『野村由司彦著『図解情報理論入門』（1998・コロナ社）』 ▽ 『植松友彦著『現代シャノン理論――タイプによる情報理論』（1998・培風館）』 ▽ 『L・ブリルアン著、佐藤洋訳『科学と情報理論』第2版（2002・みすず書房）』 ▽ 『H・ゴールドスタイン著、末包良太ほか訳『計算機の歴史』（1979・共立出版）』 ▽ 『野々山隆幸監修『情報処理基礎講座』全10巻（1987～1991・マグロウヒル出版）』 ▽ 『情報処理学会編『情報処理ハンドブック』新版（1995・オーム社）』 ▽ 『システム制御情報学会編、小淵洋一著『離散情報処理とオートマトン』（1999・朝倉書店）』 ▽ 『岸野文郎・佐藤隆夫・横矢直和・相沢清晴・有川正俊著『岩波講座マルチメディア情報学5――画像と空間の情報処理』（2000・岩波書店）』 ▽ 『情報処理学会編『エンサイクロペディア情報処理』改訂4版（2002・オーム社）』 ▽ 『長尾真編著『人工知能――実用化の時代へ』（新潮文庫）』 ▽ 『ノーバート・ウィーナー著、鎮目恭夫・池原止戈夫訳『人間機械論――人間の人間的な利用』（1979・みすず書房）』 ▽ 『M・マクルーハン著、栗原裕、河本仲聖訳『メディア論――人間の拡張の諸相』（1987・みすず書房）』 ▽ 『吉田民人著『情報と自己組織性の理論』（1990・東京大学出版会）』 ▽ 『三上俊治著『情報環境とニューメディア』（1991・学文社）』 ▽ 『吉見俊哉著『メディア時代の文化社会学』（1994・新曜社）』 ▽ 『東京大学社会情報研究所編『社会情報と情報環境』（1994・東京大学出版会）』 ▽ 『デイヴィッド・クローリー、ポール・ヘイヤー編、林進・大久保公雄訳『歴史のなかのコミュニケーション――メディア革命の社会文化史』（1995・新曜社）』 ▽ 『佐藤俊樹著『ノイマンの夢・近代の欲望――情報化社会を解体する』（1996・講談社）』 ▽ 『東京大学社会情報研究所編『社会情報学』（1999・東京大学出版会）』 ▽ 『田中一編『社会情報学』（2001・培風館）』 ▽ 『マーク・ポスター著、室井尚・吉岡洋訳『情報様式論』（岩波現代文庫）』

通信系のモデル〔図A〕
©Shogakukan ">

通信系のモデル〔図A〕

通信路符号化定理の意味〔図B〕
通信路には、一般に雑音が含まれる(a)。その場合でも、情報発生の速度Rが通信路容量Cより小さければ、符号化を理想的な形で行うことができるとき、雑音と無関係に誤り確率をゼロにする（(a)と(b)の等価性）情報伝送が可能であることを、「通信路符号化定理」は保証する注：岩波講座『情報科学』4巻より©Shogakukan ">

通信路符号化定理の意味〔図B〕

Source: Shogakukan Encyclopedia Nipponica About Encyclopedia Nipponica Information | Legend

Japanese:

情報科学とは何か

第二次世界大戦後の科学・技術の発展を特徴づける最大の要素を一つあげるとすれば、それは電子計算機（コンピュータ）の登場であろう。固体物理学を基礎とするエレクトロニクスの急速な発展に支えられて、その技術は目覚ましい進歩を遂げ、今日に至っている。この計算機科学、エレクトロニクス、通信工学の進歩を土台として「情報」の科学・技術は発展し、ここに「情報科学」とよばれる、それ自体固有の論理をもつ新しい学問体系が生まれた。

　現在、情報の技術は、社会全般に大きなインパクトを与えるものになってきている。この情報に関する学問は、今日、人文・社会科学分野を含めて多面的展開をみせているが、本項目では、その成立の経過を踏まえたうえで、「通信機械・計算機械・自動制御機械などの、情報機械の科学」を中心として述べることとする。

［荒川　泓］

情報科学の誕生

情報科学の誕生は、3人の優れた科学者、ウィーナー、シャノン、ノイマンの業績に直接負う。1940年代なかばから1950年代にかけての3人の研究成果が情報科学創始の土台となり、1950年代なかばごろまでにその骨格がつくられたといってよい。

　1948年、ウィーナーは著書『サイバネティックス』において、「制御」と「通信」の問題が、それまでの既存の学問分野の枠に収まらないものであることを強調し、新しい学問サイバネティックスの形成を提唱、ウィーナーの考えは情報科学の理念的先駆となった。

　同年、シャノンは「情報理論」を発表した。そこには、通信によって伝送される情報についての具体的な取扱いが数学的に明示され、通信系の情報理論が初めて体系的な、しかもそれ自体、完成度の高い理論として世に出された。

　一方、1945年にノイマンはプログラム内蔵方式の計算機を提案した。その基本線はそのまま今日にまで引き継がれ、情報科学を構成する物質的条件の主体となっているデジタル計算機械の発展において決定的な位置を占めてきた。ノイマンは、さらに自動機械（オートマトン）の一般的な研究を進め、情報科学におけるこの分野の道を開いた。以上のシャノンによる通信と情報の理論、ウィーナーに始まる制御・予測の理論、ノイマンに代表されるデジタル情報処理およびオートマトン理論などが、それ以後における情報科学の全面的展開の基本路線を与え、今日に至っている。

［荒川　泓］

情報理論

子供のころ糸電話で遊んだ経験をもつ人は多いであろう。それは糸を通じての力学的振動による直接的な情報の伝播(でんぱ)である。電話は、その力学的振動を電気信号に変換したものである。無線電信は、空間における電磁波の伝播を利用したものである。シャノンに始まる「情報理論」は、これらの場合にすべて適合する一般的な数学的形式をとっており、かつ、その具体的な展開となっている。情報の伝送が社会経済的な意義を含むものであることは、その物理的意味が問題とされる以前に明らかとなっていた。S・F・モースによる有線電信の発明（1837）が、なによりも商業的意義を有するものであったことが、それを物語っている。モールス符号は、本質的にはYES／NOの二値論理的である。これが約1世紀を経て、通信系の情報伝達の一般的数学理論という形で、シャノンの「情報理論」として現れるのである。

［荒川　泓］

制御と予測

今日、ロボットやマジックハンドは生産の場に広く登場してきているが、それが物をつかむ動きは、脳が目的に対して一定の予測を行い、情報信号が神経を通じて伝えられ、筋肉の動きを制御する、腕の機能のシミュレーションである。ウィーナーが生体をサイバネティックス機械とみたときの視点がまさしくそれであり、それが今日、ロボットとして具体化されている。

［荒川　泓］

電子計算機・情報処理

毎日、私たちが目にする天気予報は、観測データに基づいて一定の計算のうえで出される。ここでは観測システムの充実とあわせて、計算の速さが要求される。電子計算機登場の直接の契機が、第二次世界大戦中の高射砲の弾道計算にあったことはよく知られている。そこでも計算の速さが要求された。さかのぼって19世紀末、ホレリスがパンチカード式電気統計機を発明し、1890年のアメリカの国勢調査での総人口をその年のうちに集計するのに成功したことは、それまで、1回の国勢調査の集計に7年半も要していたことからしても、歴史的象徴的なできごとであった。今日のコンピュータは、真空管を1万8800本も使った最初の大型汎用(はんよう)電子計算機ENIAC(エニアック)（1946）と比べて、比較できないほどの計算速度を有している。

　電子計算機は、それ自体、自動機械としての情報処理機械である。現在もっとも発達している情報処理装置がデジタル計算機であり、この場合、情報はすべてYES／NOの二元記号系列に還元してとらえられている。「情報量」の単位として用いられるビットbitが二者択一についてである、ということがその点に対応している。たとえば、ある水系のダム流量制御システム、あるいは製鉄所の生産管理システムの場合など、すべてその中心には大型計算機があり、それにリンクされたプロセス・コンピュータその他各種の端末機器のネットワークシステムがあるが、そこでとらえられる情報はすべて二元記号で表現されている。情報のなかには、画像情報、音声情報など、本質的にデジタル的でなくアナログ的な情報があり、人間の関与する情報は、むしろ後者のほうが多いともいえる。これまでのところ、実用面では、それらの情報をどこまでデジタル的に近似できるか、という方向で追究されてきた。今後は、それと並行してアナログ計算機のいっそうの開発も期待される。また、今日、第5世代コンピュータとよばれるものの研究が進められているが、それは人工知能的要素をもつものといわれる。であるとすれば、それは、これまでの計算機に比して、質的に新しい要素を含むものであり、その実現に至るまでの課題は大きいといえる。今日、情報処理分野でもっとも発展しているのが情報処理技術であり、その適用される対象もますます広がりつつある。なお、通商産業省（現経済産業省）主導による第5世代コンピュータのプロジェクトICOT(アイコット)は、1980～1990年代にわたって研究を進め、プロジェクトとしては1990年代なかばに完了している。その後この方向の研究はさらに広がっている。

［荒川　泓］

情報科学の今後

情報科学の今後の展開は、電子計算機のハードウェアとしての側面のみでなく、ソフトウェアとしての面、さらに情報処理技術の全面的展開がいよいよ大きな比重を占めるものとなろう。そして、それとともに、社会的な影響は、たとえば労働過程における自動化・オートメーションのような直接的な影響にとどまらず、大きくは「情報化」された社会における世論コントロールの問題など、今後の社会発展の根本にかかわる問題として、すでに提起されてきており、それらの点からしても、人文・社会科学を含めての発展が、今後の課題としてますます大きく要求されるようになってきている。

［荒川　泓］

情報理論

情報理論とは

情報理論とは、通信における情報伝達の数学的理論をいう。情報は、具体的には、文字の配列、あるいは0と1の系列のような、一般に記号の系列、数値およびその系列、または連続的に変化する量の関数などで表現されている。情報を表現するこれらの記号系列などを通報（メッセージmessage）という。工学の立場では、ある選択された通報を送信者から受信者にいかに正確かつ迅速に伝達するか、という問題である。この問題を理論的に扱うためには、情報を量的に把握する必要がある。シャノンは、情報発生源を確率過程によってモデル化し、情報量の定義を与え、そのうえに情報伝達の数学的理論を展開した。この理論は、その後、電子計算機の急速な発達とともに、しだいにその体系を整え、今日、情報理論といわれる一学問分野に発展している。

［常盤野和男］

通信系のモデル

情報理論における通信系のモデルは図Aのようなブロック線図で表される。

　情報源は具体的には人間とか機械であり、さまざまな情報を通報あるいは通報の系列の形で定常的に発生する。通報は、話しことば、書かれたことば、記号、図、あるいは絵画や音楽などを含むであろう。受信者は、この情報を受け取る人間または機械を示す。送信器は、通報を通信路に適合した信号に変換して発信する。この信号は通信路を通して受信器に送られ、受信器は信号から通報を再構成する。たとえば電話の場合、通信路は電線であり、信号は電線上の変化する電流であり、送信器は音圧の変化を電流の変化に変換する操作を行い、受信器はその逆の操作を行う。通信路では、多くの場合、さまざまな要因で信号がゆがんだり、雑音が加わったりする。そのため受信側の通報は送信側の通報とかならず一致するとは限らない。このように通信路で受けた信号の変化はすべて雑音とよばれる。

　送信器は、情報源からの通報を符号系列に変換することから符号器（エンコーダ）ともよばれ、受信器は復号器（デコーダ）ともよばれる。符号器は、後述するように、情報源通報のもつ冗長性をできるだけ除去して、むだのない符号に変換する役割と、通信路の性質に応じて雑音による伝送の誤りを可能な限り少なくするように符号化するという二つの役割をもつ。符号器は、これら二つの機能に対応して情報源符号器と通信路符号器に分けて考え、設計されることが多い。復号器もまた通信路復号器と受信者復号器に分けられる。

［常盤野和男］

情報量

いま通報を次々と発生する情報源があるとしよう。この情報源からの通報の発生は逐次確率的に行われるとする。n個の通報a₁, a₂,……, a_nをそれぞれ確率p₁, p₂,……, p_nで発生する情報源を完全事象系として

で表す。完全事象系とは、集合｛a₁, a₂,……, a_n｝において試行ごとにそのうちの一つが、そして一つだけがおこる（たとえば、さいころを投げたとき1、2、3、4、5、6のどれかの面が出る）ものをいう。このXに対して定められる量

を、情報源Xに関する「情報量」という。H(X)は、統計熱力学におけるエントロピーと比例定数を除いて形式的に同じであり、シャノンのエントロピーともよばれる。

　受信者は情報源X（その統計的性質はわかっているものとする）から一つの通報を受け取るのであるが、通報を受け取る以前は、どの通報が得られるかについて不確定である。Hはこの不確定さを表現する量である。たとえば、情報源Xにおいてどれか一つのp_iが1である場合（p₁＝1, p₂＝p₃＝……＝p_n＝0とする）、H(X)＝0と計算される。すなわち、Xから出現する通報がa₁であることがわかっており、Xに不確定さはない。この場合、受信によって得られる情報量は0である。次に、どの通報も同じ確率（p₁＝p₂＝……＝p_n＝1/n）で出現するときHは最大となり、lognに等しい。これは明らかに、n個の通報のなかのどの通報が得られるかについて、もっとも不確定な場合である。この場合には、受信者にとってまったく不明であったことが、受信によって確定されるのであるから、その受信は最大の情報量をもたらすであろう。このように、情報理論は、情報源に関する不確定度Hをもって情報の量的尺度とする。

　情報量Hは、あらゆる可能な通報のなかから、ある一つの通報を他から区別し選択するときに必要な選択手順の複雑さを表現しているということもできる。もっとも簡単な「選択」は、二つの可能な事象があり、その両者が同じ確率で生起するとき、そのいずれか一方を選ぶことである（たとえば、硬貨を投げるときの表か裏かというような選択）。この選択がもっとも単純な情報である。表が出る確率と裏が出る確率は同じ1/2であるから、対数の底を2にとればH(X)＝1となる。この単位をビットbitという。ふたたび先の例、n個の通報が等確率で生起する特別の場合を考えよう。その情報量はH(X)＝log₂nビットと計算され、これはn個の可能性から一つを選び出すために必要な二者択一の操作（二つのグループに分けてその一方を選ぶ）の回数である。たとえば通報の数が8個の場合、8個のなかから1個を選択する手順を次のように分解することができる。まず8個の通報を4個ずつの二つのグループに分け（両者は等確率である）、一方を選ぶ。次に選んだグループの4個を2個ずつのグループに分けて一方を選び、最後に残った二つのどちらかを選ぶ。この場合の二者択一の操作の回数は3であり、これは情報量Hの値（log₂8＝3）と一致する。情報量の定義において対数表現を用いるのは、情報量の加法性による。たとえば一つの簡単な開閉操作を行うリレーは、ただ二つの通報を選択するという単位情報（1ビット）を処理することができる。一つのリレーが単位情報を処理するのであれば、三つのリレーはその3倍、3単位の情報を処理する。そのような表現を満たすのは対数測度である。実際三つのリレーが処理できるのは8個の通報であり、その情報量は3ビット（log₂8＝3）と表現される。

　情報理論における情報概念は情報量Hの定義を基礎にしており、普通に用いられる情報ということばの意味と混同してはならない。情報量は、情報源の確率的構造によって定められる量であって、通報が本来そのなかに含んでいる具体的な意味・内容は考慮していない。

［常盤野和男］

条件付きエントロピーと相互情報量

いま事象系Xにもう一つの事象系Yが関連している場合を考えよう。事象系XとYが独立でなく、その間に、ある関係があれば、Yが何であるかを知ることによってXに関する情報を得ることができる。したがって、Yを知ったときXの不確定度は減少するであろう。事象系YがおこったときのXに関する不確定度をH(X|Y)と書き、これを条件付きエントロピーとよぶ。H(X|Y)は、Yが既知であるとき、Xについてどれくらい不確定であるかを測る量である。一般に、シャノンの不等式H(X)H(X|Y)が成り立つ。相互情報量は次式で定義される。

　　I(X ; Y)＝H(X)－H(X|Y)
シャノンの不等式から、相互情報量I(X ; Y)はつねに非負であることがわかる。いまXを通信路への入力、Yをその出力とする。このとき相互情報量I(X ; Y)は、与えられた通信路を通して得られる情報量（あるいは伝送された情報量）を表す。H(X|Y)は、通信路の出力Yを知ったのちになお残されている入力Xに関する不確定度であるから、通信路中の雑音の影響がなく送信信号が誤りなく伝えられるときはH(X|Y)＝0となり、伝送された情報量I(X ; Y)は入力のエントロピーH(X)に等しい。雑音があり、受信したのちになお入力Xに関して不確定さが残る(H(X|Y)≠0)場合は、伝送された情報量はH(X)より小さくなる。I(X ; Y)が0となるのは、雑音が非常に大きく、入力信号と出力信号が事実上独立になった場合である。

［常盤野和男］

情報源符号化と通信路符号化

文字の集合をアルファベットとよび、αで表し、その文字に番号をつけてα＝｛α₁,α₂,……,α_m｝と書く。ある通信路を通してこのアルファベットの文字の系列を送ることができるものとする。情報源Xの通報を伝送するためには、n個の通報a₁, a₂,……, a_nをαの文字で表現しなければならない。たとえば電信では通報（文字）をα＝｛0,1｝（電流のあるなし）で表現して伝送する。各通報a_iをαの文字からなる系列に対応させて
　　a_i→U_i＝u₁ⁱu₂ⁱ……u_Niⁱ (u_kⁱ∈α)
と変換することを符号化codingという。右辺のU_iを符号語、その長さN_iを符号語長、これらの符号語の集まりを符号という。0と1のような2種類のみの記号の系列からなる符号は二元符号とよばれる。また、情報源記号系列を一定長のブロックにくぎり、各ブロックごとに通信記号系列を割り当てる方法をブロック符号化という。

［常盤野和男］

情報源符号化定理

通信の効率を高めるためには符号語長N_iは小さいほうがよい。1通報当りの平均符号語長

が通信の効率を測る尺度となる。を小さくするためには、モールス電信のように、生起確率の小さい通報には長い符号語を、生起確率の大きい通報には短い符号語を割り当てる。ただし、各符号語は互いに区別できるように符号化しなければならないから、には下限がある。通信路に雑音がなく、受信側が文字α_iを正確に受信できるとき、次の情報源符号化定理（シャノンの第一符号化定理）が成り立つ。「平均符号語長が

を満足するような符号化が可能である」。この定理は、符号語の平均長は情報源のエントロピーによって定まる値H(X)/logm以下にはできないこと、逆に、エントロピー限界にいくらでも近い符号化の方法が存在することを示している。この場合の最適符号の具体的構成法にはハフマンDavid A. Huffman（1925―1999）の符号化法（ハフマン符号化Huffman encording）がある。

［常盤野和男］

通信路符号化定理

通常、通信路には雑音があり、そのため伝送される情報に誤りが発生する。通信路符号器の重要な役割は、できる限り誤りの少ない信頼性の高い伝送を可能にすることである。ある通信路（の雑音特性、伝送帯域など）が与えられたとき、その通信路を通して伝送しうる最大の情報量を通信路容量といい、この容量Cを、単位時間当りの相互情報量によって

として定義する。ここでp(X)は情報源Xの確率分布を示し、maxは可能なすべての情報源に関しての最大値をとることを意味する。｛H(X)－H(X|Y)｝は伝送速度であり、これをRと書く。条件付きエントロピーH(X|Y)はとくに「あいまい度」とよばれる。

　通信路符号化定理（シャノンの第二符号化定理）は次のように述べられる。「通信路容量がC（ビット／秒）の離散的通信路において、ある情報源をR（ビット／秒）の速度で符号化し、この通信路を通して伝送する。もしRがCより小さければ、この情報源の情報をいくらでも小さいあいまい度（あるいは誤り確率）で伝送するような符号化の方法が存在する」（図B）。

　いま通信路に記憶がないとし、受信信号の平均誤り確率をP_eとすると、このP_eがP_eexp｛－NE(R)｝で抑えられるようなブロック符号化の方法が存在する。Nはブロック長である。E(R)は信頼性関数とよばれ、通信路の特性のみに依存する。EはRが通信路容量Cより小さいとき正となるので、この不等式は、伝送速度一定でNを大きくすることによって誤り確率をいくらでも小さくできることを示している。

［常盤野和男］

レートひずみ理論

情報源にひずみの許容値を与えたとき、最小限必要とされる情報伝送速度を求め、最適符号化を考察する理論をレートひずみ理論rate-distortion theoryという。連続的情報の場合には、情報源からの通報を雑音のある通信路を通して伝送するとき、かならずひずみを伴う。連続的通報を量子化し、これを二元符号に符号化して伝送する場合、ひずみを小さく抑えるためには、符号語の記号数を増やし、これを送る通信路の容量もそれだけ大きくしなければならない。逆に、大きなひずみを許容すれば、送られる情報量は少なく、通信路容量も小さくてすむ。これは連続的通報に限った問題ではなく、離散的通報の場合も含めて、一般にある評価基準で定められる許容ひずみDが与えられたとき、通信路へ単位時間当りに送り出される情報量Rを可能な限り小さく抑えること、逆にRが与えられたとき、ひずみをできるだけ小さくすることが要求される。RはDの関数であり、R(D)と表してこれをレートひずみ関数という。レートひずみ理論の中心はR(D)に関する「源符号化定理」にあり、この定理は伝送速度の限界を与える。情報源から発生するデータや信号波形をデータ圧縮する場合に、この理論はその圧縮の理論的限界を示すものであって、今日のデータ圧縮技術の理論的基礎になっている。

［常盤野和男］

符号理論

シャノンによる通信路符号化定理の発見以来、低い誤り確率で通信路容量にできるだけ近い伝送速度を実現する符号の研究、とくに通信システム、計算機の信頼性向上につながる誤り訂正符号の研究は、符号理論として著しい発展を遂げてきた。符号理論の目的は、高信頼度・高効率情報伝送のための符号を体系的に構成することにある。誤り確率を小さくするためには伝送記号系列の長さを長くすればよい。しかし、符号長を長くすると、記号系列の種類が指数関数的に増大し、符号化・復号化に膨大な記憶装置が必要になり、事実上復号器を実現することが不可能になる。そこで、より組織的な方法で誤りを訂正できる符号構成法が重要となる。符号を大きく分類すると、ブロックを単位として構成されているか、あるいは逐次的に構成されているかにしたがってブロック符号と畳み込み符号convolutional codeに分けられる。前者は1950年のハミング符号から、1960年のBCH符号を経て、今日BCH-Goppa符号に代表される代数的符号理論を形成している。その方法は、音声や画像、各種データなどの高信頼度伝送の重要な技術になっている。1955年エリアスPeter Elias（1923―2001）によって提唱され、以後研究が進められてきた畳み込み符号は、優れた復号法を有し、実用的にも重要な符号としてその発展が注目されている。符号理論は、それ自身一つの大きな体系になっており、情報理論から独立した分野とみなされることも多い。

［常盤野和男］

多端子情報理論（多元情報理論）

多端子（多元）情報源（相関を有する複数個の情報源）あるいは多元通信路（相関を有する複数個の通信路）からなる系を対象とする。情報伝送が2方向で行われるシャノンの二方向通信路の理論（1961）に始まる。1966年にマルコHans Marko（1925―2017）の対話形モデルが出されてのち、1970年代に入って入力数1・出力数Nの放送形通信路、さらに入力数N・出力数1の多元接続形通信路などの研究が進められており、計算機によるデータ通信とも関連して情報理論における重要なテーマとなった。

［常盤野和男］

情報処理

情報処理とは

情報処理とは、電子計算機を中軸とする情報処理機械によって行われる「情報」の一連の「処理」、すなわち情報の発生・表現・変換・伝達・蓄積・検索などの処理をいう。

　情報処理の内容は、「情報工学」とよばれる学問体系として展開される。すなわち情報工学は、情報処理機械・システムで扱われる情報を技術的・工学的に考究することを目的とし、電子計算機という機械の生産・運営・利用そのものにかかわる側面と、情報の収集・分析・組織化・管理などにかかわる側面とをあわせもつ、きわめて広範な汎用(はんよう)的性格を特徴としており、特有の方法論（プログラミング、アルゴリズム、アーキテクチャーなど）や手法（アブストラクション、スケジューリングなど）、および多くの固有の基礎的概念（論理的logical、仮想的virtual、複雑性complexityなど）をもつ。

　こうした情報工学の体系は、情報処理全般の土台としての「情報処理基礎理論」、情報の具体的処理に不可欠な物質的・物理的条件である情報処理機械としての「計算機械」、および情報処理機械・システムの機能と活用全般についての「情報の処理」の三つの分野に分けられる。もちろんこれらの分野は、後述するように相互に密接に関連し、多くの場合重なり合っている。

［大友詔雄］

情報処理基礎理論

情報処理の基礎理論は、数学一般、物理学、論理学、言語学などの基礎科学分野をその前提とし、電子工学、通信工学、機械工学などの個別工学分野と関連をもちつつ、情報理論、離散系数学、アルゴリズム理論、オートマトン・言語理論、計算の理論、システム理論、および人工知能に関する基礎理論などの分野からなり、相互に連関して情報工学が立脚する基盤を形成するとともに、情報科学に対する学問的基盤を与え、具体的応用への道筋を与える。以下、それらについて触れる。

［大友詔雄］

情報理論

情報を取り扱う理論的体系（詳細は前述）をいう。

離散系数学

論理数学、集合論、群論、グラフ理論、ブール代数などをその内容とし、情報処理機械の構成要素である情報回路（組合せ回路、順序回路など）の設計理論としての役割をはじめとして、データ構造の表現、ネットワーク内のフロー問題、スケジューリング問題、スイッチング理論などの発展に寄与し、アルゴリズム理論の重要な土台ともなっている。

［大友詔雄］

アルゴリズム理論

情報処理装置によって、ある問題群に属するすべての問題を一連の有限回の操作を施すことによって一般的に解くことができるとき、この一連の操作をこの問題群に対するアルゴリズムalgorithmという。アルゴリズム理論は、後述する情報処理機械の実現性や運用法ともかかわり、まさに情報処理の真髄ともいうべきアルゴリズムを解明し設計するための方法を与え、その適否を判定する。

［大友詔雄］

オートマトンと言語理論

言語理論と結合したオートマトン理論、すなわちオートマトン・言語理論の体系は、情報処理基礎理論の中軸を構成する。

　オートマトン理論は、情報処理機械の典型的モデルとして十分な解析がなされている有限オートマトン（後述）を契機とした自動機械の理論である。それは、記号変換・処理や論理演算の形式的枠組みのなかで、アルゴリズム理論を方法論的基礎とし、スイッチング理論によるその情報回路の設計・解析や入力系列の集合に関する正規表現（後述）の研究も含め、情報処理の重要な基礎的理論となる。

　一方、言語理論は、意味論semantic（セマンティック。言語の意味に関する理論）や構文論syntax（シンタックス。言語から意味を取り除いた単語の集合としての結合の仕方を問題にする、いわゆる形式言語論）を通しての言語構造の究明によってオートマトンと結び付き、機械翻訳、パターン認識、学習機械、増殖機械などへオートマトンを「進化」させる（オートマタ研究）。

［大友詔雄］

計算の理論

計算とは、一般的にいって、記号系列などで表現された情報の変換・処理のことである。計算の理論は、前述のアルゴリズム理論、オートマトン・言語理論のほかに、プログラム理論、プログラミング方法論、計算量の評価理論などを含めた情報処理基礎理論の集大成としての位置にあり、計算機械の設計やコンパイラ構成などへの具体的、技術的方法を与え、さらにプログラム言語やアルゴリズムの組織的設計・機能評価などに不可欠な理論となっている（プログラム理論は、情報処理機械による情報の処理の道筋を与える「プログラム」に関する理論的基盤をつくり、プログラミング方法論を含め、ソフトウェア工学の中心理論である）。

［大友詔雄］

システム理論

システムとは、もっとも一般的にいって、相互作用している諸要素からなる複合体であり、同時に、その相互作用を通じて単一の系へと統合されているとみなしうる、あらゆるものである。

　システム理論は、システムの複雑な現象を説明する理論的枠組みとしての数学的システム理論、システムに与えられた目的達成のための機能および機能合成を分析・設計する技術としてのシステム工学、および科学方法論や認識論とも関連する哲学的側面としての「システム哲学」の3領域から構成される。この理論は、全体性、総合性、階層的秩序性、終局性、目的論的性格などを中心的見地としつつ、前述の諸理論と重なり合いながら情報処理基礎理論の重要な要素となっている。

［大友詔雄］

人工知能に関する基礎理論

人工知能の研究は、人間の思考、問題解決、学習、言語、認知、理解などの知的能力を、情報処理の理論・方法を用いて装置・システムとしての機械のうえに実現することを目的とするものである。この人工知能に関する基礎理論は、知識表現、推論機構、学習理論、知識ベースの管理とそのシステムなど、いわゆる「知識工学」とよばれる分野の理論を中心とするものであって、本質的には、前述の情報処理基礎理論の連合的内容にほかならないものである。

［大友詔雄］

計算機械

情報機械

情報の処理を行う機械を情報処理機械あるいは単に情報機械とよぶ。計算機械は、広義には情報機械と同義であり、狭義には記憶装置の十分大きな情報機械を抽象化したもの（テープ機械）をさす。いずれの定義にせよ、計算機械は、まず情報の変換・処理の形式によって、デジタルdigital、アナログanalog、およびハイブリッドhybridの3種の情報機械に大別される。さらにこれらの情報機械の動作が、クロック・パルスに従うか否かで、同期式synchronousと非同期式asynchronousとに分類される。今日の情報機械・システムの中心となっているのは同期式デジタル型機械である。以下において述べるものは、広義におけるこの形式の計算機械についてである。

　情報機械は、その入出力情報の関係を規定する内部状態（後述）が有限で、出力情報がこの有限の内部状態と入力情報とで決定される「有限状態機械（有限オートマトン）」と、この有限状態機械では実行不可能な無限の情報を扱うことのできる情報機械とに分けられる。後者の典型はチューリング機械として知られるテープ機械であり、電子計算機（コンピュータ）を代表とするプログラム記憶式デジタル計算機もそれに含まれる。またパーセプトロン（学習機械）やロボットなどの「人工知能」としての計算機械は、以上の情報機械をパターン認識、翻訳、学習などの知的能力分野へ応用しようとするものであるが、オートマトンやコンピュータを基軸とする情報機械と本質的に同じものである。

　計算機械の代表例として、有限オートマトン、チューリング機械とコンピュータについて基本的な点を述べ、さらに、これらの計算機械が情報処理において有効に機能するために不可欠とされるアルゴリズム、システム制御、オペレーティングシステムについて言及する。

［大友詔雄］

有限オートマトン

オートマトン（自動機械）は、数理学的には数（理）学的モデル、あるいは数学的受機acceptorと同義に用いられる。その本質は、それが任意の対象系の機能の形式的・論理的構造を解明することを目的として、その仕組みを再現するために構成され、したがって「形式論理学の基本問題をいかに処理するか」を記述もしくは構成する手段となる、という点にある。これにはアルゴリズムが深くかかわっている。またオートマトン研究は、有限オートマトンから出発して情報処理の各分野と深く関係し、オートマタ研究にも連結している。

　有限オートマトンは、情報処理のメカニズムの本質的特徴を明らかにするうえで重要である。一般に、同期式デジタル情報機械において、時刻tにおける出力Y(t)は、時刻tの入力情報X(t)とそれ以前の経験によって規定される情報機械の内部状態S(t)とによって決められる。すなわち、Y(t)＝F｛X(t), S(t)｝である。ここで、Fは情報機械の遷移関数とよばれ、システムに応じて具体的に決められ、遷移表として表現される。有限オートマトンとは、この内部状態S(t)のとりうる状態数が有限個の場合の情報処理機械のことである。

　有限オートマトンの具体的実現は、各種の論理回路や加算器、符号器・復号器などの順序論理回路（出力状態が入力だけでなく回路の内部状態にも関係する開閉回路）によってなされる。この回路では、入力情報の記号列をべき乗（繰り返し）や和集合の演算子、空事象や空集合を表す記号などによって結合された新たな記号列（正規表現）をつくりだす。ここで、言語はその形式的側面に注目するとき、単語の集合とそれらの単語の結合としての文章の集合とからなる「正規表現」である、という点を考えれば、有限オートマトンは、この「言語」（正規表現で表された記号系列の集合）を「認識」できる、すなわち、一つの単語列が正しい文章か否かを「識別」できる、といえる。これは、まさにオートマトンがもつ言語学上の意義であり、言語構造の解明、機械翻訳、そして人間と機械との間の情報のやりとり（マン・マシン・システム）の研究へと連なるものである。

　ところで、すべての情報の符号系列が正規表現で表されるわけではない。また有限オートマトンがすべての情報を「処理」できるわけでもない。有限オートマトンの能力には、その状態数つまり記憶量が有限であることに起因する限界がある。この限界を克服する計算機械が、チューリング機械（テープ機械）である。

［大友詔雄］

チューリング機械とコンピュータ

チューリング機械Turing machineとは、有限オートマトンに無限に長い（十分に大きな容量の）テープ（外部記憶装置）を付加したテープ機械のことである。チューリング機械では、有限オートマトンへの入力はすべてテープから与えられ、有限オートマトンの内部状態とテープから読み出された記号とに従って、機械が自動的にテープの移動を制御しながら新たな記号をテープに書き込むこともできる。チューリング機械とは、有限オートマトンにこうした機能を付加したものである。したがって、チューリング機械の設計は、ある与えられた問題を解く（情報処理を行う）ために必要とされる機能を有限オートマトンに付加することによって可能となるのであり、問題（情報処理）の種類が異なれば、それを解くチューリング機械も異なったものとなる。さらに「他の任意のチューリング機械が行える情報処理をすべて実行することができるチューリング機械（万能チューリング機械）を設計することが可能である」、すなわち「ある有限の状態数のチューリング機械は、他の任意の状態数のチューリング機械で実行できることはすべて実行できて、万能チューリング機械となりうる」という注目すべき事実がある。

　万能チューリング機械では、それがシミュレートしようとする他のチューリング機械の遷移表をプログラムとしてテープ上に格納し、有限オートマトンによってテープ上のプログラムを読み込み、そのプログラムに従って、他のチューリング機械が行う情報処理を実行するのである。これは、ハードウェアとソフトウェアとからなっている電子計算機（コンピュータ）の動作そのものである。このように、万能チューリング機械は、チューリング機械（有限オートマトンに外部記憶装置としてのテープを付加したもの）にソフトウェア（プログラムとしてのチューリング機械の遷移表）を与えることによって、デジタル計算機（コンピュータ）で実行可能なあらゆる情報処理の機能を具備した情報処理機械となる。

　以上述べたテープ機械をはじめとする任意の情報機械で実行される情報処理の本質は、アルゴリズムによって明らかにされる。

［大友詔雄］

アルゴリズム

情報機械によってある問題群に属するすべての問題を一般的に解く有限回の一連の操作を、その問題群に対するアルゴリズムという。このアルゴリズムの定義で重要なことは、「有限回の一連の操作」と「問題群に対するアルゴリズム」ということである。前者は、「いつかは終了し、かならず答えを与える」という意味であり、後者は、「アルゴリズムは問題群に対して与えられるものである」ということをいっている。とくに後者は、問題群に対応して適当な情報処理機械を想定していて、問題群が異なればそれに対応するアルゴリズムも、それを解くチューリング機械も異なり、したがって、「ある問題群を解くチューリング機械が設計可能であることは、その問題群を解くアルゴリズムが存在する」ということを意味するのである。これが今日におけるアルゴリズムの厳密な定義である。

　こうして、ある問題群を情報機械によって具体的に解く場合、一般的アルゴリズムが存在するか否かが問題となる（決定問題および計算化問題）。一般的アルゴリズムが存在するか否かは、与えられた情報機械の能力やその問題の難易に依存する。たとえば、数論的関数のなかには、テープ機械ではどのようなアルゴリズムによっても計算できないものがあり、テープ機械の計算能力に限界があることが数学的に証明される。これは、テープ機械の情報処理能力の本質的限界であり、したがって現段階のデジタル計算機（コンピュータ）の限界でもある。

［大友詔雄］

システム制御

システム制御とは、狭義には、各種の外乱（外的要因）のために生ずる対象システムの状態の所期目標からの偏りを修正する一連の動作を意味する工学的概念であり、より広義には、以上の内容に加え、大規模情報処理システムの運用・管理も含めたものである。以下、「制御」という用語をこのより広義の意味で用いる。

　工学システムの制御の基本は、制御対象システム（制御対象）の状態（制御量）を観測し、あらかじめ設定された目標値からの偏り（制御偏差）を求め、この偏差に対して適当な演算を施して得られた操作量を制御対象へフィードバックさせ、その偏差を補償させることである。デジタル計算機は、対象システムを中心とした制御ループにあって、その運転監視の機能を果たすばかりでなく、原始データを検出、変換、伝送して必要な情報処理を行い、その結果をプロセスに対する操作量として制御する、という対象システムの直接制御を行うコントローラーとしての役割を担う制御の中心的なかなめとなっている。

　実際の制御システムは、時間的・空間的、質的・量的違いをもつ多様な外乱による階層的多重構造をなし、システム制御の具体的方法もそれに対応して階層的になっている。たとえば、もっとも発生頻度は低いがシステム全体の構成にかかわる構造的外乱に対する制御レベル（自己組織化レベル）、その全体構成の枠内でのシステムのパラメーターに影響する外乱に対する適応制御および最適制御レベル、プロセス変数に影響する外乱に対する直接制御レベル、の各階層に分けられる。デジタル計算機システムは、この階層的制御システムと一体化して、各レベルの機能を完遂するように構成・設定される。そして、制御対象システムが大規模化・複雑化するにつれ、複数個の計算機システムを有機的に結合した分散制御システムの形態をとるに至る。

　こうしたシステム制御は、階層制御システム工学の理論を中心とする各種の最適化手法、線形計画法や動的計画法などの数理計画法などを駆使して実現される。そのかなめとなるのは、制御システムの必要な部分に必要な規模と性能・機能をもって階層的に設置されるデジタル計算機（コンピュータ）である。そして、この計算機を効率よく運用するために、オペレーティングシステムが不可欠となっている。

［大友詔雄］

オペレーティングシステム

オペレーティングシステムoperating system（OS）とは、システムの最適化を図り、効果的、効率的システム運用を可能にする計算機動作を制御するプログラム体系のことである。

　前述したシステム制御の場合、使用される計算機システムでは、制御対象システムの階層構造のために、異質のジョブ（計算機処理）が複雑に相互に関係をもち、各ジョブは異なった実行時間、実行間隔、優先度をもって手際よく処理・管理され、計算機の中央処理装置、主記憶装置、補助記憶装置、入出力装置、ファイル装置などが全体として効率よく動作することが要求される。このために必要とされる一群の高級プログラム体系がこの場合のオペレーティングシステムの中心をなすのである。このように、オペレーティングシステムは、制御プログラムや管理プログラムとしてのソフトウェアであるが、システムのハードウェアに付属して開発・設定されるプログラムであり、したがって、この性能が電子計算機システムの性能および効果的運用に絶大な影響を与える。しかし、複雑極まるオペレーティングシステムが広範に使用されている現状のなかで、統一的・普遍的モデルを得るまでには至らず、「ソフトウェア危機」の最大要因ともなっている。このため、今日オペレーティングシステムの基本機能およびその本質を明らかにすることがきわめて重要な課題となっている。

［大友詔雄］

情報の処理

以上の情報処理の基礎理論を基盤として構成される情報処理システム・装置の基本機能は、後述される(1)コミュニケーション、(2)管理、(3)処理、の三つに大別される。また(4)人工知能、についても情報の処理の枠内に入れて考えることができる。この分類における(1)～(3)は、計算機の機能分類としての入出力、記憶、演算とに、ほぼ対応するものと考えてよい。

［大友詔雄］

コミュニケーション

コミュニケーションcommunicationとは、元来、情報の伝達・交換、あるいは情報の記号・文字、あるいは情報の運搬手段（無線電信、衛星通信）などの情報の個体間伝達に関する方法や手段を意味するものであり、情報の意味、内容の正しい伝達・理解が重要な目標となる。この点を踏まえたうえで、情報処理機能としてのコミュニケーションとは、時間的（記憶されたデータ相互間）、空間的（地域的に分散したシステム間）、論理的（処理プロセス間）に分離されているシステムが相互に情報を伝達・交換・共有するためのインターフェース（相互接続構造）形成に関する機能である。この内容は、伝達されるべき情報およびその情報のやりとりの形態・手段とにかかわって次の三つになる。

　第一は、意志・意図など情報のもつ意味内容の相互理解（知的コミュニケーション）にかかわることである。これは、人間と機械とのコミュニケーション、すなわちマン・マシン（コンピュータ）・コミュニケーションがその中心であり、そこでは人間と機械との間のインターフェースを通じて、一方では人間の知的機能・機構に連なり、他方ではコンピュータなどの情報処理機械システムの入出力機構としての端末機器に連なる。

　今日、このマン・マシン・コミュニケーションの分野では、機械的プロッタや電子式ディスプレーの開発・改良などのハードウェアの発達に加え、ソフトウェア工学の成果を取り入れたグラフィック・システム、人工知能研究の成果を援用した質問応答システム、コンピュータ・アーキテクチャー（後述）の進展に伴う情報システムの有機的利用など、多角的に研究が進められている。しかし、マン・マシン・コミュニケーションの問題は、使用機器も含め情報処理システムの最大の弱点の一つとなっており、今後とも本格的研究をなお多く行う必要のある領域となっている。

　第二は、機械と機械との間のコミュニケーションについてである。これは、情報機械システムにおいて行われるメッセージのマシン・マシン間の伝達（発信・送信・受信の3過程）機能に関するものである。この場合、情報の量的側面の取扱いのみが必要であって、情報の意味論的側面は考慮されていない。この点は、先述した情報理論で明らかにされているとおりである。

　第三は、メッセージを担う信号の伝送にかかわる側面、すなわち信号系列をいかに能率よく処理するかという信号処理についてである。これは、情報伝達の媒介物としての通信路の性質、状態に対して効率よく信号を伝送するための信号系列の構成にかかわる符号化の手法や、各種装置・機器間での信号の整合性を保つための線形交換および濾波(ろは)などの工学的手段を含むものである。

　以上の三つのコミュニケーション機能は、メッセージの伝送・受信・交換の各機能を果たす通信システムとして実現されている。これには、電気・通信工学において確立しているデータ通信・伝送・交換などの技術方式や、オペレーティングシステムも含めた、計算機ネットワーク技術、分散処理技術などの総合的・統合的な高い機能レベルのシステム技術、あるいは逆に異なるシステムへの分割・分配の技術などの手法が用いられる。こうした通信システムは、今日、ネットワークシステムなどの大規模システムを実現するに至っている。そして、この大規模システムの分割・階層化・変更などには、システム内あるいはシステム間のメッセージの正しい授受を保障・検定する一定の規準や規定（プロトコルprotocolとよばれる）などの新しい概念・手法が必要とされる。

［大友詔雄］

管理

情報処理の機能としての「情報の管理」とは、多量の情報の蓄積・検索機能としての「管理」のことであり、情報を貯蔵し、その貯蔵された情報を必要に応じて利用する技術のことである。

　この「管理」機能の原型は、計算機が情報を管理する技術的方法（記憶装置上にファイルとして蓄積されたデータの集まりから必要な情報を選別し効率よく中央処理装置へ転送する方法）にみられる。情報の処理としての管理機能は、さらに事務処理、文献検索、コンピュータ設計などの実用上の要求に根ざした経験的集積のうえに、オペレーティングシステムによっていっそう進歩・拡張されたデータ管理機能となっている。そして、それは、オペレーティングシステム機能に基づく記憶管理、処理装置管理、その他の装置管理などおもにハードウェアの運用手順とそれらの技法とに関係する多重プログラミングやスケジューリングなどの新しい方法論や手法を生み出すに至っている。

　管理機能で今日的に注目されるもう一つのものは、社会に広く普及することとなった複雑で大規模なネットワークやシステムプログラムなどの情報システムの編成に伴って発展してきたデータベースdatabaseやデータベース管理システムdatabase management systemとしての機能である。

　データベースとは、情報の多目的利用を目ざしたデータの総合的な蓄積媒体である。今日、現実の情報対象の複雑化・大規模化によって、その情報対象についてのデータをいかにデータベースとして格納し利用するかという問題が生じている。この問題にかかわって、データベースへの情報の格納にあたってのデータ記述言語やデータ要素を類別する形式であるスキーマschema、記述されたデータをたどり、みつけだすデータ操作言語などの発展がみられ、そして、これらのハードウェアとしての実現であるデータベース・マシンの開発を含め、以上の集大成としてのデータベース管理システムが形成されるに至っている。データベースの巨大化や分散化は、データベース構成におけるハードウェアの役割を増大させる一方、より高度の管理のための人工知能の分野で研究されてきた知識表現法や意味表現法などを援用して、データ意味論やデータ・モデルの新たな展開も注目されている。

［大友詔雄］

処理

情報の処理のもう一つの機能は、実用システムによる具体的「処理」に関するものである。これに関しては、社会の情報化の促進の結果としての応用分野の多様化、利用形態の変化のなかにあって、現実の情報処理システム、とりわけその中軸としての電子計算機に期待される機能・性能をいかに実現するかという点に主要な問題が集中している。

　この場合、コンピュータの命令の種類や形式、データ形式などを中心とする計算機の論理的機能・構造や、ハードウェアとソフトウェアとのインターフェース、さらにはコンピュータが関係する技術・システムおよびその応用分野のなかで要求される機能・性能とそれらに対処するハードウェアやソフトウェアの到達段階にかかわって現れる諸々のインターフェース全体が問題となる。こうした問題は、今日、ハードウェアを構成する素子、回路の設計・構成・開発などの技術に強く依存するばかりか、システムプログラム、制御プログラムなどのソフトウェアの面での処理手順の機能・構成手法および計算機システムの応用分野や使用方法にも密接に関係して、コンピュータ・アーキテクチャーcomputer architectureとよばれる領域の課題として追究されている。すなわち、コンピュータ・アーキテクチャーは、ハードウェア、ソフトウェア、ファームウェア（ハード化ソフト）の一体化を図る技術的・工学的構成となる。以上は、情報の「処理」に関する基本内容にほかならない。

　情報の処理の具体的展開は、情報の処理の技術的・工学的到達段階を踏まえて、次の三つの背景に支えられているといえる。

　第一は、情報処理システム（あるいはコンピュータシステム）の実際上の使用・応用分野とその形態・方法の多様化と拡大、すなわち大規模数値計算、図形・画像・音声などの信号処理（パターン認識）、言語情報処理、膨大な情報の蓄積・伝送・処理などにみられる新たな機能・性能を要求する分野の拡大である。

　第二は、巨大ソフトウェアの開発の困難性（「ソフトウェア危機」といわれている）やプログラムの互換性などの実際上の要求から生まれたハードウェアとソフトウェアの見直しと、相互分担および総合化・統合化の必要性の増大である。

　第三は、以上の要求を実現するうえでのハードウェアに関する著しい進歩に基づく新たな展開である。具体的には、LSIや超LSIなどの集積回路技術の開発とその技術的発展、ジョセフソン素子などの高速論理素子や磁気バブル技術による超大容量記憶素子の開発、入出力装置の電子化や通信技術との融合などにみられる。

　こうした背景を支えとしての新しいアーキテクチャーの追究は、次のような情報工学における具体的・実用的内容の著しい進歩・拡大を促すとともに、情報処理の将来へ向けての重要な課題を具体的に提起することにもなっている。

(1)LSI技術を土台とするマイクロプロセッサーやマイクロプログラム技術、多数のプロセッサーを組み合わせた大規模システムの実現。

(2)機能的専用化プロセッサーを用いたデータベース・マシン、通信制御プロセッサー、高レベル言語マシン、各種入出力用「知能」端末の開発。

(3)ファームウェア技術、機能モジュールの設計・開発、およびこれらを用いた階層型設計支援システムhierarchical computer aided designの実現。

(4)想記憶をはじめとする仮想マシン、仮想端末などの各種の仮想技術の展開。

(5)ソフトウェア危機の克服や非ノイマン型処理を目ざす高級言語プロセッサー、関数型言語、データフロー言語などの開発、オペレーティングシステム機能のファームウェアとしての組込み。

(6)並列処理や新しい操作機能の実現によるプロセッサーの高性能化。

(7)計算機技術と通信技術との結合を土台とした広域分散システム、およびLSI技術を土台とする機能分散・負荷分散を実現する分散型マシンの実現と分散処理技術の発展。

(8)非数値データ処理の実現、など。

［大友詔雄］

人工知能

「知能の機械化」あるいは「機械の知能化」を目ざしてコンピュータ開発の当初から精力的に展開されてきた人工知能研究は、今日、人間（生物）固有の知的機能・構造の解明を目標にしつつ展開され、その途上で部分的に明らかにされた「模擬知能」とそれについての技術的・工学的成果を情報処理の各分野に個別的に活用することに主眼を置いている。この意味で、人工知能研究は、前述した情報工学全般に含まれるものであり、将来的により高度の情報処理の方法の確立・提起に役だち、情報処理の基本機能をさらに高めることに貢献するものと思われる。

［大友詔雄］

人文・社会科学的側面

情報現象の理論展開

［中野秀一郎］

情報の類型と属性

［中野秀一郎］

社会情報学の構想

［中野秀一郎］

今後の研究動向

［中野秀一郎］

『北川敏男ほか編『講座　情報社会科学』全18巻（1971～1979・学習研究社）』▽『高橋秀俊ほか編『岩波講座　情報科学』全24巻（1981～1986・岩波書店）』▽『N・ウィーナー著、池原止戈夫訳『サイバネティックス――動物と機械における制御と通信』（1984・岩波書店）』▽『長尾真ほか編『岩波情報科学辞典』（1990・岩波書店）』▽『西垣通著『デジタル・ナルシス――情報科学パイオニアたちの欲望』（1991・岩波書店）』▽『小倉久和著『情報科学の基礎論への招待――コンピュータはうそがつけるか』（1998・近代科学社）』▽『細野敏夫著『情報科学の基礎』（2000・コロナ社）』▽『竹田仁・浜田直道・福田千代子著『情報科学とコンピュータ』新版（2003・日本理工出版会）』▽『坂井利之著『情報の探検――コンピュータとの発見的対話』（岩波新書）』▽『C・E・シャノン、W・ヴィーヴァー著、長谷川淳・井上光洋訳『コミュニケーションの数学的理論――情報理論の基礎』（1969・明治図書出版）』▽『瀧保夫著『情報論Ⅰ――情報伝送の理論』（1978・岩波書店）』▽『宮川洋著『情報論Ⅱ――情報処理の理論』（1979・岩波書店）』▽『J・R・ピアース著、鎮目恭夫訳『記号・シグナル・ノイズ――情報理論入門』（1988・白揚社）』▽『大石進一著『例にもとづく情報理論入門』（1993・講談社）』▽『野村由司彦著『図解　情報理論入門』（1998・コロナ社）』▽『植松友彦著『現代シャノン理論――タイプによる情報理論』（1998・培風館）』▽『L・ブリルアン著、佐藤洋訳『科学と情報理論』第2版（2002・みすず書房）』▽『H・ゴールドスタイン著、末包良太ほか訳『計算機の歴史』（1979・共立出版）』▽『野々山隆幸監修『情報処理基礎講座』全10巻（1987～1991・マグロウヒル出版）』▽『情報処理学会編『情報処理ハンドブック』新版（1995・オーム社）』▽『システム制御情報学会編、小淵洋一著『離散情報処理とオートマトン』（1999・朝倉書店）』▽『岸野文郎・佐藤隆夫・横矢直和・相沢清晴・有川正俊著『岩波講座　マルチメディア情報学5――画像と空間の情報処理』（2000・岩波書店）』▽『情報処理学会編『エンサイクロペディア　情報処理』改訂4版（2002・オーム社）』▽『長尾真編著『人工知能――実用化の時代へ』（新潮文庫）』▽『ノーバート・ウィーナー著、鎮目恭夫・池原止戈夫訳『人間機械論――人間の人間的な利用』（1979・みすず書房）』▽『M・マクルーハン著、栗原裕、河本仲聖訳『メディア論――人間の拡張の諸相』（1987・みすず書房）』▽『吉田民人著『情報と自己組織性の理論』（1990・東京大学出版会）』▽『三上俊治著『情報環境とニューメディア』（1991・学文社）』▽『吉見俊哉著『メディア時代の文化社会学』（1994・新曜社）』▽『東京大学社会情報研究所編『社会情報と情報環境』（1994・東京大学出版会）』▽『デイヴィッド・クローリー、ポール・ヘイヤー編、林進・大久保公雄訳『歴史のなかのコミュニケーション――メディア革命の社会文化史』（1995・新曜社）』▽『佐藤俊樹著『ノイマンの夢・近代の欲望――情報化社会を解体する』（1996・講談社）』▽『東京大学社会情報研究所編『社会情報学』（1999・東京大学出版会）』▽『田中一編『社会情報学』（2001・培風館）』▽『マーク・ポスター著、室井尚・吉岡洋訳『情報様式論』（岩波現代文庫）』