信息就是位+上下文

1
2
3
4
5
6
7
//Programm hello
#include <stdio.h>
int main()
{
printf("hello,world\n");
return 0;
}
  • 我们的hello程序的生命是从一个源程序(或者说源文件)开始的,该源程序由程序员通过编辑器创建并保存为文本文件,文件名就是hello.c,源程序实际上就是一个由0和1组成的位(又称为比特)序列,这些位被组织成8个一组,称为字节。每个字节都表示程序中某个文本字符;
  • 大部分的现代系统都使用ASCII标准来表示文本字符,这种方式实际上就是用一个唯一的字节大小的整数值来表示每个字符;
  • 比如,hello.c程序是以字节序列的方式存储在文件中的。每个字节都有一个整数值,对应于某个字符。例如,第一个字节的整数值是35,它对应的就是字符"#"。第二个字节整数值为105,它对应的字符是"i",以此类推;
  • 注意,每行文本都是以一个看不见的换行符"\n"来结束的,它所对应的整数值为10。像hello.c这样只由ASCII字符构成的文件称为文本文件,所有其他文件则称为二进制文件
  • hello.c的表示方法说明了一个基本的思想:系统中所有的信息——包括磁盘文件、存储器中的程序、存储器中存放的用户数据以及网络上传送的数据,都是由一串比特表示的;
  • 区分不同数据对象的唯一方法是我们读到这些数据对象时的上下文。比如,在不同的上下文中,同样的字节序列可能表示一个整数、浮点数、字符串或者机器指令;
  • 作为程序员,我们需要了解数字的机器表示方式,因为它们与常见的整数和实数是不同的。它们有些相似,但这种相似并不为人知。

程序被其他程序翻译成不同的格式

  • 在hello程序生命周期的一开始时是一个高级C程序,因为当处于这种形式时,它是能够被人读懂的。然而,为了在系统上运行hello.c程序。每条C语句必须被其他程序转化为一系列的低级机器语言指令,然后这些指令按照一种称为可执行目标程序(executable object program)的格式打好包,并以二进制磁盘文件的形式存放起来,目标程序也成为可执行目标文件(executable object file);

  • 在Unix系统上,从源文件到目标文件的转化是由编译器驱动程序(complier driver)完成的

1
unix> gcc -o hello hello.c
  • 在这里,gcc编译器驱动程序读取源文件hello.c,并把它翻译成一个可执行目标文件hello,这个翻译的过程是分为四个阶段完成的,如下所示

    4 Phases

    执行这四个阶段的程序(预处理器、编译器、汇编器和链接器)一起构成了编译系统

    • 预处理阶段:预处理器(cpp)根据以字符#开头的命令(directives),修改原始的C程序。比如hello.c中第一行的#include <stdio.h>指令告诉预处理器读取系统头文件stdio.h的内容,并把它直接插入到程序文本中去。结果就得到了另一个C程序,通常是以.i作为文件扩展名;
  • 编译阶段:编译器(ccl)将文件hello.i翻译成文本文件hello.s,它包含一个汇编语言程序。汇编语言程序中的每条语句都以一种标准的文本格式确切地描述了一条低级机器语言指令。汇编语言是非常有用的,因为它为不同高级语言的不同编译器提供了通用的输出语言。例如,C编译器和Fortran编译器产生的输出文件用的都是一样的汇编语言;

    • 汇编阶段:接下来,汇编器(as)将hello.s翻译成机器语言指令,把这些指令打包成为一种叫做可重定位(relocatable)目标程序的格式,并将结果保存在目标文件hello.o中。hello.o文件是一个二进制文件,它的字节编码是机器语言指令而不是字符。如果我们在文本编辑器中打开hello.o文件,呈现的是一对乱码;
  • 链接阶段:请注意,我们的hello程序调用了printf函数,它是标准C库中的一个函数,每个C编译器都提供,printf函数存在于一个名为printf.o的单独的预编译目标文件中,而这个文件必须以某种方式并入到我们的hello.o程序中。链接器(id)就负责处理这种并入,结果就得到hello文件,它是一个可执行目标文件(或者简称为可执行文件)。可执行文件加载到存储器后,由系统负责执行。

了解编译系统如何工作是大有益处的

​ 对于像hello.c这样简单的程序,我们可以依靠编译系统生成正确有效的机器代码,但是,有一些重要的原因促使程序员必须知道编译系统是如何工作的。

  • 优化程序性能。现代编译器都是成熟的工具,通常可以生成很好的代码。作为程序员,我们无须为了写出高效代码而去了解编译器的内部工作。但是,为了在我们的C程序中做出好的代码选择,我们确实需要对汇编语言以及编译器如何将不同的C语句转化为汇编语言有一些基本的了解。比如,一个switch语句是不是总比一系列的if-then-else语句高效得多?一个函数调用的代价有多大?while循环比do循环更有效吗?指针引用比数组索引更有效吗?相对于通过引用传递过来得参数求和,为什么用本地变量求和得循环,其运行就会快得多呢?为什么两个功能相近得循环的运行时间会有很大差异?
  • 理解链接时出现的错误。根据我们的经验,一些最令人困扰得程序错误往往都与链接器操作有关,尤其是当你试图建立大型的软件系统时。比如,链接器报告说它无法解析一个引用,这是什么意思?静态变量和全局变量的区别是什么?如果你在不同的C文件中定义了名字相同的两个全局变量会发生什么?静态库和动态库的区别是什么?为什么我们在命令行上排列库的顺序是有影响的?最为烦人的是,为什么有些链接错误直到运行时才出现?
  • 避免安全漏洞,近年来,缓冲区溢出错误造成了大多数网络和Internet服务器上的安全漏洞。这些错误的存在是因为太多的程序员忽视了编译器用来为函数产生代码的堆栈规则。

处理器读并解释储存在存储器中的指令

​ 此刻,我们的hello.c源程序已经被编译系统转换成了可执行目标文件hello,并被存放在磁盘上。为了在Unix系统上运行该可执行文件,我们将它的文件名输入到称为shell的应用程序中:

1
2
3
unix> ./hello
hello, world
unix>

​ shell是一种命令行解释器,它输出一个提示符,等待你输入一行命令,然后执行这个命令。如果该命令行的第一个单词不是一个内置的shell命令,那么shell就会假设这是一个可执行文件的名字,要加载和执行该文件。所以在此例中,shell将加载和执行hello程序,然后等待程序终止。hello程序在屏幕上输出它的信息,然后终止。shell随后输出一个提示符,等待下一个输入的命令行。

系统的硬件组成

​ 为了了解运行时hello程序发生了什么,我们需要理解一个典型系统的硬件组织,如下图所示

一个典型系统的硬件组成

CPU:中央处理单元;

ALU:算术/逻辑单元;

PC:程序计数器;

USB:通用串行总线

总线
  • 贯穿整个系统的是一组电子管道,称作总线,它携带信息字节并负责在各个部件间传递。通常总线被设计成传送定长的字节块,也就是字(word),字中的字节数(即字长)是一个基本的系统参数,各个系统中也不尽相同。比如,Intel Pentium系统的字长为4字节,而服务器类的系统,例如Intel Itaniums和高端的Sun公司的SPARCS的字长为8字节。用于汽车和工业中的嵌入式控制器之类较小的系统的字长往往只有1或2字节。为了便于描述,我们假设字长为4字节,并且假设总线一次只传一个字。
I/O设备
  • I/O(输入/输出)设备是系统与外界的联系通道。我们的示例系统包括四个I/O设备:作为用户输入的键盘和鼠标,作为用户输出的显示器,以及用于长期存储数据和程序的磁盘驱动器(简单地说就是磁盘)。最开始,可执行程序hello就放在磁盘上;
  • 每个I/O设备都是通过一个控制器或适配器与I/O总线连接起来的。控制器和适配器之间的区别主要在于它们的组成方式。控制器是I/O设备本身中或是系统的主印制电路板(通常被称作主板)上的芯片组,而适配器则是一块插在主板插槽上的卡。无论如何,它们的功能都是在I/O总线和I/O设备之间传递信息。
主存
  • 主存是一个临时存储设备,在处理器执行程序时,它被用来存放程序和程序处理的数据。物理上来说,主存是由一组DRAM(动态随机存取储存器)芯片组成的,。逻辑上来说,存储器是由一个线性的字节数组组成的,每个字节都有自己唯一的地址(数组索引),这些地址是从零开始的。一般来说,组成程序的每条机器指令都有不定量的字节构成。与C程序变量相对应的数据项的大小是根据类型变化的。比如,在运行Linux的Intel机器上,short类型的数据需要2字节,int、float和long类型则需要4字节,而double类型需要8字节;
处理器
  • 中央处理单元(CPU)简称处理器,是解释(或执行)存储在主存中指令的引擎。处理器的核心是一个被称为程序计数器(PC)的字长大小的存储设备(或寄存器)。在任何一个时间点上,PC都指向主存中的某条机器语言指令(内含其地址);
  • 从系统通电开始,直到系统断电,处理器一直在不假思索地重复执行相同的基本任务:从程序计数器(PC)指向地存储器处读取指令,解释指令中的位,执行指令指示的简单操作,然后更新程序计数器指向下一条指令,而这条指令并不一定在存储器中和刚刚执行的指令相邻;
  • 这样的简单操作的数目并不多,它们在主存、寄存器文件(register file)和算数逻辑单元(ALU)之间循环。寄存器文件是一个小的存储设备,由一些字长大小的寄存器组成,这些寄存器每个都有唯一的名字。ALU计算新的数据和地址值。下面是一些简单操作的例子,CPU在指令的要求下可能会执行这些操作
    • 加载:从主存拷贝一个字节或者一个字到寄存器,覆盖寄存器原来的内容;
    • 存储:从寄存器拷贝一个字节或者一个字到主存的某个位置,覆盖这个位置上原来的内容;
    • 更新:拷贝两个寄存器的内容到ALU,ALU将两个字相加,并将结果存放到一个寄存器中,覆盖该寄存器中原来的内容;
    • I/O读:从一个I/O设备中拷贝一个字节或者一个字到一个寄存器;
    • I/O写:从一个寄存器中拷贝一个字节或者一个字到一个I/O设备;
    • 转移:从指令本身抽取一个字,并将这个字拷贝到程序计数器(PC)中,覆盖PC中原来的值。

运行hello程序

  • 通过对系统的硬件组成和操作的简单学习,我们开始能够了解当我们运行示例程序时发生了什么。在这里我们必须忽略很多细节,稍后会做一些补充,但是现在我们将很满意这种粗略的描述。

  • 首先,shell程序执行它的指令,等待我们输入命令。当我们在键盘上输入字符串“./hello”后,shell程序就逐一读取字符到寄存器,再把它放到存储器中,如下图所示

从键盘上读取hello命令

  • 当我们在键盘上敲回车键时,shell就知道我们已经结束了命令的输入。然后shell执行一系列指令。这些指令将hello目标文件中的代码和数据从磁盘拷贝到主存,从而加载hello文件。数据包括最终会被输出的字符串“hello,world\n”。

  • 利用称为DMA(直接存储器存取)的技术,数据可以不通过处理器而直接从磁盘到达主存,这个步骤如下图所示

从磁盘加载可执行文件到主存

  • 一旦hello目标文件中的代码和数据被加载到了存储器,处理器就开始执行hello程序的主程序中的机器语言指令,这些指令将“hello,world\n”串中的字节从存储器中拷贝到寄存器文件,再从寄存器中文件拷贝到显示设备,最终显示在屏幕上,这个步骤如下图所示

从存储器写输出串到显示器

高速缓存

  • 通过这个简单的示例我们了解到重要的一课,那就是系统花费了大量时间把信息从一个地方挪到另一个地方。hello程序的机器指令最初是存放在磁盘上的。当程序加载时,它们被拷贝到主存,当处理器运行程序时,指令又从主存拷贝到处理器。相似地,数据串“hello,world\n”开始时在磁盘上,再被拷贝到主存,然后从主存上拷贝到显示设备。从一个程序员的角度来看,大量的拷贝减慢了程序的实际工作。因此,系统设计者的一个主要目标就是使这些拷贝操作尽可能的快;

  • 根据机械原理,较大的存储设备要比较小的存储设备运行德慢,而快速设备的造价远高于低俗设备。比如说,一个典型系统上的磁盘驱动器可能比主存大100倍,但是对处理器而言,从磁盘驱动器上读取一个字的时间开销要比从主存中读取的开销大1000万倍;

  • 类似地,一个典型的寄存器文件只存储几百字节的信息。与此相反,主存里可存放几百万字节。然而,处理器从寄存器文件中读数据比从主存中读取快几乎100倍。更麻烦的是,随着这些年半导体技术的进步,这种处理器与主存之间的差距还在持续增大。加快处理器的运行速度比加快主存的处理速度要容易和便宜得多;

  • 针对这种处理器与主存之间的差异,系统设计者采用了更小更快的存储设备,称为高速缓存存储器(cache memories,简称高速缓存),它们被用来作为暂时的集结区域,存放处理器在不久的将来可能会需要的信息。下图展示了一个典型系统中的高速缓存存储器

    高速缓存存储器

形成层次结构的存储设备

  • 在处理器和一个较大较慢的设备(例如主存)之间插入一个更小更快的存储设备(例如高速缓存)的想法已经成为一个普遍的观念。实际上,每个计算机系统中的存储设备都被组织成立一个存储器层次结构,如下图所示

    一个存储器层次结构的示例

    在这个层次结构中,从上至下,设备的访问速度越来越慢、容量越来越大,并且每字节的造价也越来越便宜。寄存器文件在层次结构中位于最顶部,也就是0级或记为L0。这里我们展示的是三层高速缓存L1到L3,占据存储器层次结构的第1层到第3层。主存在第4层,以此类推;

  • 存储器层次结构的主要思想是上一层的存储器作为低一层存储器的高速缓存。因此,寄存器文件就是L1的高速缓存,L1是L2的高速缓存,L2是L3的高速缓存,L3是主存的高速缓存,而主存又是磁盘的高速缓存。在某些具有分布式文件系统的网络系统中,本地磁盘就是存储在其他系统中磁盘上的数据的高速缓存;

  • 正如可以运用不同的高速缓存的知识来提高程序性能一样,程序员同样可以利用对整个储存器层次结构的理解来提高程序性能。

操作系统管理硬件

  • 让我们回到hello程序的例子。当shell加载和运行hello程序时,以及hello程序输出自己的消息时,shell和hello程序都没有直接访问键盘、显示器、磁盘或者主存。取而代之的是,它们依靠操作系统提供的服务。我们可以把操作系统看成是应用程序和硬件之间插入的一层软件,如下图所示

    计算机系统的分层视图

    所有应用程序对硬件的操作尝试都必须通过操作系统;

  • 操作系统有两个基本功能:防止硬件被失控的应用程序滥用;在控制复杂而又通常广泛不同的低级硬件设备方面,为应用程序提供简单一致的方法。操作系统通过下图中显示的几个基本的抽象概念(进程、虚拟存储器和文件)实现这两个功能

    操作系统提供的抽象表示

    如上图所示,文件是对I/O设备的抽象表示,虚拟存储器是对主存和磁盘I/O设备的抽象表示,进程则是对处理器、主存和I/O设备的抽象表示。

进程

  • 像hello这样的程序在现代系统上运行时,操作系统会提供一种假象,就好像系统上只有这个程序在运行。程序看上去独占地使用处理器、主存和I/O设备,而处理器看上去就像在不间断地一条接一条地执行程序中的指令。该程序都代码和数据就好像是系统存储器中唯一地对象。这些假象是通过进程的概念来实现的,进程是计算机科学中最重要和最成功的概念之一;

  • 进程是操作系统对运行程序的一种抽象。在一个系统上可以同时运行多个进程,而每个进程都好像独占地使用硬件。我们称之为并发运行,实际上是说一个进程的指令和另一个进程的指令时交错执行的。操作系统实现这种交错执行的机制称为上下文切换(context switching);

  • 操作系统保存进程运行所需的所有状态信息。这种状态,也就是上下文(context),包括许多信息,比如PC和寄存器文件的当前值,以及主存的内容。在任何一个时刻,系统上都只有一个进程正在运行。当操作系统决定从当前进程转移控制权到某个新进程时,它就会进行上下文切换,即保存当前进程的上下文,恢复新进程的上下文,然后将控制权转移到新进程。新进程就会从它上次停止的地方开始。下图展示了我们的示例hello运行的基本场景

    进程的上下文切换

  • 在我们的示例场景中有连个同时运行的进程:shell进程和hello进程。最开始,只有shell进程在运行,等待命令行上的输入。当我们让它运行hello程序时,shell通过调用一个专门的函数,即系统调用,来执行我们的请求,系统调用会将控制权传递给操作系统。操作系统保存shell进程的上下文,创建一个新的hello进程及上下文,然后将控制权传给新的hello进程。在hello进程终止后,操作系统恢复shell进程的上下文,并将控制权传回给它,它会继续等待下一命令行输入;

  • 实现进程这个抽象概念需要低级硬件和操作系统软件的紧密合作。进程这个抽象的概念还暗示着由于不同的进程交错执行,打乱了时间的概念,使得程序员很难获得运行时间的准确和可重复测量。在现代系统中,拥有各种时间的概念以及用来获得准确测量值的技术。

线程

  • 尽管通常我们认为一个进程只有单一的控制流,但是在现代系统中,一个进程实际上可以由多个称为线程的执行单元组成,每个线程都运行在进程的上下文中,并共享同样的代码和全局数据;
  • 由于网络服务器中对并行处理的要求,线程称为越来越重要的编程模型,因为多线程之间比多进程之间更容易共享数据,也因为线程一般都比进程更高效。

虚拟存储器

  • 虚拟存储器是一个抽象概念,它为每个进程提供了一个假象,好像每个进程都在独占地使用主存。每个进程看到的存储器都是一致的,称之为虚拟地址空间。下图所示的时=是Linux进程的虚拟地址空间(其他Unix系统的设计也与此类似)

    进程的虚拟地址空间

  • 在Linux中,最上面的四分之一的地址空间是预留给操作系统中的代码和数据的,这对所有进程都一样。底部的四分之三的地址空间用来存放用户进程定义的代码和数据。请注意,图中的地址是从下往上增大的

  • 每个进程看到的虚拟地址空间由大量准确定义的区(area)构成,每个区都有专门的功能。从最低的地址开始,逐步向上研究将是非常有益的

    • 程序代码和数据:代码是从同一固定地址开始,紧接着的是和C全局变量相对应的数据区。代码和数据区是由可执行目标文件直接初始化的。在我们的示例中就是可执行文件hello;
    • :代码和数据区后紧跟随着的是运行时堆。代码和数据区是在进程一旦开始运行时就被指定了大小的,与此不同。作为调用像malloc和free这样的C标准库函数的结果,堆可以在运行时动态地扩展和收缩;
    • 共享库:在地址空间的中间附近是一块用来存放像C标准库和数学库这样共享库的代码和数据的区域。共享库的概念非常强大,但是也是个相当难懂的概念;
    • :位于用户虚拟地址空间顶部的是用户栈,编译器用它来实现函数调用。和堆一样,用户栈在程序执行期间可以动态地扩展和收缩。特别地,每次我们调用一个函数时,栈就会增长。每次我们从函数返回时,栈就会收缩;
    • 内核虚拟存储器:内核是操作系统总是驻留在存储器中的部分。地址空间顶部的四分之一部分是为内核预留的。应用程序不允许读写这个区域的内容或者直接调用内核代码定义的函数。
  • 虚拟存储器的运作需要硬件和操作系统软件间的精密复杂的相互合作,包括对处理器生成的每个地址的硬件翻译。基本思想是把一个进程虚拟存储器的内容存储在磁盘上,然后用主存作为磁盘的高速缓存。

文件

  • 文件只不过就是字节序列。每个I/O设备,包括磁盘、键盘、显示器,甚至于网络,都可以被看成是文件。系统中的所有输入输出都是通过使用称为UnixI/O的一小组系统函数调用读写文件来实现的;
  • 文件这个简单而精致的概念是非常强大的,因为它使得应用程序能够统一地看待系统中可能含有的所有各式各样的I/O设备。例如,处理磁盘文件内容的应用程序员可以非常幸福地无需了解具体的磁盘技术。进一步说,同一个程序可以在使用不同磁盘技术的不同系统上运行。

利用网络系统和其它系统通信

  • 系统漫游行之至此,我们一直是把系统视为一个孤立地硬件和软件的集合体。实际上,现代系统经常是通过网络和其他系统连接到一起的。从一个单独的系统来看,网络可视为又一个I/O设备,如下图所示

    网络也是一种I/O设备

    当系统从主存拷贝一串字符到网络适配器时,数据流经过网络到达另一台机器,而不是到达本地磁盘驱动器。相似地,系统可以读取从其他机器发送来的数据,并把数据拷贝到自己的主存;

  • 随着像Internet这样的全球网络的出现,从一台主机拷贝信息到另外一台主机已经成为计算机系统最重要的用途之一。比如,像电子邮件、即时消息传送、万维网、FTP和telnet这样的应用都是基于网络拷贝信息的功能的;

  • 回到我们hello示例,我们可以使用熟悉的telnet应用在一个远程主机上运行hello程序。假设我们用本地主机上的telnet服务器。在我们登录到远程主机并运行shell后,远端的shell就在等待接收输入的命令。从这点上来看,在远端运行hello程序包括下图的五个基本步骤

    利用telnet跨越网络远程运行hello

  • 当我们在客户端键入“hello”串并敲下回车键后,客户端软件就会将这个字符串发送到telnet的服务器。在telnet服务器从网络上接收到这个串后,会把它传递给远端shell程序,接下来,远端shell运行hello程序,并将输出返回给telnet服务器。最后,telnet服务器通过网络把输出串转发给telnet客户端,客户端就将输出串输出到我们的本地终端上;

  • 这种在客户端和服务器之间交互的类型在所有的网络应用中是非常典型的。

下一步

我们旋风式的系统漫游到此就结束了。从这次讨论中要得出一个很重要的观点,那就是系统不仅仅是硬件。系统是相互交织的硬件和系统软件的集合体,他们必须共同协作以达到运行应用程序的最终目的。

小结

  • 计算机系统是由硬件和系统软件组成的,它们共同协作以运行应用程序。计算机内部的信息被表示为一组组的位,它们依据不同的上下文又有不同的解释方式。程序被其他程序翻译成不同的形式,开始时是ASCII文本,然后被编译器和链接器翻译成二进制可执行文件;
  • 处理器读取并解释存放在主存里的二进制指令。因为计算机花费了大量的时间在存储器、I/O设备和CPU寄存器之间拷贝数据,所以系统中的存储设备就被按层次排列,CPU寄存器在顶部,接着是多层的硬件高速缓存存储器、DRAM主存储器和磁盘存储器。在层次模型中位于更高层的存储设备比低层的存储设备要快,单位比特造假也更高,程序员通过理解和运用这种存储层次结构的知识,可以优化他们C程序的性能;
  • 操作系统内核是应用程序和硬件之间的媒介。它提供三个基本的抽象概念:
    1. 文件时对I/O设备的抽象概念
    2. 虚拟存储器是对主存和磁盘的抽象概念
    3. 进程是处理器、主存和I/O设备的抽象概念
  • 最后,网络提供了计算机系统之间通信的手短。从某个系统的角度看,网络就是一种I/O设备。