test.c 里调用了 add.c 定义的 Add,两个文件从头到尾没有一起被编译过。编译器处理 test.c 时不知道 Add 在哪,链接器处理 test.o 和 add.o 时才把名字对上。把这条链拆开,编译错误、链接错误、运行期错误的边界也就清楚了。

翻译环境和执行环境

ANSI C 规定一个实现里有两个环境。翻译环境(translation environment)把源代码变成可执行的机器指令;执行环境负责装载并运行。翻译环境内部又分编译和链接两大步,编译再分成预处理、编译、汇编三步。

左边虚线框是翻译环境:test1.c、test2.c、test3.c 先各自编译,再链接成一个可执行程序;右边虚线框是执行环境,程序跑起来才有输出

多个 .c 文件先各自编译成目标文件:Windows 下后缀 .obj,Linux 下 .o。目标文件再和链接库(运行时库或第三方库)一起交给链接器,生成可执行程序。

课件目录写“运行环境”,正文写“执行环境”,英文都是 execution environment,指同一件事。

四个阶段,每一步都有产物

以 GCC 为例,四步可以单独跑,也可以一条命令跑完:

gcc -E test.c -o test.i     # 预处理
gcc -S test.i -o test.s     # 编译
gcc -c test.s -o test.o     # 汇编
gcc test.o add.o -o test    # 链接

源文件 .c 和头文件 .h 先经预处理变成 .i,编译成 .s,汇编成 .o,最后和 libc.a 一类链接库一起交给链接器,产出可执行程序

预处理只做文本替换,不看语法。它处理以 # 开头的指令:展开宏、按条件编译保留或删掉整段、把 #include 的头文件内容递归插进来、把注释换成一个空格、插入行号和文件名标记、保留 #pragma。

课件说“将所有的 #define 删除,并展开所有的宏定义”,方向对,细节要补:删掉的是 #define 那一行指令,宏体只在被使用的地方展开。定义一个从不使用的宏,.i 里不会留下它的内容。

头文件是纯文本插入,代价直接体现在 .i 的行数上。一个只调用 printf 的小程序,预处理后通常几百到上千行,<stdio.h> 自己又带进来一批头文件。头文件里少放定义、多放声明,是为了让每个翻译单元都少读一些。

同一个头文件被重复包含,里面的结构体定义会在一个翻译单元里出现多次,第二次就报重定义。包含防护靠条件编译:

#ifndef UTIL_H
#define UTIL_H
 
struct point
{
    int x;
    int y;
};
 
#endif

第一次包含时 UTIL_H 还没定义,内容留下,同时把 UTIL_H 定义上;第二次包含时 #ifndef 不成立,整段被跳过。#pragma once 按文件去重,不是 C 标准的一部分,GCC、Clang、MSVC 都支持。

编译:切记号、搭语法树、查类型

编译阶段把 .i 变成汇编 .s,分三步:词法分析、语法分析、语义分析,再做优化和代码生成。

词法分析把字符流切成记号(token):关键字、标识符、字面量、运算符、标点。规则里有一条最长匹配:只要后面的字符还能拼成更长的记号,就继续拼。所以 a+++b 切成 a、++、+、b,不是 a、+、++、b。

课件拿 array[index] = (index + 4) * (2 + 6); 举例,说切成 16 个记号。

课件列出的记号表,从 array、左方括号、index 一直到最后的右圆括号,共 16 项;表里没有语句末尾的分号

这张表漏了末尾的 ;。分号是一个标点类记号,完整序列是 17 个。

语法分析按语法规则把记号组织成语法树,树的形状直接体现优先级:赋值在最外层,右边是乘法,乘法的两个操作数各是一个加法。

array[index] = (index+4)*(2+6) 的语法树:根是赋值表达式,左边挂下标表达式,右边挂乘法表达式,乘法下面再挂两个加法表达式

语义分析在语法树上做静态检查:声明和类型是否匹配、要不要做隐式转换、调用参数对不对。课件写“语义分析,即对表达式的语法层面分析”,把两个阶段揉在一起了;语法分析管“结构对不对”,语义分析管“类型和含义对不对”。少一个分号是语法错误,int a = "hello"; 语法合法、语义错误。

同一棵语法树在语义分析后每个节点都标了类型,图中红色的“整型”标在赋值、下标、乘法、加法和各操作数上;类型不匹配在这一步报出来

优化和生成汇编在语义分析之后。-O0 也仍然会做一些必要的转换,只是不做激进优化。

汇编:查表,不做优化

汇编器把 .s 翻译成机器指令,产出目标文件。一条汇编语句几乎对应一条机器指令,这一步基本是查表,不做指令优化——优化在编译阶段已经做完。

目标文件不是“半个可执行程序”,它按段组织:

段内容
.text机器指令
.data已初始化的全局、静态变量
.bss未初始化或初值为 0 的全局、静态变量,只记大小
.rodata只读数据,如字符串字面量
.symtab符号表
.rela.text代码段的重定位表

.o 里的段地址通常是 0。每个 .o 独立编译,编译器不知道它最终放在进程地址空间的哪里,地址分配留给链接器。这也是 .o 不能直接运行的原因。

翻译单元和符号表

一个 .c 文件加上它 #include 进来的所有内容,预处理后构成一个翻译单元(translation unit)。编译器一次处理一个翻译单元,它看不到别的 .c 里有什么,所以跨文件的符号只能留给链接器。

nm 可以把目标文件的符号表摊开。test.o 里可能有:

                 U Add
                 U printf
0000000000000000 T main

U 是 undefined,表示这个文件引用了它但没有定义;T 是代码段里的定义;D 是已初始化数据段;B 是 .bss;小写 t、d、b 表示本地符号(internal linkage),通常是 static 的。

add.o 里则是 T Add 和 D g_val。链接器要做的事,就是把 U Add 和 T Add 对上。

链接:解析符号,重定位

链接过程主要做三件事:地址和空间分配、符号解析(symbol resolution,课件译作符号决议)、重定位。多个 .o 的段被拼到一起,每段拿到最终地址;未定义的符号去别的目标文件和库里找定义;找到之后,把代码里预留的地址填上。

课件里的 test.c 和 add.c 就是这个过程:test.c 用 extern 声明了 Add 和 g_val。

VS 里同时打开 test.c 和 add.c:左边 test.c 用 extern 声明外部函数和全局变量,右边 add.c 给出 Add 的函数体和 g_val 的定义

编译 test.c 时,编译器不知道 Add 和 g_val 的地址,先留空;链接时由链接器按符号名找到 add.o 里的定义,再回来修正调用指令和变量访问的地址。这个修正叫重定位(relocation)。

在 x86-64 的 ELF 目标文件上,objdump -dr test.o 能看到类似的欠条:

   e8 00 00 00 00        call   5 <main+0x5>
                         R_X86_64_PLT32  Add-0x4

e8 是 call rel32,后面四个字节此刻是 0,因为 Add 的地址还不知道;R_X86_64_PLT32 Add-0x4 是重定位记录,链接器定下地址后回来把这四个字节补上。-0x4 是因为相对偏移从下一条指令算起。

链接器对同名符号的处理取决于符号的强弱。函数定义和已初始化的全局变量是强符号(strong symbol);未初始化的全局变量在老 GCC 里是 common 符号,效果接近弱符号;也可以用 __attribute__((weak)) 显式声明弱符号。规则是:多个强符号冲突,报重复定义;强符号和弱符号同时存在,用强符号;多个弱符号,任选一个。

extern int g_val; 是声明,不分配空间,只告诉编译器“这个符号在别处有定义”;static int g_val; 是内部链接,符号只在当前翻译单元可见,nm 里显示成小写的 d 或 b。加了 static 的函数也一样,别的文件即使写了 extern 声明也链接不上。

GCC 10 起默认 -fno-common,未初始化的全局变量从 common 变成强符号。头文件里漏写 extern、直接写 int g_val; 的老代码,两个文件一链就报重复定义,升级编译器时冒出来的一批错误常来自这里。

常见链接错误分几类:

  • undefined reference to 'Add':链接命令里漏了 add.o;名字拼错;用了 C++ 编译的对象却按 C 的名字找(C++ 有名字修饰,Add(int,int) 可能变成 _Z3Addii);用了 sqrt 忘了 -lm;库的顺序反了。链接器从左往右扫,后面的库不会回头照顾前面的未定义符号,gcc main.o -lfoo 对,gcc -lfoo main.o 不对。
  • multiple definition of 'g_val':两个 .c 都定义了强符号。正确做法是头文件里 extern 声明,恰好一个 .c 定义。
  • 符号被 static 藏起来:定义在 add.c 里是 static int helper(int x),test.c 声明 extern 也找不到。

链接成功不代表运行正确。extern double Add(int, int); 和实际定义 int Add(int, int) 类型不一致,C 的符号表只认名字,不认参数类型,链接器照样通过;调用时按错误类型解释返回值,运行期才出问题。动态库是另一种情况:链接时只记下依赖,运行时加载器找不到 .so 会报 error while loading shared libraries,这属于运行期错误,ldd 能看出它找了哪些路径。

执行环境:装载、main、栈和静态内存、终止

可执行程序生成后,轮到执行环境:

  1. 装载:有操作系统的环境由操作系统把程序读进内存;独立环境要手工安排,或从只读内存直接执行。
  2. 调用 main。
  3. 运行:使用运行时栈(stack)放局部变量和返回地址;静态内存里的变量在整个执行期间保留值;堆由 malloc 家族管理。
  4. 终止:main 正常返回,或异常终止。

空指针解引用、栈溢出、找不到动态库,都在这一步暴露,编译器和链接器都管不到。

排查时先看是哪一步的产物出了问题:预处理错看 .i,编译错看报错指向的源码行,链接错看符号表,运行错看执行环境。gcc -v 会把 cc1、as、collect2 实际调用的命令打出来,能确认每一步真的跑了什么。