《程序员的自我修养》读书笔记

线程

线程是程序执行流的最小单元。

各个线程之间共享程序的内存空间和进程级资源。、

组成

线程ID,当前指令指针,寄存器集合,堆栈

拥有自己的空间

栈,线程局部储存(Thread Local Storage),寄存器

线程之间共享

全局变量,堆上的数据,函数的静态变量,代码,文件

A850F730-0105-4814-A347-63BCB13B8D18
调度中状态

运行,就绪,等待

线程优先级改变
  • 用户指定
  • 等待状态频繁程度
  • 长时间不执行
  • 抢占和不可抢占
线程安全
  • 原子:单指令操作,不会被打断
  • 同步:不得对同一数据访问,对数据的访问原子化
  • 二元信号量:两种状态占用与非占用,适合被唯一线程独占访问的资源
  • 多元信号量:计数N,访问减1,小于0等待
  • 互斥量:二元信号量基础上加上谁获取谁释放
  • 临界区:互斥量基础加上限制进程范围为自身
  • 读写锁:自由,独占,共享三种状态
  • 条件变量:类似栅栏
多线程模型

一对一,多对一,多对多

多线程的优点
  1. 某个操作可能陷入长时间等待-等待的线程会进入睡眠状态而无法继续执行
  2. 某个操作可能会消耗大量时间-程序和用户的交互会中断
  3. 程序的逻辑要求并发操作
  4. 单线程无法发挥多核计算机全部能力
  5. 资源共享效率提高

编译

编译器的过程
  • 预处理-展开宏,包含文件插入
  • 编译-扫描,语法分析,语义分析,源代码优化,中间代码生成,目标代码优化
  • 汇编-转换成二进制目标代码
  • 链接-地址和空间分配,符号决议,重定位
ABI

Application Binary Interface,符号修饰标准,变量内存布局,函数调用方式等和可执行代码二进制兼容性相关的内容
二进制层面的接口
ABI互不兼容导致目标文件无法相互链接

API

Application Programing Interface,应用程序编程接口

目标文件

未经链接的可执行文件,部分地址未被调整,和可执行文件格式类型内容和结构类似

ELF

Executable and Linkable Format,可执行可链接格式

程序源代码被编译后主要分成两种段:程序指令、程序数据。
优点:

  1. 指令只读,数据读写,分别控制权限
  2. 数据缓存和指令缓存分离,程序局部性
  3. 指令等只读数据可共享
2CD88E87-3225-4A58-AF20-535F19AC2E0E

目标文件中有相应的符号表。符号值为变量或函数的地址
符号表里分为:全局符号,外部符号,编译器产生的段名,行号信息
函数修饰和函数签名为了防止符号冲突
强符号:不允许多次定义
弱符号:选择占用最大的一个(可被强符号覆盖)
强引用:符号需要被正确决议
弱引用:未定义符号不报错(去掉模块不报错)

静态链接

暂时搁置引用符号的目标地址(地址空间分配),根据引用的符号自动去查找模块里符号的真实地址(符号决议),并在对引用符号的地方进行重新修正为真实地址(重定位)

空间分配

相似段合并,虚拟空间分配

装载与进程

计算机按照程序只是把输入数据加工成输出数据。
每个程序被运行起来后,拥有独立的虚拟地址空间,最大理论上限由CPU位数决定,比如32位(0-2^32-1,0x00000000~0xFFFFFFFF)
C语言指针所占空间和虚拟空间位数相同,32位-4字节

PAE

Physical Address Extension,扩展物理地址空间,提供窗口映射方法,把额外的内存映射到进程的物理空间

动态载入

常用驻留在内存中,不常用在磁盘中
常用的有覆盖装入(Overlay)(几乎被淘汰)和页映射(Paging)

进程创建:
  1. 创建独立的虚拟地址空间(建立物理内存地址和虚拟地址空间的映射函数所需要的相应的数据结构)
  2. 装载-读取可执行文件头,建立与虚拟地址空间的映射关系(页与可执行文件位置的对应关系,是一种数据结构)
  3. 将CPU指令寄存器设置成可执行文件的入口地址,启动(指令寄存器将控制权转交给进程)

可执行文件又叫映像文件(Image)因为装载时实际是被映射的虚拟空间。

VMA

Virtual Memory Area,虚拟内存区域,Linux中将进程虚拟空间的一个段

页错误处理
  1. 当执行地址的指令,发现是空页面时,CPU将控制权给操作系统
  2. 操作系统查询装载时映射关系的数据结构,找到对应虚拟内存区域,计算对应执行文件中的偏移
  3. 在物理内存中分配一个物理页面,建立和虚拟页的映射关系
  4. 控制权交还,重新开始执行
ELF文件中段的权限
  • 代码段-可读,可执行
  • 数据段-可读,可写
  • BSS段(Block Started by Symbol通常是指用来存放程序中未初始化的全局变量和静态变量的一块内存区域)-可读,可写
  • 只读数据段-可读

目标文件链接成可执行文件时,链接器会尽量将相同权限属性的段分配在同一空间。

Section

从链接角度划分ELF文件(一般情况下段的含义)

Segment

从执行角度划分ELF文件(装载时段的含义)

进程的VMA种类
  • 代码VMA-权限可读,可执行,有映像文件
  • 数据VMA-权限可读写,有映像文件
  • 堆VMA-权限可读写,可执行,无映像文件,匿名,可向上拓展
  • 栈VMA-权限可读写,无映像文件,匿名,可向下拓展

重定位

链接器将指令地址进行修正,符号目标地址确定

重定位表

用来表述如何修改相应段中的内容

符号解析

查找所有输入目标文件的符号表组成的全局符号表,找到对应符号重定位

Ar

Ar压缩程序将目标文件库压缩成后缀为a的静态库文件

BFD库

Binary File Descriptor library,统一的接口来处理不同的目标文件格式

动态链接

将模块分割开形成独立文件,将链接过程推迟到运行时

55B18065-42D1-4180-ACD6-7B7A68677CFB

优点:

  1. 减少重复文件
  2. 升级无需重新链接
  3. 独立耦合度更小
  4. 动态插入实现拓展
  5. 提高兼容性

动态链接文件在Linux系统中为DSO(Dynamic Share Objects 动态共享对象,.so拓展名)
Windows中为动态链接库(Dynamical Linking Libarary,.dll拓展名)

so文件中保存了完整的符号信息,链接器在解析负号时判定为动态符号,不进行地址重定位,留到装载时。

解决绝对地址引用的方法
  1. 装载时才进行重定位(指令被多个进程重定位,无法共享代码段,运行速度较快)
  2. PIC(Position-independent Code,地址无关代码,共享对象在被装载时确定在进程虚拟地址空间中位置的方案)
地址引用方式
  • 模块内部函数调用跳转
  • 模块内部数据访问(全局变量,静态变量)-相对寻址(加上偏移量)
  • 模块外部数据访问-建立GOT(Global Offset Table,全局偏移表,用指针数组保存变量和对应的目标地址并放在数据段中)
  • 模块外部函数调用跳转-建立GOT(全局偏移表中保存目标函数和对应地址)
PIE

Position-Independent Executable,以地址无关方式编译的可执行文件

PLT

Procedure Linkage Table,延迟绑定的方法,在函数第一次使用时才进行绑定(符号查找,重定位等)

动态链接过程
  1. 启动动态链接器
  2. 装载需要的共享对象
  3. 重定位和初始化
动态链接器
  • 不能依赖其它共享对象(使用静态链接)
  • 全局变量和静态变量的重定位由自身完成(Bottstrap,自举性)

内存

内存区域
  • 栈-维护函数调用的上下文,最高地址
  • 堆-容纳程序动态分配,低地址
  • 可执行文件映像
  • 保留区-禁止访问区域

保存了函数调用所需要的维护信息-堆栈帧(Stack Frame)或活动记录(Activate Record)

包括:

  • 函数的返回地址和参数
  • 临时变量:非静态局部变量和编译器自动生成的临时变量
  • 保存的上下文:函数调用前后需要保持不变的寄存器
函数调用惯例
  • 函数参数传递顺序与方式
  • 栈的维护方式(可选)
  • 名字修饰策略-区分调用惯例

程序可申请一块连续内存自由使用直到主动放弃
运行库管理着堆空间的分配

  1. 设置进程数据段结束地址
  2. 申请一段之后不映射某个文件的虚拟地址空间,也称匿名空间

堆分配算法

空闲链表

堆中空闲块连接,需要时找到合适大小拆卸下来,释放时合并上去,头部4字节记录该分配的大小
优点:实现简单
缺点:链表和记录大小的4字节被破坏则无法工作

位图

分成大量相同大小的块,分配时第一块为头11,其余为主体10,未分配为空闲00,三种状态,每两位表示一块,一个整数数组存储
优点:速度快-容易命中cache,稳定性好-易备份,部分破坏影响小
缺点:块太大容易产生碎片浪费,块太小位图很大,失去cache命中率高

对象池

分成固定大小的块,每次分配一个块

运行库

程序开始运行
  1. 操作系统在创建进程后,把控制权交到了程序的入口,这个入口往往是运行库中的某个入口函数
  2. 入口函数对运行库和程序运行环境进行初始化,包括堆、I/O、线程、全局变量构造
  3. 入口函数在完成初始化之后,调用main函数,正式开始执行程序主体部分
  4. main函数执行完毕以后,返回到入口函数,入口函数进行清理工作,包括全局变量析构、堆销毁、关闭I/O等
  5. 进行系统调用结束进程

操作系统设计一个句柄(Handle)原因在于防止用户随意读写系统内核的文件对象,内核可通过句柄计算内核文件对象地址。

new实现-申请堆空间-malloc传入size-返回空间地址
delete实现-运行析构函数-释放堆空间

系统调用

操作系统特权等级

用户态和内核态

中断

用户态通过中断切换内核态
中断号和中断处理程序(ISR,Interrupt Service Routine),一一对应
内核中有中断向量表(Interrupt Vector Table),第n项对应n号的中断处理程序的指针
触发中断-切换栈控件-处理中断处理程序

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 161,780评论 4 369
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 68,424评论 1 305
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 111,397评论 0 254
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,576评论 0 218
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,997评论 3 295
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,945评论 1 224
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 32,107评论 2 317
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,850评论 0 208
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,625评论 1 250
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,804评论 2 253
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,285评论 1 265
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,613评论 3 261
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,291评论 3 242
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,164评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,963评论 0 201
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 36,096评论 2 285
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,886评论 2 278

推荐阅读更多精彩内容