炼数成金linux内核探秘

本课程的内容很简单，分析透彻一个简单的文件系统，分析透彻一个设备驱动，

课后检验和作业也简单，学习者独立写一个简单文件系统，独立写一个设备驱动。

如果完成课程，达到课后目标，相信我，你已经超过了国内主流公司绝大多数人的内核水准。

 

老师致学习者的话：

我认为，计算机技术层面可以分为系统和架构、语言和编译、OS。而系统内核无疑是其中最有难度，学习路径最陡峭的一部分。各位既然选择业余时间来学习这门艰深的课程，想必对自己有所期许，也有投入的计划。诚实的说，本课程确实不是容易通过的，但对有志向的各位来说，如果很容易通过，那么别人也会很容易。既然大家都容易得到，那么价值就大打折扣了。由此有志于此的学习者需要做好挑战的准备。

老师只是课程的引导者，而非代替学习者实践和思考的人。学习者可以利用网络搜索和自行发现答案，我想这一定可以大大提升学习者的信心。

 

本课程不需要太多内核方面的知识。毕竟这是一门从基础开始的课程。基本的c语言编程知识还是需要的，起码要编译过内核，能配置内核编译的选项。 

 

本课程的内容设置和典型的教科书不同，也和其它类似的教程不同，课程设置完全反应了老师的思考和对国内工业界现实的理解。将OS内核分为基础层面和应用层面是作者的一个创造，也是导引学习者快速入门和学以致用的关键。本课程包括对OS内存和任务调度的应用，但并不包括这些的原理。因为老师并不认为知识的堆彻就可以加深理解和思考，学习—应用—创新—再学习是作者理解的最好路径。如果能学以致用，就已经达到很深的程度。毕竟这只是起步阶段，太多的知识只会打击初学者的信心。

 

虽然课程有大量的学习内容，但课程的目的不是为了掌握某些知识，而是为了了解学习的方法，再进一步了解思考的方式。我一直认为，独立学习是重要的，而独立思考能力是最重要的。所以课程作业可能和课程的内容并没关系，甚至是课程里面完全没有的内容。没问题，如果深入思考，作业不会超过初学者可以达到的水准，而找到答案的学习者，会发现已经找到了自己的学习之路。

 

课程大纲：

第1课前言(第一阶段：基础知识)

国内内核应用的现状

各大公司内核应用情况的介绍（百度、阿里、腾讯、IBM、intel、华为等）

国内普遍的内核应用模式和问题

 

内核在当前的主流应用

云计算和虚拟化中内核的应用

设备开发中驱动的开发

分布式系统应用：分布式文件系统，

 

如何学习内核

带着使用的目的学习内核，边学边用，学以致用

阅读和修改活着的代码，而非读书籍

以培养阅读代码的能力为主，而非具体知识的学习

 

内核基础层的范畴

内核基础层和应用层的划分逻辑

从代码量和应用模式理解应用层和基础层

 

学习方法和内容

切勿贪大求全，聚焦关键应用领域

奠定基础，循序渐进

兴趣是第一驱动力

本课程提出的学习方法和内容

 

第2课内核基础层数据结构(第一阶段：基础知识)

内核数据结构

双向链表

Hash链表

单向链表

红黑树

Radix树

 

内核同步机制

自旋锁

内核信号量

自旋锁和内核信号量的区别

原子变量

completion

每CPU变量

RCU无锁机制

 

第3课内核基础层提供的服务

内核中使用内存

Linux内存管理基础-伙伴系统和slab

从伙伴系统申请内存

从slab系统申请内存

 

内核中的任务调度

内核中进程调度的目的和应用范围

从例子程序学习进程调度

内核进程调度的几种方式

 

软中断和tasklet

软中断和中断的关系

内核缺省定义的软中断—BLOCK_SOFTIRQ、NET_TX_SOFTIRQ、NET_RX_SOFTIRQ

takslet

 

工作队列

可以被调度的工作队列

创建自己的工作队列

 

第4课（第二阶段：文件系统）

文件系统的基本概念

虚拟文件系统VFS

超级块

目录项dentry

索引节点inode

文件—和进程有关的概念

 

文件系统的架构

超级块在文件系统中的基础作用

Dentry—将文件组织为树状

Inode—文件的代表

文件—和进程有关的逻辑对象

 

从代码层次理解文件系统

写一个最简单文件系统

登记文件系统

文件系统申请自身的数据结构

文件系统创建目录和文件

 

第5课文件的打开过程

 

第6课sysfs文件系统（第二阶段：文件系统）

Sysfs—为设备服务的特殊文件系统

Sysfs的作用以及sysfs和dev目录、proc文件系统的区别

Sysfs文件系统的初始化

目录文件的创建

普通文件的创建

 

文件的打开过程

和普通文件打开过程的衔接

为文件创建inode结构

为dentry结构绑定属性

在文件中保存私有数据

 

文件的读写

读文件的过程分析

写文件的过程分析

 

为对象属性服务的Kobject结构

Kobject概念和作用

利用koject理解总线的注册

 

第7课文件系统的读写（第二阶段：文件系统）

文件系统的page cache机制

buffer I/O和direct I/O

块缓存和page cache

Page cache的管理

Page cache的状态

 

文件预读

预读的作用

预读机制的架构和算法

 

文件锁概念和应用

建议锁和强制锁

读锁和写锁

 

文件读过程代码分析

硬盘操作模式和文件读写的关系

文件同步操作和异步操作

页状态和读操作的关系

读操作的返回

 

文件写过程代码分析

 

第8课通用块层和scsi层（第二阶段：文件系统）

块设备队列

Scsi块设备队列

电梯算法和电梯对象

硬盘HBA抽象层

 

IO的顺序控制

 

IO调度算法

IO调度算法的架构

Noop调度算法

Deadline调度算法

 

IO的处理过程

IO插入队列的过程

IO出队列的过程

IO返回路径

 

第9课一个真实的文件系统ext2(第二阶段)

Ext2文件系统的布局

Ext2文件系统的目录树

Ext2文件系统的内容管理

Ext2文件系统的读写

 

第10课设备概念和架构（第三阶段）

设备概念和架构

设备的端口和设备内存

设备中断和DMA

总线对设备的扫描

设备驱动管理

 

理解PCI总线

Pci设备工作原理

Pci总线域

Pci资源管理

Pci配置空间设置和读取

 

PCI设备的扫描和发现

扫描系统0号总线

扫描总线上的pci设备

扫描多功能设备

扫描single设备

设备信息和属性

 

第11课字符设备和input

文件系统和设备的关系

代表设备的文件

字符设备和字符设备的缺省处理函数

 

Input设备注册

主从设备号

设备区间的登记

注册字符设备

打开input设备

 

Input设备的架构分析

注册input设备的驱动

设备和驱动的匹配方式

注册input设备

 

第12课platform总线

从驱动发现设备的过程

Q40kbd键盘驱动的初始化

注册platform驱动

将驱动注册到总线

驱动加载

遍历总线上的设备

 

从设备找到驱动的过程

注册设备和总线

注册设备的资源信息

添加设备对象

 

第13课块设备

块设备的架构

块设备、通用磁盘对象和队列

块设备和通用磁盘对象的绑定

块设备的队列和应用

 

块设备的创建和使用过程分析

块设备例子-nbd驱动初始化

为通用磁盘对象创建队列

通用磁盘对象加入系统

 

块设备文件系统

块设备文件系统的设计思路

块设备文件系统的初始化

 

块设备打开的过程

块设备对象

块设备的打开过程