Linux中斷(interrupt)子系統(tǒng)之一:中斷系統(tǒng)基本原理
這個中斷系列文章主要針對移動設備中的Linux進行討論,文中的例子基本都是基于ARM這一體系架構,其他架構的原理其實也差不多,區(qū)別只是其中的硬件抽象層。內(nèi)核版本基于3.3。雖然內(nèi)核的版本不斷地提升,不過自從上一次變更到當前的通用中斷子系統(tǒng)后,大的框架性的東西并沒有太大的改變。
本文引用地址:http://cafeforensic.com/article/201612/341595.htm1. 設備、中斷控制器和CPU
一個完整的設備中,與中斷相關的硬件可以劃分為3類,它們分別是:設備、中斷控制器和CPU本身,下圖展示了一個smp系統(tǒng)中的中斷硬件的組成結構:
圖 1.1 中斷系統(tǒng)的硬件組成
設備 設備是發(fā)起中斷的源,當設備需要請求某種服務的時候,它會發(fā)起一個硬件中斷信號,通常,該信號會連接至中斷控制器,由中斷控制器做進一步的處理。在現(xiàn)代的移動設備中,發(fā)起中斷的設備可以位于soc(system-on-chip)芯片的外部,也可以位于soc的內(nèi)部,因為目前大多數(shù)soc都集成了大量的硬件IP,例如I2C、SPI、Display Controller等等。
中斷控制器 中斷控制器負責收集所有中斷源發(fā)起的中斷,現(xiàn)有的中斷控制器幾乎都是可編程的,通過對中斷控制器的編程,我們可以控制每個中斷源的優(yōu)先級、中斷的電器類型,還可以打開和關閉某一個中斷源,在smp系統(tǒng)中,甚至可以控制某個中斷源發(fā)往哪一個CPU進行處理。對于ARM架構的soc,使用較多的中斷控制器是VIC(Vector Interrupt Controller),進入多核時代以后,GIC(General Interrupt Controller)的應用也開始逐漸變多。
CPU cpu是最終響應中斷的部件,它通過對可編程中斷控制器的編程操作,控制和管理者系統(tǒng)中的每個中斷,當中斷控制器最終判定一個中斷可以被處理時,他會根據(jù)事先的設定,通知其中一個或者是某幾個cpu對該中斷進行處理,雖然中斷控制器可以同時通知數(shù)個cpu對某一個中斷進行處理,實際上,最后只會有一個cpu相應這個中斷請求,但具體是哪個cpu進行響應是可能是隨機的,中斷控制器在硬件上對這一特性進行了保證,不過這也依賴于操作系統(tǒng)對中斷系統(tǒng)的軟件實現(xiàn)。在smp系統(tǒng)中,cpu之間也通過IPI(inter processor interrupt)中斷進行通信。
2. IRQ編號
系統(tǒng)中每一個注冊的中斷源,都會分配一個唯一的編號用于識別該中斷,我們稱之為IRQ編號。IRQ編號貫穿在整個Linux的通用中斷子系統(tǒng)中。在移動設備中,每個中斷源的IRQ編號都會在arch相關的一些頭文件中,例如arch/xxx/mach-xxx/include/irqs.h。驅(qū)動程序在請求中斷服務時,它會使用IRQ編號注冊該中斷,中斷發(fā)生時,cpu通常會從中斷控制器中獲取相關信息,然后計算出相應的IRQ編號,然后把該IRQ編號傳遞到相應的驅(qū)動程序中。
3. 在驅(qū)動程序中申請中斷
Linux中斷子系統(tǒng)向驅(qū)動程序提供了一系列的API,其中的一個用于向系統(tǒng)申請中斷:
[cpp] view plain copyint request_threaded_irq(unsigned int irq, irq_handler_t handler,
irq_handler_t thread_fn, unsigned long irqflags,
const char *devname, void *dev_id)
其中,
irq是要申請的IRQ編號,
handler是中斷處理服務函數(shù),該函數(shù)工作在中斷上下文中,如果不需要,可以傳入NULL,但是不可以和thread_fn同時為NULL;
thread_fn是中斷線程的回調(diào)函數(shù),工作在內(nèi)核進程上下文中,如果不需要,可以傳入NULL,但是不可以和handler同時為NULL;
irqflags是該中斷的一些標志,可以指定該中斷的電氣類型,是否共享等信息;
devname指定該中斷的名稱;
dev_id用于共享中斷時的cookie data,通常用于區(qū)分共享中斷具體由哪個設備發(fā)起;
關于該API的詳細工作機理我們后面再討論。
4. 通用中斷子系統(tǒng)(Generic irq)的軟件抽象
在通用中斷子系統(tǒng)(generic irq)出現(xiàn)之前,內(nèi)核使用__do_IRQ處理所有的中斷,這意味著__do_IRQ中要處理各種類型的中斷,這會導致軟件的復雜性增加,層次不分明,而且代碼的可重用性也不好。事實上,到了內(nèi)核版本2.6.38,__do_IRQ這種方式已經(jīng)徹底在內(nèi)核的代碼中消失了。通用中斷子系統(tǒng)的原型最初出現(xiàn)于ARM體系中,一開始內(nèi)核的開發(fā)者們把3種中斷類型區(qū)分出來,他們是:
電平觸發(fā)中斷(level type)
邊緣觸發(fā)中斷(edge type)
簡易的中斷(simple type)
后來又針對某些需要回應eoi(end of interrupt)的中斷控制器,加入了fast eoi type,針對smp加入了per cpu type。把這些不同的中斷類型抽象出來后,成為了中斷子系統(tǒng)的流控層。要使所有的體系架構都可以重用這部分的代碼,中斷控制器也被進一步地封裝起來,形成了中斷子系統(tǒng)中的硬件封裝層。我們可以用下面的圖示表示通用中斷子系統(tǒng)的層次結構:
圖 4.1 通用中斷子系統(tǒng)的層次結構
硬件封裝層 它包含了體系架構相關的所有代碼,包括中斷控制器的抽象封裝,arch相關的中斷初始化,以及各個IRQ的相關數(shù)據(jù)結構的初始化工作,cpu的中斷入口也會在arch相關的代碼中實現(xiàn)。中斷通用邏輯層通過標準的封裝接口(實際上就是struct irq_chip定義的接口)訪問并控制中斷控制器的行為,體系相關的中斷入口函數(shù)在獲取IRQ編號后,通過中斷通用邏輯層提供的標準函數(shù),把中斷調(diào)用傳遞到中斷流控層中。我們看看irq_chip的部分定義:
[cpp] view plain copystruct irq_chip {
const char *name;
unsigned int (*irq_startup)(struct irq_data *data);
void (*irq_shutdown)(struct irq_data *data);
void (*irq_enable)(struct irq_data *data);
void (*irq_disable)(struct irq_data *data);
void (*irq_ack)(struct irq_data *data);
void (*irq_mask)(struct irq_data *data);
void (*irq_mask_ack)(struct irq_data *data);
void (*irq_unmask)(struct irq_data *data);
void (*irq_eoi)(struct irq_data *data);
int (*irq_set_affinity)(struct irq_data *data, const struct cpumask *dest, bool force);
int (*irq_retrigger)(struct irq_data *data);
int (*irq_set_type)(struct irq_data *data, unsigned int flow_type);
int (*irq_set_wake)(struct irq_data *data, unsigned int on);
......
};
看到上面的結構定義,很明顯,它實際上就是對中斷控制器的接口抽象,我們只要對每個中斷控制器實現(xiàn)以上接口(不必全部),并把它和相應的irq關聯(lián)起來,上層的實現(xiàn)即可通過這些接口訪問中斷控制器。而且,同一個中斷控制器的代碼可以方便地被不同的平臺所重用。
中斷流控層 所謂中斷流控是指合理并正確地處理連續(xù)發(fā)生的中斷,比如一個中斷在處理中,同一個中斷再次到達時如何處理,何時應該屏蔽中斷,何時打開中斷,何時回應中斷控制器等一系列的操作。該層實現(xiàn)了與體系和硬件無關的中斷流控處理操作,它針對不同的中斷電氣類型(level,edge......),實現(xiàn)了對應的標準中斷流控處理函數(shù),在這些處理函數(shù)中,最終會把中斷控制權傳遞到驅(qū)動程序注冊中斷時傳入的處理函數(shù)或者是中斷線程中。目前內(nèi)核提供了以下幾個主要的中斷流控函數(shù)的實現(xiàn)(只列出部分):
handle_simple_irq();
handle_level_irq(); 電平中斷流控處理程序
handle_edge_irq(); 邊沿觸發(fā)中斷流控處理程序
handle_fasteoi_irq(); 需要eoi的中斷處理器使用的中斷流控處理程序
handle_percpu_irq(); 該irq只有單個cpu響應時使用的流控處理程序
中斷通用邏輯層 該層實現(xiàn)了對中斷系統(tǒng)幾個重要數(shù)據(jù)的管理,并提供了一系列的輔助管理函數(shù)。同時,該層還實現(xiàn)了中斷線程的實現(xiàn)和管理,共享中斷和嵌套中斷的實現(xiàn)和管理,另外它還提供了一些接口函數(shù),它們將作為硬件封裝層和中斷流控層以及驅(qū)動程序API層之間的橋梁,例如以下API:
generic_handle_irq();
irq_to_desc();
irq_set_chip();
irq_set_chained_handler();
驅(qū)動程序API 該部分向驅(qū)動程序提供了一系列的API,用于向系統(tǒng)申請/釋放中斷,打開/關閉中斷,設置中斷類型和中斷喚醒系統(tǒng)的特性等操作。驅(qū)動程序的開發(fā)者通常只會使用到這一層提供的這些API即可完成驅(qū)動程序的開發(fā)工作,其他的細節(jié)都由另外幾個軟件層較好地“隱藏”起來了,驅(qū)動程序開發(fā)者無需再關注底層的實現(xiàn),這看起來確實是一件美妙的事情,不過我認為,要想寫出好的中斷代碼,還是花點時間了解一下其他幾層的實現(xiàn)吧。其中的一些API如下:
enable_irq();
disable_irq();
disable_irq_nosync();
request_threaded_irq();
irq_set_affinity();
這里不再對每一層做詳細的介紹,我將會在本系列的其他幾篇文章中做深入的探討。
5. irq描述結構:struct irq_desc
整個通用中斷子系統(tǒng)幾乎都是圍繞著irq_desc結構進行,系統(tǒng)中每一個irq都對應著一個irq_desc結構,所有的irq_desc結構的組織方式有兩種:
基于數(shù)組方式 平臺相關板級代碼事先根據(jù)系統(tǒng)中的IRQ數(shù)量,定義常量:NR_IRQS,在kernel/irq/irqdesc.c中使用該常量定義irq_desc結構數(shù)組:
[cpp] view plain copystruct irq_desc irq_desc[NR_IRQS] __cacheline_aligned_in_smp = {
[0 ... NR_IRQS-1] = {
.handle_irq = handle_bad_irq,
.depth = 1,
.lock = __RAW_SPIN_LOCK_UNLOCKED(irq_desc->lock),
}
};
基于基數(shù)樹方式 當內(nèi)核的配置項CONFIG_SPARSE_IRQ被選中時,內(nèi)核使用基數(shù)樹(radix tree)來管理irq_desc結構,這一方式可以動態(tài)地分配irq_desc結構,對于那些具備大量IRQ數(shù)量或者IRQ編號不連續(xù)的系統(tǒng),使用該方式管理irq_desc對內(nèi)存的節(jié)省有好處,而且對那些自帶中斷控制器管理設備自身多個中斷源的外部設備,它們可以在驅(qū)動程序中動態(tài)地申請這些中斷源所對應的irq_desc結構,而不必在系統(tǒng)的編譯階段保留irq_desc結構所需的內(nèi)存。
下面我們看一看irq_desc的部分定義:
[cpp] view plain copystruct irq_data {
unsigned int irq;
unsigned long hwirq;
unsigned int node;
unsigned int state_use_accessors;
struct irq_chip *chip;
struct irq_domain *domain;
void *handler_data;
void *chip_data;
struct msi_desc *msi_desc;
#ifdef CONFIG_SMP
cpumask_var_t affinity;
#endif
};
[cpp] view plain copystruct irq_desc {
struct irq_data irq_data;
unsigned int __percpu *kstat_irqs;
irq_flow_handler_t handle_irq;
#ifdef CONFIG_IRQ_PREFLOW_FASTEOI
irq_preflow_handler_t preflow_handler;
#endif
struct irqaction *action; /* IRQ action list */
unsigned int status_use_accessors;
unsigned int depth; /* nested irq disables */
unsigned int wake_depth; /* nested wake enables */
unsigned int irq_count; /* For detecting broken IRQs */
raw_spinlock_t lock;
struct cpumask *percpu_enabled;
#ifdef CONFIG_SMP
const struct cpumask *affinity_hint;
struct irq_affinity_notify *affinity_notify;
#ifdef CONFIG_GENERIC_PENDING_IRQ
cpumask_var_t pending_mask;
#endif
#endif
wait_queue_head_t wait_for_threads;
const char *name;
} ____cacheline_internodealigned_in_smp;
對于irq_desc中的主要字段做一個解釋:
irq_data 這個內(nèi)嵌結構在2.6.37版本引入,之前的內(nèi)核版本的做法是直接把這個結構中的字段直接放置在irq_desc結構體中,然后在調(diào)用硬件封裝層的chip->xxx()回調(diào)中傳入IRQ編號作為參數(shù),但是底層的函數(shù)經(jīng)常需要訪問->handler_data,->chip_data,->msi_desc等字段,這需要利用irq_to_desc(irq)來獲得irq_desc結構的指針,然后才能訪問上述字段,者帶來了性能的降低,尤其在配置為sparse irq的系統(tǒng)中更是如此,因為這意味著基數(shù)樹的搜索操作。為了解決這一問題,內(nèi)核開發(fā)者把幾個低層函數(shù)需要使用的字段單獨封裝為一個結構,調(diào)用時的參數(shù)則改為傳入該結構的指針。實現(xiàn)同樣的目的,那為什么不直接傳入irq_desc結構指針?因為這會破壞層次的封裝性,我們不希望低層代碼可以看到不應該看到的部分,僅此而已。
kstat_irqs 用于irq的一些統(tǒng)計信息,這些統(tǒng)計信息可以從proc文件系統(tǒng)中查詢。
action 中斷響應鏈表,當一個irq被觸發(fā)時,內(nèi)核會遍歷該鏈表,調(diào)用action結構中的回調(diào)handler或者激活其中的中斷線程,之所以實現(xiàn)為一個鏈表,是為了實現(xiàn)中斷的共享,多個設備共享同一個irq,這在外圍設備中是普遍存在的。
status_use_accessors 記錄該irq的狀態(tài)信息,內(nèi)核提供了一系列irq_settings_xxx的輔助函數(shù)訪問該字段,詳細請查看kernel/irq/settings.h
depth 用于管理enable_irq()/disable_irq()這兩個API的嵌套深度管理,每次enable_irq時該值減去1,每次disable_irq時該值加1,只有depth==0時才真正向硬件封裝層發(fā)出關閉irq的調(diào)用,只有depth==1時才會向硬件封裝層發(fā)出打開irq的調(diào)用。disable的嵌套次數(shù)可以比enable的次數(shù)多,此時depth的值大于1,隨著enable的不斷調(diào)用,當depth的值為1時,在向硬件封裝層發(fā)出打開irq的調(diào)用后,depth減去1后,此時depth為0,此時處于一個平衡狀態(tài),我們只能調(diào)用disable_irq,如果此時enable_irq被調(diào)用,內(nèi)核會報告一個irq失衡的警告,提醒驅(qū)動程序的開發(fā)人員檢查自己的代碼。
lock 用于保護irq_desc結構本身的自旋鎖。
affinity_hit 用于提示用戶空間,作為優(yōu)化irq和cpu之間的親緣關系的依據(jù)。
pending_mask 用于調(diào)整irq在各個cpu之間的平衡。
wait_for_threads 用于synchronize_irq(),等待該irq所有線程完成。
irq_data結構中的各字段:
irq 該結構所對應的IRQ編號。
hwirq 硬件irq編號,它不同于上面的irq;
node 通常用于hwirq和irq之間的映射操作;
state_use_accessors 硬件封裝層需要使用的狀態(tài)信息,不要直接訪問該字段,內(nèi)核定義了一組函數(shù)用于訪問該字段:irqd_xxxx(),參見include/linux/irq.h。
chip 指向該irq所屬的中斷控制器的irq_chip結構指針
handler_data 每個irq的私有數(shù)據(jù)指針,該字段由硬件封轉(zhuǎn)層使用,例如用作底層硬件的多路復用中斷。
chip_data 中斷控制器的私有數(shù)據(jù),該字段由硬件封轉(zhuǎn)層使用。
msi_desc 用于PCIe總線的MSI或MSI-X中斷機制。
affinity 記錄該irq與cpu之間的親緣關系,它其實是一個bit-mask,每一個bit代表一個cpu,置位后代表該cpu可能處理該irq。
這是通用中斷子系統(tǒng)系列文章的第一篇,這里不會詳細介紹各個軟件層次的實現(xiàn)原理,但是有必要對整個架構做簡要的介紹:
系統(tǒng)啟動階段,取決于內(nèi)核的配置,內(nèi)核會通過數(shù)組或基數(shù)樹分配好足夠多的irq_desc結構;
根據(jù)不同的體系結構,初始化中斷相關的硬件,尤其是中斷控制器;
為每個必要irq的irq_desc結構填充默認的字段,例如irq編號,irq_chip指針,根據(jù)不同的中斷類型配置流控handler;
設備驅(qū)動程序在初始化階段,利用request_threaded_irq() api申請中斷服務,兩個重要的參數(shù)是handler和thread_fn;
當設備觸發(fā)一個中斷后,cpu會進入事先設定好的中斷入口,它屬于底層體系相關的代碼,它通過中斷控制器獲得irq編號,在對irq_data結構中的某些字段進行處理后,會將控制權傳遞到中斷流控層(通過irq_desc->handle_irq);
中斷流控處理代碼在作出必要的流控處理后,通過irq_desc->action鏈表,取出驅(qū)動程序申請中斷時注冊的handler和thread_fn,根據(jù)它們的賦值情況,或者只是調(diào)用handler回調(diào),或者啟動一個線程執(zhí)行thread_fn,又或者兩者都執(zhí)行;
至此,中斷最終由驅(qū)動程序進行了響應和處理。
6. 中斷子系統(tǒng)的proc文件接口
在/proc目錄下面,有兩個與中斷子系統(tǒng)相關的文件和子目錄,它們是:
/proc/interrupts:文件
/proc/irq:子目錄
讀取interrupts會依次顯示irq編號,每個cpu對該irq的處理次數(shù),中斷控制器的名字,irq的名字,以及驅(qū)動程序注冊該irq時使用的名字,以下是一個例子:
/proc/irq目錄下面會為每個注冊的irq創(chuàng)建一個以irq編號為名字的子目錄,每個子目錄下分別有以下條目:
smp_affinity irq和cpu之間的親緣綁定關系;
smp_affinity_hint 只讀條目,用于用戶空間做irq平衡只用;
spurious 可以獲得該irq被處理和未被處理的次數(shù)的統(tǒng)計信息;
handler_name 驅(qū)動程序注冊該irq時傳入的處理程序的名字;
根據(jù)irq的不同,以上條目不一定會全部都出現(xiàn),以下是某個設備的例子:
# cd /proc/irq
# ls
ls
332
248
......
......
12
11
default_smp_affinity
# ls 332
bcmsdh_sdmmc
spurious
node
affinity_hint
smp_affinity
# cat 332/smp_affinity
可見,以上設備是一個使用雙核cpu的設備,因為smp_affinity的值是3,系統(tǒng)默認每個中斷可以由兩個cpu進行處理。
本章內(nèi)容結束。接下來的計劃:
Linux中斷(interrupt)子系統(tǒng)之二:arch相關的硬件封裝層
Linux中斷(interrupt)子系統(tǒng)之三:中斷流控處理層
Linux中斷(interrupt)子系統(tǒng)之四:驅(qū)動程序接口層
Linux中斷(interrupt)子系統(tǒng)之五:軟件中斷(softirq)
評論