本文分享自天翼云開發(fā)者社區(qū)《nvme磁盤故障注入方法》，作者：曹****飛 

在存儲系統(tǒng)中，磁盤的故障是很可能出現(xiàn)的問題。存儲軟件的設(shè)計需要對故障進(jìn)行處理，提高系統(tǒng)的健壯性。然而磁盤的故障是不可控的，當(dāng)我們想測試軟件故障處理的分支時，不是很方便。用軟件模擬的方法能覆蓋的場景比較少，而且和實際故障的差距會比較大。因此，如果能讓故障下沉到磁盤，盡可能的靠近磁盤，才能構(gòu)造出盡可能真實的故障場景。本文針對nvme磁盤，在磁盤驅(qū)動這一層調(diào)研了幾種可以注入磁盤故障的方法。

1. write uncorrectable

通過向nvme控制器發(fā)送write uncor命令，標(biāo)記指定的LBA范圍為invalid，當(dāng)讀到這個LBA范圍時，ctrl會返回Unrecovered Read Error錯誤?？梢杂糜谀M讀的media error。如果要清除invalid狀態(tài)，需要向這個LBA范圍寫入數(shù)據(jù)，覆蓋調(diào)invalid標(biāo)記。

不過，write uncor命令不是所有廠家的盤都支持。如果不支持，會返回invalid op code錯誤。查看是否支持的方法，可以看controller數(shù)據(jù)結(jié)構(gòu)中的oncs->write_unc是否為1。

還有一個缺點是只能注入讀故障。

2. write protect

通過設(shè)置namespace的屬性，可以讓namespace寫保護(hù)，當(dāng)這個namespace收到寫請求時，會返回write error。

缺點是有的廠商的盤不支持這個屬性，而且只能注入寫故障。

3. 驅(qū)動層模擬故障

這是最通用的一種方法，可以構(gòu)造出各種故障。spdk的代碼中就實現(xiàn)了這一功能。下面詳細(xì)介紹下它的接口。

/**

 * \brief Inject an error for the next request with a given opcode.

 * \param ctrlr NVMe controller.

 * \param qpair I/O queue pair to add the error command,

 *  NULL for Admin queue pair.

 * \param opc Opcode for Admin or I/O commands.

 * \param do_not_submit True if matching requests should not be submitted

 * to the controller, but instead completed manually

 * after timeout_in_us has expired.  False if matching

 * requests should be submitted to the controller and

 * have their completion status modified after the

 * controller completes the request.

 * \param timeout_in_us Wait specified microseconds when do_not_submit is true.

 * \param err_count Number of matching requests to inject errors.

 * \param sct Status code type.

 * \param sc Status code.

 * \return 0 if successfully enabled, ENOMEM if an error command

 * structure cannot be allocated.

 * The function can be called multiple times to inject errors for different

 * commands. If the opcode matches an existing entry, the existing entry

 * will be updated with the values specified.

 */

int spdk_nvme_qpair_add_cmd_error_injection(struct spdk_nvme_ctrlr *ctrlr,

struct spdk_nvme_qpair *qpair,

uint8_t opc,

bool do_not_submit,

uint64_t timeout_in_us,

uint32_t err_count,

uint8_t sct, uint8_t sc)；

ctrlr: nvme盤的控制器數(shù)據(jù)結(jié)構(gòu)，每個盤有一個；

qpair: 注入故障的qpair，可以是io qpair，也可以是admin qpair。使用哪一種取決于希望在IO路徑上還是在管理路徑上產(chǎn)生故障；

opc: 操作類型，比如read，write等；

do_not_submit：如果是true，則這個opc的cmd不會提交到ctrl，而是在 timeout_in_us 到期后手動返回指定的sct，sc。如果是false，則這個opc的cmd會提交到ctrl，等ctrl返回cpl后，將sct和sc改成指定的sct，sc,回調(diào)的時候用改過的cpl。命令實際上是執(zhí)行成功的；

timeout_in_us：do_not_submit=true時有效，等待timeout_in_us后再返回sct，sc。范圍是(0-18446744073709551615)

err_count: 表示注入故障后，此后的多少個該opc的cmd會按照注入的故障來處理，每返回一個注入的故障，err_count減1。減為0的時候不再注入故障，但cmd也不會從 qpair->err_cmd_head 中摘除；

sct: 返回的狀態(tài)碼類型；

sc: 返回的狀態(tài)碼；

實現(xiàn)的原理是向指定qpair的err_cmd_head鏈表中添加一個錯誤的cmd，當(dāng)下個該類型的cmd提交到該qpair的時候在 _nvme_qpair_submit_request 中遍歷這個鏈表，處理這個cmd，強(qiáng)制修改cpl中的返回值，然后再調(diào)用回調(diào)，從而模擬故障。

使用此接口可以模擬出讀寫錯誤，IO hang住或超時的錯誤等，在開發(fā)測試中比較實用。