深度學(xué)習(xí)模型的云邊協(xié)同訓(xùn)練和部署*
*基金項(xiàng)目:安徽省科技重大專項(xiàng)項(xiàng)目,基于5G通信的運(yùn)化視覺檢測(cè)系統(tǒng)研發(fā)(202003a05020002)。
本文引用地址:http://cafeforensic.com/article/202212/442005.htm0 引言
從“工業(yè)4.0”到“中國(guó)制造2025”,在國(guó)家大力提倡和發(fā)展工業(yè)生產(chǎn)智能制造的環(huán)境下,人工智能工業(yè)質(zhì)檢解決方案將全面賦能工業(yè)生產(chǎn)制造。目前視覺檢測(cè)系統(tǒng)憑借其獨(dú)特的優(yōu)勢(shì)逐漸替代人工檢測(cè)方式,廣泛應(yīng)用于生產(chǎn)流水線中。與傳統(tǒng)方式相比,深度學(xué)習(xí)可以在訓(xùn)練過程中自學(xué)習(xí)相關(guān)屬性,省去特征工程環(huán)節(jié),識(shí)別精度更高、更加靈活。
深度學(xué)習(xí)模型的訓(xùn)練往往要進(jìn)行大量數(shù)據(jù)的處理工作,對(duì)硬件的內(nèi)存和計(jì)算能力要求較高,因此需要在資源充足的數(shù)據(jù)中心完成。在視覺檢測(cè)系統(tǒng)中,檢測(cè)器本身從硬件成本和檢測(cè)實(shí)時(shí)性考慮,都不適合充當(dāng)數(shù)據(jù)中心。而在工廠內(nèi)各車間、產(chǎn)線部署服務(wù)器單獨(dú)進(jìn)行模型訓(xùn)練,既效率低,也無法實(shí)現(xiàn)模型的統(tǒng)一管理和部署。收集大量的樣本數(shù)據(jù)送往云端數(shù)據(jù)中心進(jìn)行模型訓(xùn)練則存在兩個(gè)主要的弊端。一方面,將所有產(chǎn)線數(shù)據(jù)傳輸?shù)皆贫藭?huì)給核心網(wǎng)絡(luò)帶來沉重負(fù)擔(dān),造成服務(wù)延時(shí)。另一方面,大量的原始數(shù)據(jù)通過廣域網(wǎng)傳輸容易泄露用戶數(shù)據(jù)隱私,違背用戶意愿。
隨著工業(yè)互聯(lián)網(wǎng)和邊緣計(jì)算[2]的發(fā)展,將云邊協(xié)同[3]技術(shù)應(yīng)用到深度學(xué)習(xí)模型的訓(xùn)練和部署,可以解決目前工業(yè)質(zhì)檢領(lǐng)域深度學(xué)習(xí)模型訓(xùn)練[4]和部署方法的不足,使模型的訓(xùn)練和部署更加安全、高效、智能化、低成本。
1 系統(tǒng)架構(gòu)組成
為了推動(dòng)工業(yè)質(zhì)檢領(lǐng)域深度學(xué)習(xí)技術(shù)的應(yīng)用,本文提供了一種深度學(xué)習(xí)模型的云邊協(xié)同訓(xùn)練和部署方法,為了實(shí)現(xiàn)上述目的采用如下技術(shù)方案,通過工業(yè)視覺檢測(cè)系統(tǒng)實(shí)現(xiàn)檢測(cè)模型的自動(dòng)化訓(xùn)練和部署,具體系統(tǒng)架構(gòu)組成如下。
1)如圖1 所示,工業(yè)視覺檢測(cè)系統(tǒng)包括檢測(cè)器、邊緣服務(wù)器、中心云服務(wù)器組成。
2)如圖2 所示,中心云服務(wù)器Web 應(yīng)用執(zhí)行分布式任務(wù)處理。在收到控制終端的控制命令后,發(fā)布異步任務(wù)(訓(xùn)練或部署模型),發(fā)布定時(shí)任務(wù)更新任務(wù)執(zhí)行進(jìn)度,任務(wù)信息立即放入消息隊(duì)列中,任務(wù)執(zhí)行單元從消息隊(duì)列中依次取出任務(wù)執(zhí)行,并存儲(chǔ)執(zhí)行結(jié)果。
3)如圖3 所示,模型訓(xùn)練任務(wù)流程。模型的訓(xùn)練配置數(shù)據(jù),包括訓(xùn)練集、驗(yàn)證集生成器配置、模型尺寸、迭代次數(shù)、分類種類配置,以及數(shù)據(jù)預(yù)處理、預(yù)訓(xùn)練權(quán)重、回調(diào)函數(shù)、模型微調(diào)等項(xiàng)目配置,通過前端傳遞到中心云服務(wù)器后端,后端將任務(wù)消息放入Redis 隊(duì)列,任務(wù)執(zhí)行單元從隊(duì)列取出并解析任務(wù)信息,向保持長(zhǎng)連接的邊緣服務(wù)器發(fā)送任務(wù),同時(shí)開啟定時(shí)任務(wù),獲取任務(wù)執(zhí)行進(jìn)度,如圖4 所示。邊緣服務(wù)器接收到任務(wù)之后,采集相應(yīng)檢測(cè)器存儲(chǔ)的原始數(shù)據(jù),采集完成后按照任務(wù)要求,開展模型訓(xùn)練,如圖5 所示。在回調(diào)函數(shù)中每次訓(xùn)練Batch 開始的時(shí)候記錄訓(xùn)練進(jìn)度、模型精度和損失值,向中心云服務(wù)器定時(shí)返回模型訓(xùn)練進(jìn)度和訓(xùn)練效果。模型訓(xùn)練完成,可自動(dòng)上傳至中心云服務(wù)器進(jìn)行進(jìn)一步的評(píng)估測(cè)試。
圖4 中心云服務(wù)器模型訓(xùn)練配置界面
圖5 邊緣服務(wù)器模型訓(xùn)練執(zhí)行界面
4)如圖6 所示,模型部署任務(wù)流程。模型的部署配置數(shù)據(jù),包括指定產(chǎn)線、指定檢測(cè)器、指定品牌模型等項(xiàng)目配置,通過前端傳遞到中心云服務(wù)器后端,后端將任務(wù)消息放入Redis 隊(duì)列,任務(wù)執(zhí)行單元從隊(duì)列取出并解析任務(wù)信息,向保持長(zhǎng)連接的邊緣服務(wù)器發(fā)送任務(wù),同時(shí)開啟定時(shí)任務(wù),獲取任務(wù)執(zhí)行進(jìn)度。邊緣服務(wù)器接收到任務(wù)之后,向指定檢測(cè)器發(fā)送訓(xùn)練好的模型文件。向中心云服務(wù)器定時(shí)返回模型下發(fā)進(jìn)度。檢測(cè)器接收完成模型文件,放入指定的品牌參數(shù)文件夾下,檢測(cè)器執(zhí)行加載模型。邊緣服務(wù)器向中心云服務(wù)器返回模型部署成功消息。
通過上面具體實(shí)施方式,所述技術(shù)領(lǐng)域的技術(shù)人員可容易地實(shí)現(xiàn)本發(fā)明。但是應(yīng)當(dāng)理解,本發(fā)明并不限于上述的具體實(shí)施方式。在公開的實(shí)施方式的基礎(chǔ)上,所述技術(shù)領(lǐng)域的技術(shù)人員可任意組合不同的技術(shù)特征,實(shí)現(xiàn)不同的技術(shù)方案。
2 部署方法
云邊協(xié)同的模型訓(xùn)練和部署方法操作步驟如下:
1)檢測(cè)器由工控機(jī)、單片機(jī)、圖像采集通訊組件、光源控制電路、編碼器信號(hào)采集電路等部分組成,工廠內(nèi)各產(chǎn)線檢測(cè)器調(diào)用深度學(xué)習(xí)模型對(duì)產(chǎn)品質(zhì)量進(jìn)行實(shí)時(shí)檢測(cè),此外檢測(cè)器還負(fù)責(zé)將歷史數(shù)據(jù)傳送到該產(chǎn)線的邊緣服務(wù)器中。
2)邊緣服務(wù)器與中心云服務(wù)器保持長(zhǎng)連接,在收到中心云服務(wù)模型訓(xùn)練命令后,解析命令,獲取任務(wù)參數(shù)信息,采集指定檢測(cè)器存儲(chǔ)數(shù)據(jù),進(jìn)行模型訓(xùn)練。同時(shí)定時(shí)更新訓(xùn)練進(jìn)度、訓(xùn)練精度、訓(xùn)練損失值等過程信息給中心云服務(wù)器。
3)邊緣服務(wù)器與中心云服務(wù)器保持長(zhǎng)連接,在收到中心云服務(wù)模型部署命令后,解析命令,向檢測(cè)器下發(fā)訓(xùn)練好的模型文件。同時(shí)定時(shí)更新模型下發(fā)進(jìn)度、檢測(cè)器加載模型進(jìn)度等過程信息給中心云服務(wù)器。
4)中心云服務(wù)器搭建Web 應(yīng)用,接收用戶的遠(yuǎn)程控制,向中心云服務(wù)器發(fā)送模型訓(xùn)練和部署命令,以及接收中心云服務(wù)器返回信息,向用戶顯示任務(wù)執(zhí)行情況。
3 結(jié)束語
通過云邊協(xié)同的方式訓(xùn)練和部署深度學(xué)習(xí)模型,可以實(shí)現(xiàn)模型更加便捷地發(fā)布到檢測(cè)設(shè)備,確保生產(chǎn)車間數(shù)據(jù)不出廠,降低了網(wǎng)絡(luò)負(fù)載和數(shù)據(jù)泄露風(fēng)險(xiǎn)。同時(shí),充分利用邊緣服務(wù)器硬件資源,可視化和自動(dòng)化的深度學(xué)習(xí)模型訓(xùn)練和部署,有利于推動(dòng)深度學(xué)習(xí)在智能制造、工業(yè)質(zhì)檢領(lǐng)域的商業(yè)化應(yīng)用?;谶@種檢測(cè)方法可以開發(fā)出應(yīng)用于各種工業(yè)視覺檢測(cè)系統(tǒng),具有廣泛的應(yīng)用空間。
參考文獻(xiàn):
[1] 曲春光.分布式深度學(xué)習(xí)訓(xùn)練優(yōu)化設(shè)計(jì)與實(shí)現(xiàn)[D].重慶:西南大學(xué),2020:14-17.
[2] 劉建甌.基于邊緣計(jì)算的計(jì)算和網(wǎng)絡(luò)融合系統(tǒng)架構(gòu)設(shè)計(jì)和實(shí)現(xiàn)[D].西安:西安電子科技大學(xué),2020:17-19.
[3] 崔羽飛,張?jiān)朴?張第,等.基于云邊協(xié)同的工業(yè)互聯(lián)網(wǎng)實(shí)踐[J].電信科學(xué).2020(2):110-115.
[4] 王海川.面向邊緣智能的模型訓(xùn)練服務(wù)部署和任務(wù)卸載研究[D].合肥:中國(guó)科學(xué)技術(shù)大學(xué),2020:16-33.
(本文來源于《電子產(chǎn)品世界》雜志2022年12月期)
評(píng)論