盤點(diǎn)在使用openvino過程中遇到的一些問題,如何解決的-第1篇
1. 問題:跑前向推斷的時候都沒有報(bào)錯,跑到這一步ie_exec_network_create_infer_request(exe_network, &infer_request);的時候,也不報(bào)錯,也沒有l(wèi)og,直接就退出了,可能是什么原因?
本文引用地址:http://cafeforensic.com/article/202203/432548.htm建議:在推理的輸入階段報(bào)錯的話,建議查看是否是openvino環(huán)境沒有配置好,導(dǎo)致IEplugin加載失???或者推理硬件比如cpu沒有指定?
2. 問題:不知道infer_request->Infer();這一步為啥執(zhí)行這么久
onnx用yolov5自帶的detect檢測0.1s,轉(zhuǎn)了IR后用C++ openvino推理就3s多了
建議:有可能是模型轉(zhuǎn)換過程中層的問題,可以用openvino直接推理onnx來對比下推理延遲
回復(fù):和IR文件的推理差別大不大
回復(fù):還是不太熟vino的api,C++推理自己的模型寫起來很吃力
3. 問題:檢測框很多可能是啥原因啊
建議:你的blob輸出有問題,是人臉檢測嗎?你查看下代碼,檢測到再繪矩形框
回復(fù):不是人臉,就是簡單的5分類目標(biāo)檢測
結(jié)論:我看了blob,和yolo預(yù)訓(xùn)練的還真不一樣,yolov5s的blob
我自己的模型
4. 問題:請教個大家個問題,使用opencv模板匹配( matchTemplate)除了肉眼看有匹配上,還有沒有別的方式來判斷匹配上還是沒有匹配上,需要一個返回值
建議:printf大法
5. 問題:這兩天被openvino折磨的不行了
答:是安裝嗎
回復(fù):不是,主要還是model optimizer, 經(jīng)常導(dǎo)出錯誤, 還有推理的時候的設(shè)置, 目前在11代nuc上, 部署yolov5s,幀率在70-50浮動,也不知道怎么穩(wěn)定
答:你做邊緣計(jì)算用nuc嗎
為了兼容其他環(huán)境,英偉達(dá)那套cpu確實(shí)不夠用, 包也少
nuc拿來搞這個真的性價(jià)比真的一言難盡
回復(fù):確實(shí),核顯也就那樣
6. 問題:amd cpu 能用OpenVINO嗎?
答:其實(shí)openvino可以用,但是加速沒那么明顯,我5800h推理yolov5s用openvino感覺只有20fps不到,i7 1165g7卻有30fps
答:cpu amd核顯性能其實(shí)很好的,但是沒有配套軟件,真要cpu,建議試試tf
答:openvino基于oneapi,oneapi是intel自己的硬件統(tǒng)一平臺,所以使用intel硬件能帶來不小的性能提升
答:據(jù)說現(xiàn)在都是建議amd處理器配nv的ai單元或xilinx fpga,讓這兩個跑ai去,amd適配ai軟件還有些不足
7. 問題:有人遇到過這個問題嗎?
答:我遇過,后面降版本就沒報(bào)錯了
8. 問題:我把這個代碼在ubuntu下和win下跑,win下耗時比ubuntu多得多,這是為什么?操作系統(tǒng)不一樣也有差異嗎
同一臺電腦裝的雙系統(tǒng)
答:有一臺沒有用核顯
9. 問題:運(yùn)行demo_security_barrier_camera demo的時候報(bào)錯 CMake Error: Could not create named generator Visual Studio,有知道怎么解決的嗎,網(wǎng)上搜了一下修改bat路徑,但是沒有解決
建議:如果別的demo也無法正常運(yùn)行的話,問題可能出在你的配置環(huán)境有問題,https://www.bilibili.com/video/BV1Wy4y1m7wg?spm_id_from=333.999.0.0,這是Dylan錄制的windows系統(tǒng)openvino安裝教程,可以看看哪一步出錯了
10. 問題:我這里按照官方文檔安裝工具包,到這一步并沒有文檔里的目錄路徑。是我安裝少了什么嗎?我最終的目的就是想用download.py下載一些模型用,不用來開發(fā),只下載模型跑自己的性能測試
建議:出現(xiàn)這個問題,應(yīng)該是安裝沒成功。建議刪除opt里邊的ov相關(guān)目錄,重新安裝試試
11. 問題:請問有人知道程序卡在LoadNetwork是什么原因嗎
建議:Openvino的demo執(zhí)行推理可以運(yùn)行成功嗎?如果可以說明環(huán)境配置是沒有問題的,問題可能出在你的代碼上,建議先排查一下這個,定位一下問題
12. 問題:openvino能直接下載onnx模型嗎
建議:可以的。你可以在github或者gitee搜索openvino倉庫,找到open-model-zoo,然后下來該源碼,就可以執(zhí)行相關(guān)操作了
13. 問題:我這Release缺少幾個lib,網(wǎng)上沒找到解決方案,你們可以發(fā)一下lib文件嗎
建議:去官網(wǎng)下載
14. 問題:請問 open-model中的模型文件要怎么調(diào)用啊,要轉(zhuǎn)換為IR模型才可以嗎?
建議:是的,要轉(zhuǎn)換為IR文件才能使用,轉(zhuǎn)換也比較簡單。
這樣就可以完成轉(zhuǎn)換
回復(fù):謝謝,我大致明白了。先要把模型文件下載下來,下載后可以直接用。測試了它自己帶的語音識別的例子,C++的可以,PYTHON的用的時候,老是說ASR啟動有問題。可能PYTHON解析DLL的時候有問題,但路徑啥的都是對的。可能是缺DLL依賴的別的動態(tài)庫
15. 問題:推理報(bào)錯,什么原因?
建議:看報(bào)錯應(yīng)該是opencv的環(huán)境有問題,檢查一下環(huán)境,openvino自帶的demo可以運(yùn)行嗎?
16. 問題:那個 openvino的項(xiàng)目編譯完,exe和部署腳本生成的文件搬到另一臺沒裝框架的windows電腦,有辦法調(diào)用集顯加速嗎
建議:環(huán)境遷移的話理論上如果你把所有的編譯生成的相關(guān)動態(tài)文件都拷貝過去是可以的。不過你如果不太清楚環(huán)境配置的話,是比較復(fù)雜的。建議你可以采取一個更方便安全的方式,就是使用openvino的container版本,這樣可以不同機(jī)器上無縫遷移。
17. 問題:我在使用openvino+c++部署onnx時,release能編譯通過且能運(yùn)行,在debug下編譯不能通過,有遇到同樣問題的嗎?
建議:可能是ov環(huán)境變量初始化的問題,建議你查看下openvino的自帶的build腳本,看它怎么寫的
18. 問題:win10環(huán)境下安裝好CUDA,環(huán)境也配置好了,命令行輸入nvcc -V,結(jié)果輸出nvcc不是內(nèi)部或外部命令,有沒有大佬知道該怎么解決嗎?
建議:其實(shí)CUDA不算openvino的問題。如果環(huán)境配置確定沒問題,重啟一下應(yīng)該就可以了。windows一般都需要重啟才能加載到環(huán)境。
評論