在蘇州舉辦的GTC CHINA 2019大會(huì)上，NVIDIA創(chuàng)始人兼CEO黃仁勛宣布了全新版本的Isaac(應(yīng)該取自艾薩克·牛頓)軟件開(kāi)發(fā)套件(SDK)，建立了一個(gè)統(tǒng)一的機(jī)器人開(kāi)發(fā)平臺(tái)，提供更新的AI感知、仿真、操控功能。

Isaac SDK套件包括提供應(yīng)用程序框架的Isaac Robotics Engine，預(yù)先構(gòu)建的深度神經(jīng)網(wǎng)絡(luò)模型、算法、庫(kù)、驅(qū)動(dòng)程序和API Isaac GEM，用于室內(nèi)物流的參考應(yīng)用程序，以及提供導(dǎo)航功能的Isaac Sim(首個(gè)版本)。

NVIDIA表示，全新的Isaac SDK可以大大加快研究人員、開(kāi)發(fā)人員、初創(chuàng)企業(yè)和制造商開(kāi)發(fā)和測(cè)試機(jī)器人的速度，使機(jī)器人能夠通過(guò)仿真獲得由人工智能技術(shù)驅(qū)動(dòng)的感知和訓(xùn)練功能，從而可以在各種環(huán)境和情況下對(duì)機(jī)器人進(jìn)行測(cè)試和驗(yàn)證，從而節(jié)省成本。

為了加快AI機(jī)器人的開(kāi)發(fā)速度，Isaac SDK包含了各種基于攝像頭的感知深度神經(jīng)網(wǎng)絡(luò)，比如：

－ 對(duì)象檢測(cè)：識(shí)別用于導(dǎo)航、交互或操控的對(duì)象

－ 自由空間分割：檢測(cè)和分割外部世界，例如確定人行道在哪里，以及機(jī)器人可以在哪里行駛

－ 3D姿態(tài)估計(jì)：了解目標(biāo)的位置和方向，從而實(shí)現(xiàn)諸如機(jī)械臂拾取物體的任務(wù)

－ 2D人體姿態(tài)估計(jì)：將姿態(tài)估計(jì)應(yīng)用于人，這對(duì)于與人互動(dòng)的機(jī)器人（例如配送機(jī)器人）和協(xié)作機(jī)器人（專門設(shè)計(jì)用于與人合作）非常重要

Isaac SDK的對(duì)象檢測(cè)也通過(guò)ResNet深度神經(jīng)網(wǎng)絡(luò)進(jìn)行了更新，可以使用NVIDIA的遷移學(xué)習(xí)工具包對(duì)其進(jìn)行訓(xùn)練，添加新對(duì)象進(jìn)行檢測(cè)和訓(xùn)練新模型變得更容易，這些新模型能以較高的準(zhǔn)確度啟動(dòng)并運(yùn)行。

借助新版SDK，還可以使用Isaac Sim訓(xùn)練機(jī)器人，并將所生成的軟件部署到在現(xiàn)實(shí)世界中運(yùn)行的真實(shí)機(jī)器人中，大大加快機(jī)器人的開(kāi)發(fā)速度，從而實(shí)現(xiàn)綜合數(shù)據(jù)的訓(xùn)練。

通過(guò)仿真，開(kāi)發(fā)人員可以在困難或異常等極端情況下對(duì)機(jī)器人進(jìn)行測(cè)試，以進(jìn)一步加強(qiáng)對(duì)它的訓(xùn)練。將這些結(jié)果輸入訓(xùn)練管道，使神經(jīng)網(wǎng)絡(luò)可以基于真實(shí)和模擬數(shù)據(jù)來(lái)提高準(zhǔn)確性。

全新SDK也提供了多機(jī)器人仿真，可將多個(gè)機(jī)器人放入仿真環(huán)境中進(jìn)行測(cè)試，以便它們學(xué)會(huì)彼此相關(guān)的工作。各個(gè)機(jī)器人可以在共享的虛擬環(huán)境中移動(dòng)時(shí)，運(yùn)行獨(dú)立版本的Isaac導(dǎo)航軟件堆棧。

最后，如果開(kāi)發(fā)人員已經(jīng)開(kāi)發(fā)了自己代碼的機(jī)器人，全新Isaac SDK也能集成他們的工作，并有基于C編程語(yǔ)言的新API，開(kāi)發(fā)人員可以將自己的軟件堆棧連接到Isaac SDK，并最大程度地減少編程語(yǔ)言轉(zhuǎn)換，為用戶提供通過(guò)C API訪問(wèn)路由的Isaac功能。

C-API訪問(wèn)權(quán)限同時(shí)支持開(kāi)發(fā)人員在其他編程語(yǔ)言中使用Isaac SDK。

Isaac WebSight

Isaac項(xiàng)目上，NVIDIA已經(jīng)與清華、北大等國(guó)內(nèi)多所高校、科研機(jī)構(gòu)和企業(yè)達(dá)成了合作。

在發(fā)布會(huì)現(xiàn)場(chǎng)，黃仁勛還演示了一款名為“Leonardo”的物體操縱機(jī)器人，體現(xiàn)了快速平滑的動(dòng)作、6D姿態(tài)感知、交互式行為生成，在模擬和現(xiàn)實(shí)世界中通過(guò)學(xué)習(xí)，成為一個(gè)真正意義上的機(jī)器人。

Leonardo的仿真訓(xùn)練空間名為Isaac Gym，模擬了RGB、景深攝像頭和Franka機(jī)器人傳動(dòng)裝置。盡管是模擬世界，它依然遵循真實(shí)物理規(guī)則，并運(yùn)行于NVIDIA GPU PhysX 5.0物理引擎之上。