全新的智能感知方案,安森美半導(dǎo)體助力自動駕駛發(fā)展
從第一次工業(yè)革命機(jī)械化到第二次工業(yè)革命電力化,到第三次工業(yè)革命計算機(jī)數(shù)字化,到現(xiàn)在第四代工業(yè)革命人工智能化、信息化。人工智能對人類社會的方方面面的影響和改變是遠(yuǎn)遠(yuǎn)超過計算機(jī)數(shù)字工業(yè)革命帶來的改變。斯坦福大學(xué)人工智能專家,“人工智能之父”Andrew Ng認(rèn)為人工智能是新的電力,就像第二次工業(yè)革命電力給整個人類帶來的一個巨大的深入改變;數(shù)據(jù)是人工智能的動力和發(fā)動機(jī),感知是數(shù)據(jù)的燃料。
本文引用地址:http://cafeforensic.com/article/202010/418988.htm為推動AI和第四次工業(yè)革命的進(jìn)步,安森美半導(dǎo)體在感知上做了非常久的投入,包括圖像感知,多光譜、高光譜的感知,激光雷達(dá)感知、毫米波雷達(dá)感知、傳感器融合深度感知。9月25日,安森美半導(dǎo)體召開“智能感知策略及方案”在線媒體交流會,安森美半導(dǎo)體智能感知部全球市場和應(yīng)用工程副總裁易繼輝向電子產(chǎn)品世界等媒體介紹了,公司在智能感知方面的新進(jìn)展和策略。
圖像傳感器:技術(shù)先進(jìn) 性能優(yōu)越
圖像傳感器示意圖
上圖是圖像傳感器的內(nèi)部結(jié)構(gòu),看起來像是高樓大廈,一共有六層,都是由半導(dǎo)體制成。市場上有一個誤區(qū),認(rèn)為GPU和CPU是半導(dǎo)體里挑戰(zhàn)性和難度最高的,實際上和傳感器相比它是小巫見大巫。因為GPU和CPU里,它所要對付的主要在電子(Electron);但在圖像傳感器里,既要對付電子又要對付光子,光子和電子的結(jié)合使圖像傳感器變成非常復(fù)雜的半導(dǎo)體。未來還有更多芯片可以疊加起來,加上一些更智能化的,包括人工智能都可以直接放在圖像傳感器里。
圖像傳感的光電轉(zhuǎn)換過程:光子打進(jìn)來以后轉(zhuǎn)換成電核,變成電信號,就相當(dāng)于下雨時拿著水桶接雨,水桶越大接的雨量越大;同樣,容積越大,光子轉(zhuǎn)化成電子的電容、電荷量就越多。安森美半導(dǎo)體利用新技術(shù),在傳統(tǒng)小像素旁邊開個大的蓄水池,把多余的電荷流到這邊,從而使整個光強量、信息量提高,動態(tài)范圍增加。此技術(shù)多用在端攝影機(jī)里,比如好萊塢著名導(dǎo)演李安拍攝《少年派的奇幻漂流》使用的ARRI公司攝影機(jī),就是用的安森美半導(dǎo)體的圖像傳感器?,F(xiàn)在,安森美逐漸將這個技術(shù)轉(zhuǎn)入汽車行業(yè),汽車的傳感器;接下來會逐漸轉(zhuǎn)入到工業(yè)機(jī)器視覺和其他領(lǐng)域。
Hayabusa系列產(chǎn)品用了這個技術(shù)以后,一次曝光就能實現(xiàn)95dB;經(jīng)過多次曝光可以達(dá)到120dB;未來的平臺,下一代的產(chǎn)品一次曝光有望達(dá)到110dB,多次曝光可以達(dá)到140dB。
100dB的寬動態(tài)是什么概念?以下圖為例,這是夜晚經(jīng)常碰到的場景,在這個場景下,車燈的寬動態(tài)范圍是102dB。如果傳感器只是70dB,這種場景很多細(xì)節(jié)是看不出來的。比如旁邊有一個行人,如果傳感器的寬動態(tài)不夠,不到100dB,是看不出來這有一個行人;若用在機(jī)器視覺,可能偵探不到有一個行人在車子旁邊。而安森美的110dB傳感器完全可以提供非常詳細(xì)的信息。
汽車感知的挑戰(zhàn)與方案
汽車感知的挑戰(zhàn)主要體現(xiàn)在成像上,具體來說有三個方面:
? 一是寬動態(tài)。大家開車的經(jīng)驗經(jīng)常是,路的方向是固定的,在路上開車時沒有辦法控制太陽什么時候在哪個方向,有的時候就需要逆著太陽開。在自動駕駛時,這樣的情況對攝像頭的要求就非常得高。大家也有許多的經(jīng)驗,在強光下,因為光線太強了,周圍一片黑,什么都看不見;從暗到亮,從車庫、隧道出來,如果寬動態(tài)不夠,可能根本沒有辦法看到或者只能看到暗處,或者只能看到亮處。
? 二是環(huán)境條件,車要能在東北零下幾十度的環(huán)境開,也能夠在沙漠開或者南方高溫條件下開。
? 三是對圖像傳感器來說很獨特的挑戰(zhàn):辨別LED指示牌、交通燈?,F(xiàn)在包括中國、歐洲、美國、日本、其他國家在公路上都已經(jīng)開始實行電子管控牌,都是用LED,對人來講非常舒服,老遠(yuǎn)就看得清清楚楚,很明亮,特別是夜晚。但這樣的LED因為閃爍頻率沒有標(biāo)準(zhǔn),不一樣。所以,圖像傳感器有的時候容易因為頻率不同步,經(jīng)常捕捉不到信號。對駕駛員人眼來看沒有太大問題,但對機(jī)器視覺就是很大的挑戰(zhàn)。過去的方案都是在軟件里來解決,現(xiàn)在解決方案都已經(jīng)做到芯片級了,做到硬件里面去直接解決掉。
汽車自動駕駛成像的多樣化,包括外部感知、內(nèi)部感知、增強視覺。外部感知非常復(fù)雜,包括遠(yuǎn)近、大小車輛、自行車;行人,大人、小孩、老人;一些路標(biāo)、車線,斑馬線,交通燈;要全天候的,白天,晚上,刮風(fēng),下雨,下雪,霧天;各個季節(jié),春、夏、秋、冬都要能夠?qū)崿F(xiàn)這樣的感知,環(huán)境非常多樣化。
內(nèi)部感知,從最早只是對駕駛員的疲勞監(jiān)控(從看駕駛員眼睛的注意力和睫毛的抖動偵查出是否疲勞),逐漸地擴(kuò)大到駕駛員有沒有在用手機(jī),有沒有分散精力,有沒有系好安全帶,還進(jìn)一步擴(kuò)大到乘客的感知。這也是一個未來新興市場。
視覺增強,主要是為了給駕駛員和乘客提供更好的視覺感知,包括電子后視鏡,不需要回頭就能在后視鏡直接看到真正的電子圖像;而且這種疊加,特別是把高清地圖和真實路況疊加起來,告訴你前面哪里有加油站,哪里有重要的景點,哪里有紅綠燈。這些都是視覺增強的應(yīng)用,讓駕駛員能夠更安全地駕駛。
針對智能駕駛艙解決方案,安森美半導(dǎo)體有兩款百萬像素的解決方案,在業(yè)界很受歡迎。該公司的AR0144AT在整個業(yè)界用量是最大的一款。智能駕駛艙里的一個挑戰(zhàn)是,目前的攝像頭尺寸太大了,18×18cm3,最小的也是3×3cm3,安森美半導(dǎo)體和合作伙伴一起開發(fā)了0.5×0.5cm3非常小型的攝像頭,放在車?yán)锍丝?、駕駛員基本上都不會看得到。
當(dāng)然,安森美半導(dǎo)體不光只是提供單一的產(chǎn)品,比如圖像傳感器和信號處理器(ISP),還提供很多其他的器件,包括二極管、LDO、電源管理IC。同時,安森美半導(dǎo)體的一個獨特優(yōu)勢是,在設(shè)計新的下一代圖像處理器時,可以和其他產(chǎn)品部門合作,來探討怎么樣開發(fā)相應(yīng)的電子產(chǎn)品、器件,使攝像頭能夠達(dá)到最優(yōu)化。這是其他圖像處理器公司沒有辦法做到的。
安森美半導(dǎo)體能夠給客戶提供一站式的服務(wù)以及最優(yōu)化的系統(tǒng)設(shè)計方案,再加上悠久的生產(chǎn)汽車元器件的歷史,其他元器件的車規(guī)、功能安全已經(jīng)能夠?qū)崿F(xiàn)ASIL-B程度。安森美半導(dǎo)體的元器件都是按照公司統(tǒng)一的質(zhì)量系統(tǒng),擁有統(tǒng)一的可靠性能,統(tǒng)一的售后服務(wù)提供給客戶。
作為在行業(yè)內(nèi)第一個先做起生態(tài)系合作伙伴系統(tǒng)的公司,安森美半導(dǎo)體目前已經(jīng)開發(fā)超過50家合作伙伴,從光學(xué)鏡片到信號處理器,I/O、Interface接口、SoC處理器、軟件系統(tǒng),都已經(jīng)有很多的合作伙伴。
工業(yè)機(jī)器視覺和邊緣AI
工業(yè)4.0、工業(yè)自動化、人工智能使機(jī)器視覺市場快速發(fā)展,特別是在國內(nèi)。邊緣人工智能不斷地、幾乎每年會出現(xiàn)一些新領(lǐng)域,比如新零售,智慧農(nóng)業(yè)、畜牧業(yè)和農(nóng)業(yè)都開始了智能化。一些新興設(shè)備,特別是在新冠狀病毒以后的后疫情時期有一些大的趨勢:
? 一是遠(yuǎn)程化。遠(yuǎn)程教學(xué)、遠(yuǎn)程醫(yī)療會越來越普遍。
? 二是無人化,例如無人送貨車、無人商店,減少人和人之間的接觸,即無接觸化。不需要開門抓手把,不需要去推門,減少一些傳染。
? 還有一方面就是COVID-19的檢測,安森美半導(dǎo)體和世界上很多公司都在合作開發(fā)COVID-19病毒檢測設(shè)備。
1.3英寸固定尺寸的圖像傳感器的發(fā)展趨勢
上圖是1.3英寸固定尺寸的圖像傳感器在這些年的發(fā)展趨勢。從圖上可以看出,一是同樣圖像傳感器的分辨率在逐年提升,從過去的200萬像素,500萬,800萬,1200萬,現(xiàn)在達(dá)到超過2000萬。二是噪聲導(dǎo)數(shù),相當(dāng)于圖像質(zhì)量,在同樣大小的尺寸下的圖像傳感器逐年隨著像素的增大,圖像質(zhì)量也是不斷地提高。三是帶寬也是在逐年提高,29×29mm2標(biāo)準(zhǔn)的工業(yè)用攝像頭,在十年以前可能只是200萬像素,后來逐漸增加到300萬、500萬、1200萬,今年已經(jīng)能夠用到1600萬像素。
安森美半導(dǎo)體的產(chǎn)品如上圖一樣都在逐代提高,性能的提高離不開靠技術(shù)的推動。安森美半導(dǎo)體在技術(shù)上有很深的積累:
? 全局快門,使在高速運動下使圖像不會有拖影。
? 內(nèi)校正,像素內(nèi)的校正,以前都是在系統(tǒng)里通過軟件校正,現(xiàn)在直接做到硬件里,像素內(nèi)部去做圖像校正。
? 工藝節(jié)點,從110納米到65納米,再到45納米,甚至更小,充分利用了摩爾定律的優(yōu)勢,即成本、尺寸、耗電量都在逐年下降。
? 背照式,在同樣尺寸下,分辨率越來越高,像素尺寸可能越來越小,感光量、感光度;特別是暗光下,性能可能就會降低,背照式就是用來提高感光能力。
? 堆棧架構(gòu),以后就不光是兩維空間了,而是三維,堆棧式,兩次堆棧,三次堆棧都有可能實現(xiàn)。
? 以后不光把模擬和數(shù)字信號放在第二層,甚至于人工智能一些算法放在第三層里,整個圖像傳感器就是高智能化的圖像傳感器。
安森美半導(dǎo)體的XGS系列圖像傳感器,從200萬像素一直到4500萬像素,有11款不同像素的產(chǎn)品。該系列有個最大的特點,客戶只需要兩塊線路板設(shè)計就能支撐11款不同的傳感器,相對于11個線路板就節(jié)省了大量的成本和時間。我該系列的產(chǎn)品性能有極大的提高,包括幀數(shù)、寬動態(tài)、暗電流。其中,29×29mm2這款攝像頭,創(chuàng)造了行業(yè)第一;它可以用到1600萬像素的攝像頭里。下面介紹幾個XGS系列圖像傳感器的具體應(yīng)用。
1.平板檢測
平板檢測是整個工業(yè)機(jī)器視覺行業(yè)中,對圖像傳感器最有挑戰(zhàn)性的應(yīng)用。它從1K、2K、4K一直到8K,像素在逐漸擴(kuò)大。檢測過程分兩步:第一步是暗檢測,上電前主要檢測一些指紋、劃痕和其他物理上的問題;第二步是上電以后,特別是在OLED,加上最新的AMOLED(Active Matrix OLED)。
LED是有一個亮板在后面作為發(fā)光源,而OLED,特別是AMOLED,它的每個像素都是一個單獨發(fā)光源。像素和像素之間發(fā)光的強度和色彩的均勻度都要能夠很準(zhǔn)確地偵測出來,這就對圖像傳感器的要求非常高。過去檢測LED面板上的1顆像素,對應(yīng)需要9顆像素(3×3),OLED則對應(yīng)需要16顆(4×4),甚至25顆(5×5)像素。所以對圖像傳感器的像素要求越來越高,從4,500萬要到1.5億像素,甚至超過2億像素。
2.監(jiān)控和廣播
另一個是廣播、監(jiān)控的應(yīng)用。在同樣的圖像質(zhì)量情況下,像素越大版面越大,如8K。下圖是安森美半導(dǎo)體的最新款4500萬像素的圖像傳感器,這款傳感器已經(jīng)被客戶選中,將來會用到東京奧林匹克的會場上。它還有一個很大的優(yōu)勢是速度非???,每秒60幀,12bit。
3.PCB檢測
在工業(yè)制造里,勞動生產(chǎn)率是降低成本很主要的因素,線路板檢測的勞動生產(chǎn)率,就是在固定單位時間內(nèi)所能檢測的線路板面積越大,勞動生產(chǎn)效率就會越高。相對圖像傳感器來講,單位時間內(nèi)收集信息量越大,生產(chǎn)效率就越高。安森美半導(dǎo)體的這款PCB檢測圖像傳感器是2100萬像素,競爭對手的是500萬像素和1300萬像素,信息采集量比競爭對手能大了4倍,能夠成倍地提高勞動生產(chǎn)率。
即將推出的4K傳感器
安森美半導(dǎo)體即將推出一款4K圖像傳感器,下圖是該產(chǎn)品的寬動態(tài)效果圖。這個場景人眼是完全不能看的,非常刺眼,眼睛睜不開。而這款圖像傳感器不光能夠看清場景,連燈絲都能看得非常清楚。而0.2cd/cm2光照量非常低和190,000cd/cm2光照量非常高的兩種情況并存時,兩處場景都能看到,這非常不容易,已經(jīng)超過了人眼能力。還有一個特點就是過渡噪聲非常小,黑暗與明亮交界的地方輪廓非常清晰。這樣清晰的數(shù)據(jù)給人工智能提供了大量的可靠數(shù)據(jù),在這種場景下,如果人工智能完全沒有辦法辨識和識別物體,這款傳感器就能夠提供更多的信息。
另外,這款傳感器還有很好的低照度能力,下圖是0.2勒克斯,幾乎非常暗的光線下能夠看得非常清楚。
激光雷達(dá)
激光雷達(dá)的傳統(tǒng)技術(shù)是APD,叫做雪崩光電二極管。它的缺點是體積大、功耗高、偵測距離范圍有限、一致性不好。安森美半導(dǎo)體用的技術(shù)叫做SiPM(硅光電倍增管),優(yōu)勢在于它的增益是APD的1萬倍,靈敏度是APD的2000倍,工作電壓要求非常低,只要30V,而APD要250V。它的一致性非常好,特別在大批量生產(chǎn)的時候可以批量化。
安森美半導(dǎo)體的激光雷達(dá)產(chǎn)品有單點的,例如在醫(yī)療、工業(yè)、汽車都有應(yīng)用;還有新開發(fā)出來的陣列,1×12或1×16,下一代的激光雷達(dá)都會用到這樣的產(chǎn)品。最新開發(fā)出來的叫做SPAD面陣,是400×100,已經(jīng)不是點云了,已經(jīng)和圖像傳感器差不多了,相當(dāng)于是一個圖像,將來完全可以實現(xiàn)有深度信息的圖像。
毫米波雷達(dá)
毫米波雷達(dá)的適用范圍有:L1、L2、L3、L4、L5。在不同自動駕駛的級別上有不同的應(yīng)用。安森美半導(dǎo)體的下一代毫米波雷達(dá)產(chǎn)品的重點是放在L3上。用的技術(shù)叫做“MIMO+”,是安森美半導(dǎo)體的專利,是新開發(fā)出來的技術(shù)。它能夠提供4D的信息,R是距離,V是速度,A是角度,E是高度,能夠提供四維信息,用于L3層級的自動駕駛。
與競爭對手相比,安森美半導(dǎo)體的MIMO+加上實際通道、虛擬通道,要比競爭對手多一倍的通道。同樣性能的毫米波雷達(dá),安森美的可以節(jié)省50%的mmIC器件、減少優(yōu)化控制器、線路板,降低總體成本。同時,還會開發(fā)雷達(dá)信號處理,安森美的對外聯(lián)接接口是按照行業(yè)標(biāo)準(zhǔn),不管是現(xiàn)有標(biāo)準(zhǔn)還是未來發(fā)展標(biāo)準(zhǔn)。
結(jié)語
安森美半導(dǎo)體未來的方向?qū)@3D成像、高光譜和多光譜成像三個方面,但現(xiàn)有的方案都是在系統(tǒng)上解決。比如3D就是雙目,兩個攝像頭,或者結(jié)構(gòu)光來解決;高光譜、多光譜,是用多個鏡頭或者多個相機(jī)在系統(tǒng)里合成。安森美半導(dǎo)體希望把這些困難和問題,在半導(dǎo)體層面用摩爾定律來解決,從而達(dá)到降低成本,縮小尺寸、降低功耗的目的。
評論