軟銀公司與日本慶應(yīng)義塾大學(xué)（Keio University）OMAE實(shí)驗(yàn)室合作，于2025年2月在慶應(yīng)義塾大學(xué)藤澤校區(qū)（位于神奈川縣藤澤市，SFC）啟動(dòng)了其遠(yuǎn)程自動(dòng)駕駛支持系統(tǒng)的實(shí)地試驗(yàn)項(xiàng)目。在此次試驗(yàn)中，在邊緣AI服務(wù)器AITRAS上運(yùn)行的遠(yuǎn)程自動(dòng)駕駛支持系統(tǒng)以及“交通理解多模態(tài)AI”，二者在支持自動(dòng)駕駛運(yùn)行方面的效用得到了評(píng)估。試驗(yàn)場景模擬了車輛在轉(zhuǎn)彎時(shí)自動(dòng)駕駛系統(tǒng)發(fā)生故障的情形，而且試驗(yàn)結(jié)果證實(shí)，該遠(yuǎn)程自動(dòng)駕駛支持系統(tǒng)成功讓車輛自動(dòng)駕駛至安全停車位置。

 

有關(guān)該遠(yuǎn)程自動(dòng)駕駛支持系統(tǒng)的概述

 

該款由軟銀研發(fā)的遠(yuǎn)程自動(dòng)駕駛系統(tǒng)通過5G網(wǎng)絡(luò)，將安裝在自動(dòng)駕駛汽車前置攝像頭捕捉到的實(shí)時(shí)畫面?zhèn)鬏斨吝吘堿I服務(wù)器AITRAS。該款感知AI系統(tǒng)，在邊緣AI服務(wù)器中、配備了GPU（圖形處理單元）的NVIDIA加速計(jì)算平臺(tái)上運(yùn)行，能夠基于傳輸?shù)漠嬅婵焖僮R(shí)別障礙物和路面狀況，并將處理結(jié)果實(shí)時(shí)反饋至自動(dòng)駕駛汽車，從而實(shí)現(xiàn)對(duì)自動(dòng)駕駛功能的實(shí)時(shí)支持。此外，AI處理流程采用了英偉達(dá)DeepStream SDK，其中集成了神經(jīng)網(wǎng)絡(luò)等復(fù)雜處理任務(wù)，以實(shí)現(xiàn)實(shí)時(shí)視頻分析與追蹤。

 

通過在邊緣AI服務(wù)器上集中執(zhí)行計(jì)算密集型AI處理任務(wù)，并僅將關(guān)鍵駕駛信息回傳至自動(dòng)駕駛車輛，該系統(tǒng)能夠在不要求車輛配備大量計(jì)算資源的情況下實(shí)現(xiàn)自動(dòng)駕駛支持。目前，該系統(tǒng)主要針對(duì)特定駕駛場景提供支持，但其未來目標(biāo)是為各種駕駛狀況提供支持。

 

實(shí)地試驗(yàn)樣例

 

作為在SFC開展的實(shí)地試驗(yàn)中的一個(gè)用例，研究人員進(jìn)行了一次評(píng)估試驗(yàn)，以驗(yàn)證當(dāng)自動(dòng)駕駛系統(tǒng)于彎道行駛時(shí)發(fā)生故障、無法確保連續(xù)安全駕駛時(shí)，在邊緣AI服務(wù)器上運(yùn)行的遠(yuǎn)程自動(dòng)駕駛支持系統(tǒng)能否實(shí)現(xiàn)與標(biāo)準(zhǔn)自動(dòng)駕駛系統(tǒng)相當(dāng)?shù)淖詣?dòng)駕駛表現(xiàn)。在該場景下，自動(dòng)駕駛系統(tǒng)的特定功能被特意禁用，而車輛在彎道行駛，由自動(dòng)駕駛支持系統(tǒng)來提供支持。該款感知AI系統(tǒng)基于自動(dòng)駕駛汽車攝像頭捕捉的畫面分析周圍環(huán)境，并將信息傳輸給車輛。此外，處于風(fēng)險(xiǎn)最小化控制模式下的自動(dòng)駕駛系統(tǒng)基于感知結(jié)果，可以規(guī)劃行駛路徑。該試驗(yàn)測(cè)試了在彎道視線受阻或探測(cè)到障礙物的情況下，車輛是否可以識(shí)別安全區(qū)域，并慢慢停下，而不是立即停下。

 

在此種情況，如果未能準(zhǔn)確識(shí)別車道或探測(cè)障礙物，車輛就會(huì)存在車道偏離或與障礙物相撞的風(fēng)險(xiǎn)。因此，必須實(shí)時(shí)識(shí)別可行駛區(qū)域和障礙物的位置，基于識(shí)別結(jié)果，確定合適的行駛路徑并提供相應(yīng)的控制命令。在此次實(shí)地試驗(yàn)中，借助運(yùn)行于邊緣AI服務(wù)器AITRAS上的遠(yuǎn)程自動(dòng)駕駛支持系統(tǒng)，研究人員們確認(rèn)了即使在彎道行駛且存在障礙物的情況下，仍可實(shí)現(xiàn)自動(dòng)駕駛功能。

 

與交通理解多模態(tài)AI集成在一起

 

通過將運(yùn)行于邊緣AI服務(wù)器AITRAS上的遠(yuǎn)程自動(dòng)駕駛支持系統(tǒng)與交通理解多模態(tài)AI技術(shù)集成在一起，自動(dòng)駕駛汽車即使在自動(dòng)駕駛系統(tǒng)或感知AI單獨(dú)無法應(yīng)對(duì)的復(fù)雜且不可預(yù)測(cè)的情況下，也能繼續(xù)平穩(wěn)行駛。該款交通理解多模態(tài)AI技術(shù)基于通用AI基礎(chǔ)模型打造，結(jié)合日本交通知識(shí)（包括交通手冊(cè)和交通法規(guī)）和常見駕駛場景、不可預(yù)測(cè)駕駛狀況中的風(fēng)險(xiǎn)因素及其適當(dāng)?shù)膽?yīng)對(duì)措施進(jìn)行了訓(xùn)練。該款A(yù)I基于從自動(dòng)駕駛汽車傳輸回來的駕駛錄像畫面和數(shù)據(jù)分析交通狀況，并能夠?qū)崟r(shí)口頭說明相關(guān)的風(fēng)險(xiǎn)和合適的應(yīng)對(duì)措施。因此，即使自動(dòng)駕駛汽車做出了錯(cuò)誤決策或表現(xiàn)了異常行為，該系統(tǒng)也能通過遠(yuǎn)程支持實(shí)現(xiàn)安全駕駛。

 

在SFC進(jìn)行的實(shí)地試驗(yàn)還包括評(píng)估“在人行橫道存在障礙物的情況下行駛”的場景。在該項(xiàng)試驗(yàn)中，該款交通理解多模態(tài)AI分析了交通風(fēng)險(xiǎn)，并生成了停車指令。而遠(yuǎn)程自動(dòng)駕駛支持系統(tǒng)將結(jié)果傳輸給自動(dòng)駕駛汽車，以評(píng)估其是否能夠慢慢地安全停下。評(píng)估結(jié)果顯示，在邊緣AI服務(wù)器AITRAS上運(yùn)行的該系統(tǒng)，可實(shí)現(xiàn)向自動(dòng)駕駛汽車低延遲傳輸停車指令；還證實(shí)了與未使用邊緣AI服務(wù)器AITRAS的場景相比，該車能夠在障礙物前安全地停下。

 

軟銀將通過持續(xù)學(xué)習(xí)現(xiàn)實(shí)駕駛環(huán)境中不可預(yù)測(cè)的駕駛風(fēng)險(xiǎn)以及相對(duì)應(yīng)的應(yīng)對(duì)措施，以提升其交通理解多模態(tài)AI的準(zhǔn)確性。此外，未來軟銀計(jì)劃利用其遠(yuǎn)程自動(dòng)駕駛支持系統(tǒng)和交通理解多模態(tài)AI實(shí)現(xiàn)完全無人駕駛汽車的運(yùn)行。軟銀將持續(xù)支持提升自動(dòng)駕駛汽車的安全性、降低運(yùn)營成本、解決相關(guān)挑戰(zhàn)，同時(shí)推動(dòng)自動(dòng)駕駛的社會(huì)化應(yīng)用研發(fā)。