配備 NXP 神經(jīng)處理單元的康佳特 AI 入門套件
在生物工程應(yīng)用領(lǐng)域 (包括診斷、除顫器、微創(chuàng)外科手術(shù)中的實時影像),嵌入式集成的實現(xiàn)方式?jīng)Q定了 AI 系統(tǒng)的成敗。預(yù)配置的嵌入式模塊可幫助開發(fā)者更快為醫(yī)療應(yīng)用找到適用的解決方案。為此,康佳特開發(fā)了解決方案平臺,該平臺基于恩智浦(NXP) i.MX 8 Plus 處理器并配備了集成式神經(jīng)處理單元(NPU),讓它能夠像真人一樣協(xié)助護(hù)理病患。
用于恢復(fù)心率的除顫器
2021 年 6 月 12 日傍晚 6:43,整個足球界都屏住了呼吸:在丹麥與芬蘭的一場歐洲杯比賽中,丹麥球員Christian Eriksen 倒下了,他的心臟停止了跳動。幸運的是,醫(yī)生就在旁邊并迅速使用除顫器設(shè)備來挽救他的生命。現(xiàn)在,非專業(yè)醫(yī)療人員也可以操作它了。在現(xiàn)代計算機(jī)技術(shù)的支持下,AED(自動化體外除顫器)可被編程以進(jìn)行急救電擊,并以全自動的方式使心率恢復(fù)正常。用戶只需要把兩個粘性電極貼到右鎖骨和左腋窩之間,剩下的流程將由其內(nèi)置的處理器來控制和計算。NXP 的 i.MX 8 應(yīng)用處理器平臺就是其選用的內(nèi)建處理器。
具備 AI 計算機(jī)技術(shù)的 AED 可全自動地恢復(fù)病患的正常心率,從而拯救生命。
采用 NXP 處理器的生物工程學(xué)應(yīng)用
除了除顫器,使用 NXP 技術(shù)的電子醫(yī)療解決方案在醫(yī)學(xué)領(lǐng)域還有很多應(yīng)用,比如病患登記、分析和診斷、外科手術(shù)、病床護(hù)理等。為了提高采用 AI 的醫(yī)學(xué)應(yīng)用的效率,NXP 為其新款 i.MX 8MPlus 處理器配備了一個用于深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的神經(jīng)處理單元(NPU)。神經(jīng)形態(tài)處理器的設(shè)計靈感來自大腦的神經(jīng)網(wǎng)絡(luò),在圖形識別方面經(jīng)過優(yōu)化,在執(zhí)行此類任務(wù)時的耗電量比普通 CPU 要少。同時,這類低功耗 NPU 具有每秒數(shù)兆次的運算能力(TOPS),為智能電子醫(yī)療解決方案的開發(fā)者們開辟了新的可能。
提升病患福祉的全天候數(shù)字醫(yī)療助手
NPU 加速的 NXP i.MX 8M Plus 處理器能通過 AI 引擎達(dá)到 2.3TOPS 的運算能力,并具有 4 個 ArmCortex-A53 核心和 1 個用于傳統(tǒng)計算任務(wù)的 Arm Cortex-M7 控制器。它還具有一個圖像信號處理器(ISP),用于高分辨率圖片及視頻的并行實時處理。
由此,它能夠在圖像獲取階段預(yù)處理并準(zhǔn)備好成像數(shù)據(jù),讓NPU 更快地提供更清晰的結(jié)果。這對于需要實時高精度畫面信息的場合(例如各種成像操作和微創(chuàng)手術(shù))尤其有益。在麻醉機(jī)中,具備 AI 加速器的 i.MX 處理器也能幫助手術(shù)團(tuán)隊精準(zhǔn)地管控麻醉劑量。監(jiān)控設(shè)備會控制麻醉機(jī)的壓縮氣體的流動,氣體隨后會通過霧化器,最后的混合氣體則會通過病患的呼吸系統(tǒng)排出。
AI 嵌入式應(yīng)用配備了基于邊緣的實時圖像處理 AI,可協(xié)助醫(yī)生在手術(shù)室中執(zhí)行微創(chuàng)外科手術(shù)。
AI 在放射診斷學(xué)和病床護(hù)理中的用途
配備 AI 后,放射診斷設(shè)備能分析 X 光機(jī)和超聲波儀器的信息,并將這些信息用于診斷。例如,醫(yī)生在用 CT 掃描儀檢查肺部時,可以查看整個胸腔的情況,從而檢測出冠狀動脈的鈣化現(xiàn)象。在為病患規(guī)劃綜合治療方案并確定治療手段時,這些額外信息尤其有用。AI 系統(tǒng)會對比病患的數(shù)據(jù)和軟件中的參考數(shù)據(jù)。任何的不符和異常記錄都會以圖片形式被標(biāo)注,讓醫(yī)生能夠更深入地檢查相應(yīng)的部位。
在病床護(hù)理方面,具有 NPU 的處理器相當(dāng)于一個加強(qiáng)病患護(hù)理的數(shù)字助手。電子化操作的病床所配備的 AI 能夠記住讓病患舒適的位置,以及他們坐立或起床時所需的支撐力度。AI 應(yīng)用還能監(jiān)控生命體征,例如血壓、體溫或心電圖數(shù)據(jù),并控制輸液泵。這樣就能控制血液、藥劑、營養(yǎng)液等液體向病患循環(huán)系統(tǒng)的輸送。此外,AI 解決方案還能幫助醫(yī)務(wù)人員與病患交流,尤其是在病患因藥物狀況無法清晰說話的情況下。
簡化人機(jī)互動
通過觸屏、語音、增強(qiáng)現(xiàn)實(AR)設(shè)備來操控的醫(yī)用人機(jī)界面也受益于 AI。有了集成式 AI 處理器,不僅麻醉和病床護(hù)理時的病患監(jiān)控系統(tǒng)操作有所簡化,相關(guān)的早期警告系統(tǒng)也能被其激活,減輕醫(yī)生和護(hù)士的工作量。此外,AI 解決方案正廣泛用于病患入院時使用的入院登記機(jī)。它們可根據(jù)實時的血糖、肺部功能等生命體征數(shù)據(jù),為緊急入院情況下的醫(yī)務(wù)人員提供治療建議,從而避免危險的醫(yī)療事故。在未來,開發(fā)者還打算讓 AI 創(chuàng)建病患的數(shù)字孿生,對療法進(jìn)行虛擬測試,讓醫(yī)生能評估藥物或療法的潛在效果并減少風(fēng)險。
在所有這些用例中,重要的是醫(yī)療設(shè)備必須具有足夠的算力,用來自動記錄和評估信息。這就需要在手術(shù)室、急診部、ICU 病房中配備獨立于云端的 AI 邊緣系統(tǒng),避開云端的數(shù)據(jù)評估流程,從而減少延遲,讓設(shè)備在任何網(wǎng)絡(luò)環(huán)境下都能順暢運行
用于病患護(hù)理的緊湊型入門套件
為了在各種可能的 AI 應(yīng)用領(lǐng)域加快 i.MX 8M Plus 處理器的推廣,康佳特設(shè)計了一款入門套件,讓開發(fā)者能夠快捷、安全地實現(xiàn)邊緣生物工程類應(yīng)用。考慮到醫(yī)療應(yīng)用的復(fù)雜多樣,不言而喻,入門套件必須使嵌入式應(yīng)用完美適配。為此,康佳特開發(fā)了一款信用卡尺寸的 SMARC 2.1 計算機(jī)模塊,配備一個i.MX 8M Plus 處理器。其集成的 NPU 可加速 AI 邊緣推理的本地執(zhí)行,且無需持續(xù)連接云端。對于基于視覺的任務(wù),該模塊集成了硬件加速的視頻編碼和解碼功能并采用了尤為高效的 H.265 視頻壓縮標(biāo)準(zhǔn)。由此,即使是來自 2 個集成式 MIPI CSI 接口的高分辨率的視頻流,也能夠通過網(wǎng)絡(luò)直接傳輸?shù)?a title="中國其它網(wǎng)" href="http://m.dltyjz.cn/product/list.php?catid=1343" target="_blank">其它的電子醫(yī)療解決方案或醫(yī)院圖像存儲與傳輸系統(tǒng)(PACS)中。
透過 eIQ 實現(xiàn)定制化適配
在軟件方面,NXP 提供了“eIQ 機(jī)器學(xué)習(xí)”平臺。“eIQ”指邊緣智能。AI 系統(tǒng)的開發(fā)者可訪問一個為NXP 的微處理器和微控制器定制的開發(fā)環(huán)境,它囊括了各種庫和開發(fā)工具,還包括多種基于軟件的推理引擎,可將邏輯規(guī)則應(yīng)用于數(shù)據(jù)或信息,從而推理出新的發(fā)現(xiàn)。eIQ 支持多種推理引擎和庫,例如 Arm Neural Network (NN)和開源的 TensorFlow Lite 等。
來自 Basler 的 AI 觀察眼
用于各種具體應(yīng)用的設(shè)計是透過 3.5 英寸的載板來實現(xiàn)的。它相當(dāng)于數(shù)據(jù)通信的中央接口,將所有必要的外設(shè)連接到模塊。例如,它具有 2 個 MIPI CSI-2.0 接口,讓攝像頭無需額外的轉(zhuǎn)換模塊就能輕松連接。入門套件配備了 Basler dart BCON MIPI 攝像頭,但只要符合 MIPI CSI 標(biāo)準(zhǔn),在康佳特套件的支持下,也可選用其它 OEM 的攝像頭。在軟件方面,Basler pylon 攝像頭軟件套件還提供了一套統(tǒng)一的 SDK,用于 MIPI CSI-2.0 以外的接口,并允許通過 USB 3.0 或 GigE 接口來操控攝像頭。憑借集成式 Basler 軟件包,開發(fā)者可以方便地使用核心的 AI 視覺功能,例如觸發(fā)。這樣就能超快地提供定格畫面和高度差異化的攝像頭配置選項。不僅如此,軟件還為各種客戶提供了針對性的推理算法,它們基于Arm NN和TensorFlow Lite引擎,能夠完全發(fā)揮NPU的性能。
預(yù)配置的入門套件不僅能節(jié)省醫(yī)用視覺系統(tǒng)的開發(fā)時間,還采用了市面上成熟的技術(shù)和現(xiàn)行標(biāo)準(zhǔn),確保使用安全。Arm Cortex-A 處理器和 NPU 在醫(yī)療設(shè)備中相結(jié)合,在無需或僅需少量人為干預(yù)的情況下,即可通過傳感器數(shù)據(jù)得出正確結(jié)論,進(jìn)而做出智能決策。
AI 是全方位的醫(yī)務(wù)幫手
AI 已被用于醫(yī)學(xué)實習(xí)、醫(yī)院、護(hù)理設(shè)施,在各種環(huán)境下協(xié)助醫(yī)護(hù)人員完成重要任務(wù)。無論是否具備視覺處理功能,各種電子醫(yī)療解決方案都可通過 AI 協(xié)助的深度學(xué)習(xí)和機(jī)器學(xué)習(xí),被用于具體的應(yīng)用領(lǐng)域中。
面向 AI 視覺的康佳特入門套件集成了各種組件,采用 Basler dart 作為攝像頭、具有 2個 MIPI CSI接口的SMARC 2.1 載板作為傳輸接口,以及一個 SMARC 2.1 模塊作為處理器。
AI 視覺用的中央處理單元:conga-SMX8-Plus SMARC 2.1 模塊以僅僅6W 的 TDP(熱功耗)為邊緣設(shè)備賦予神經(jīng)形態(tài)智能
在探索 AI 的無限可能時,簡單快速的應(yīng)用開發(fā)至關(guān)重要,這使得康佳特預(yù)配置入門套件迅速脫穎而出,因為它們在加快開發(fā)流程的同時,還提供豐富的選擇,能夠充分發(fā)揮搭載了智能 NPU的邊緣處理器的算力。
作者: Martin Danzer, 德國康佳特產(chǎn)品管理總監(jiān)
