|
邊緣智能應(yīng)用實(shí)驗(yàn)平臺(tái)
一、 基礎(chǔ)功能：
1. 實(shí)驗(yàn)平臺(tái)為一體化教學(xué)實(shí)驗(yàn)平臺(tái)，是以認(rèn)知教學(xué)、技術(shù)教學(xué)、應(yīng)用教學(xué)來(lái)展開(kāi)學(xué)生多維度能力層次培養(yǎng)的教學(xué)解決方案。滿足人工智能認(rèn)知、基礎(chǔ)應(yīng)用開(kāi)發(fā)等課程的實(shí)驗(yàn)教學(xué)。
2. 實(shí)驗(yàn)平臺(tái)基于邊緣計(jì)算框架設(shè)計(jì)，須具有單獨(dú)AI計(jì)算加速能力，支持多sensor輸入，具有POE受電的千兆網(wǎng)絡(luò)。集成豐富的硬件接口，包括藍(lán)牙/WIFI、4G、5G、PCIE、擴(kuò)展GPIO等接口，且須內(nèi)置多種算法API（目標(biāo)檢測(cè)、人臉識(shí)別、人臉屬性分析、車牌識(shí)別等）。
二、 平臺(tái)硬件資源
1． 邊緣計(jì)算終端：
1） 處理器內(nèi)核：處理器不少于五核，至少包含不低于雙核Cortex-A72和三核Cortex-A53。（提供圖片蓋章佐證）
2） GPU處理器不少于雙核；
3） NPU:須支持8bit/16bit運(yùn)算，須支持TensorFlow、Pytorch模型，運(yùn)算性能不低于3.0TOPs；
4） 終端搭載內(nèi)存≥4GB DDR4,存儲(chǔ)≥32GB EMMC5.1。
5） 終端搭載Emmc5.1存儲(chǔ)器，容量不低于32GB。
6） 有線通信：千兆以太網(wǎng)口，須支持POE受電；
7） 無(wú)線通信:需支持藍(lán)牙及雙頻WiFi。藍(lán)牙需要支持 5.0，支持 class1，class2和class3功率級(jí)傳輸，調(diào)制方式: GFSK，π/4-DQPSK,8DPSK;WiFi需滿足IEEE802.11 a/b/g/n/ac 2x2 MIMO；
8） 須支持M.2接口的無(wú)線4G/5G模塊擴(kuò)展；（提供圖片蓋章佐證）
9） 串行接口：須支持RS232/RS485；（提供圖片蓋章佐證）
10） USB口：不少于2個(gè)USB 3.0 HOST的TYPE-A接口；（提供圖片蓋章佐證）；
11） 板載擴(kuò)展：須可接1*I2S、2*I2C、ADC1_CHO、ADC1_CH1，3路電源（5V\3.3V）（提供圖片蓋章佐證）
12） 視頻編解碼：須支持4K VP9 and 4K 10bits H265/H264 視頻解碼，高達(dá)60fps；1080P 多格式視頻解碼 (WMV, MPEG-1/2/4, VP8)，支持6路1080P@30fps解碼；1080P 視頻編碼，支持H.264，VP8格式，須支持2路1080P@30fps編碼；視頻后期處理器：反交錯(cuò)、去噪、邊緣/細(xì)節(jié)/色彩優(yōu)化。
13） 智能視頻處理：須支持實(shí)時(shí)圖像縮放、裁剪、格式轉(zhuǎn)換、旋轉(zhuǎn)等功能；
14） 視頻接口輸出: 1路HDMI2.0(Type-A)接口，須支持4K/60fps輸出；1路MIPI接口，須支持1920*1080@60fps輸出；
15） 音頻接口：不少于1路HDMI音頻輸出；不少于1路Speaker，喇叭輸出；不少于1路耳麥，用于音頻輸入輸出；不少于1路麥克風(fēng)，板載音頻輸入；
2． 高清攝像頭模塊：
1) 模塊須搭載不低于800萬(wàn)像素工業(yè)級(jí)無(wú)畸變攝像頭。
2) 支持自動(dòng)曝光控制AEC。
3) 支持自動(dòng)增益控制AGC。
4) 支持自動(dòng)白平衡。
5) 支持自動(dòng)對(duì)焦功能。
3． 麥克風(fēng)陣列
1) Sensor數(shù)量≥6；
2) 輸入電壓不大于12V；
3) 音頻輸入 1*2pin；
4) 音頻輸出 1*USB 兼容燒寫(xiě)和通信口；
5) 工作電壓不大于3.3V；
6) 支持串口通信。
4． 指紋采集模塊
1) 模塊圖像大小256*288pixel。
2) 對(duì)比速度不高于6ms。
3) 圖像處理時(shí)間（s）<0.4(S)。
4) 上電延時(shí)（s）<0.1(S)。
5) 搜索時(shí)間（s）<0.3(S)。
6) 拒真率<1%。
7) 認(rèn)假率<0.001%。
8) 指紋存容量不少于300枚。
5． 人體測(cè)溫模塊
1) 工作電壓支持3V~5V；
2) 環(huán)境溫度支持10~40°C；
3) 分辨率：0.1°C
4) 最大允許誤差:
35.0°℃~43.0℃范圍以內(nèi)，±0.2℃
32.0°℃~43.0°℃范圍以內(nèi)，0.3℃"
6． 執(zhí)行器模塊
a) 紅、藍(lán)、綠燈各1個(gè)。
b) 風(fēng)扇1個(gè)。
7． 圖像識(shí)別實(shí)驗(yàn)?zāi)K
1) 模塊須配備不低于2個(gè)人偶模型。
2) 模塊須配備不低于3種動(dòng)物種類模型，至少包括貓、奶牛、狗動(dòng)物。
3) 模塊須配備不低于2種水果模型，至少包括蘋(píng)果和香蕉。
4) 模塊須配備不低于2種交通工具模型，至少包括汽車和摩托車。
8． 實(shí)驗(yàn)器材收納模塊
模塊須配置具有防震、防摔、收納功能的收納箱，支持IP67防水防塵，支持耐溫最低到-10℃最高到80℃。
三、 平臺(tái)軟件資源：
1、 操作系統(tǒng)：
1) 邊緣計(jì)算終端須支持linux嵌入式操作系統(tǒng)，滿足嵌入式操作系統(tǒng)教學(xué)。
2) 邊緣計(jì)算終端須內(nèi)置Python3.0以上板本的運(yùn)行環(huán)境，滿足Python 的AI教學(xué)。
3) 邊緣計(jì)算終端須內(nèi)置QT、PYQT5的運(yùn)行環(huán)境，滿足AI的可視化教學(xué)。
4) 邊緣計(jì)算終端須內(nèi)置語(yǔ)音喚醒、語(yǔ)音識(shí)別、語(yǔ)音合成、語(yǔ)音播報(bào)的離線SDK，滿足AI的語(yǔ)音技術(shù)應(yīng)用教學(xué)。
5) 邊緣計(jì)算終端內(nèi)置的AI算法至少包括目標(biāo)檢測(cè)、人臉識(shí)別、車牌識(shí)別、人臉多屬性分析、人體骨骼關(guān)鍵點(diǎn)檢測(cè)，滿足AI的基礎(chǔ)應(yīng)用與開(kāi)發(fā)教學(xué)。（提供功能截圖蓋章佐證）
6) 邊緣計(jì)算終端須內(nèi)置人臉多屬性分析算法，具有不少于2個(gè)維度的分析結(jié)果，比如（表情、是否佩戴眼鏡、是否佩戴口罩、年齡、性別）；（提供功能截圖蓋章佐證）
7) 邊緣計(jì)算終端須內(nèi)置人體骨骼關(guān)鍵點(diǎn)檢測(cè)算法，具有不少于16個(gè)關(guān)鍵點(diǎn)的檢測(cè)。（提供功能截圖蓋章佐證）
2、 端側(cè)應(yīng)用軟件：
1) 應(yīng)用軟件具有不少于5個(gè)內(nèi)置AI算法應(yīng)用，程序界面應(yīng)包括攝像頭調(diào)用、圖像采集、算法調(diào)用、結(jié)果呈現(xiàn)等功能與代碼對(duì)照教學(xué)演示，可展開(kāi)關(guān)鍵技術(shù)分解教學(xué)。在認(rèn)知和關(guān)鍵步驟上進(jìn)行實(shí)際操作，滿足AI的通識(shí)教學(xué)（提供功能截圖蓋章佐證）。展開(kāi)的內(nèi)置AI算法應(yīng)用至少包括物品分類識(shí)別、物品目標(biāo)檢測(cè)、人臉識(shí)別、車牌識(shí)別和人臉屬性識(shí)別。
2) 應(yīng)用系統(tǒng)應(yīng)不少于3個(gè)人工智能綜合項(xiàng)目案例，滿足AI行業(yè)應(yīng)用實(shí)驗(yàn)教學(xué)。
3、算法模型訓(xùn)練工具：
提供可視化模型訓(xùn)練工具，支持學(xué)生零代碼構(gòu)建高精度模型,支持檢測(cè)預(yù)訓(xùn)練模型，載入標(biāo)注后的數(shù)據(jù)后，工具提供“數(shù)據(jù)預(yù)處理”、“數(shù)據(jù)生產(chǎn)”、“訓(xùn)練參數(shù)配置”、“模型訓(xùn)練”和“模型驗(yàn)證”功能（提供功能截圖蓋章佐證）。訓(xùn)練好的模型無(wú)需交叉編譯可直接部署到邊緣計(jì)算終端進(jìn)行端側(cè)推理驗(yàn)證。
4、虛擬仿真實(shí)訓(xùn)軟件：
虛擬仿真實(shí)訓(xùn)軟件是一款功能強(qiáng)大的三維物理仿真平臺(tái)，具備強(qiáng)大的物理引擎、高質(zhì)量的圖形渲染、方便的編程與圖形接口。
1）動(dòng)力學(xué)仿真：支持多種高性能的物理引擎，例如ODE、Bullet、SimBody、DART等。
2）三維可視化環(huán)境：支持顯示逼真的三維環(huán)境，包括光線、紋理、影子。
3）傳感器仿真：支持傳感器數(shù)據(jù)的仿真，同時(shí)可以仿真?zhèn)鞲衅髟肼暋?br>
4）可擴(kuò)展插件：支持用戶可以定制化開(kāi)發(fā)插件，擴(kuò)展系統(tǒng)功能，滿足個(gè)性化的需求。
5）多種機(jī)器人模型：內(nèi)置不少于三款機(jī)器人模型，包含智能移動(dòng)機(jī)器人、智能搬運(yùn)機(jī)器人、智能復(fù)合巡檢機(jī)器人等多種機(jī)器人模型（提供圖片蓋章佐證）。
6）終端工具：支持用戶可以使用命令行工具在終端實(shí)現(xiàn)仿真控制。
7）具備虛擬仿真實(shí)驗(yàn)功能，通過(guò)軟件可以運(yùn)行巡線駕駛、倒車入庫(kù)、交通標(biāo)識(shí)識(shí)別、障礙物識(shí)別等虛擬仿真實(shí)驗(yàn)案例。（提供功能截圖蓋章佐證）。
8）虛擬仿真實(shí)訓(xùn)系統(tǒng)支持開(kāi)展ROS相關(guān)實(shí)驗(yàn)，如定位與地圖構(gòu)建、路徑規(guī)劃與導(dǎo)航、機(jī)器人運(yùn)動(dòng)規(guī)劃與控制等。
四、 平臺(tái)資源
平臺(tái)須配套不少于兩門的課程資源，至少包含《嵌入式人工智能技術(shù)應(yīng)用》、《邊緣智能計(jì)算應(yīng)用》兩門課程。
1、《嵌入式人工智能技術(shù)應(yīng)用》
教學(xué)資源須配套《嵌入式人工智能技術(shù)應(yīng)用》課程實(shí)訓(xùn)指導(dǎo)手冊(cè)、教學(xué)PPT、教學(xué)視頻、案例源碼及數(shù)據(jù)集等內(nèi)容。
1）需滿足不低于64課時(shí)教學(xué)。
2）符合項(xiàng)目式教學(xué)模式，每個(gè)項(xiàng)目圍繞某一領(lǐng)域工作任務(wù)或知識(shí)點(diǎn)開(kāi)展，每個(gè)項(xiàng)目中包含2-4個(gè)實(shí)操任務(wù)，每個(gè)實(shí)操任務(wù)滿足約2個(gè)課時(shí)的實(shí)操教學(xué)。
3）提供不低于16份實(shí)訓(xùn)指導(dǎo)手冊(cè)，每份實(shí)訓(xùn)指導(dǎo)手冊(cè)匹配一項(xiàng)實(shí)操任務(wù)，若該實(shí)操任務(wù)采用JupyterNotebook方式開(kāi)展，該實(shí)訓(xùn)指導(dǎo)手冊(cè)可以.ipynb格式文件提供，若不是，可以word或pdf格式文件提供。
4）提供不低于16份教學(xué)視頻，對(duì)實(shí)操任務(wù)的教學(xué)過(guò)程進(jìn)行講解，講解過(guò)程清晰，涵蓋實(shí)操任務(wù)完整過(guò)程。
5）提供不低于16份教學(xué)PPT。根據(jù)教學(xué)內(nèi)容配套，教學(xué)課件內(nèi)容須貼合實(shí)際教學(xué)。
6）提供相關(guān)案例源碼及數(shù)據(jù)集文件。
7）教學(xué)資源內(nèi)容須涵蓋但不限于以下內(nèi)容：
使用OpenCV實(shí)現(xiàn)人臉檢測(cè)、使用計(jì)算機(jī)視覺(jué)算法實(shí)現(xiàn)圖像識(shí)別、利用串口實(shí)現(xiàn)邊緣硬件控制、基于人臉檢測(cè)算法實(shí)現(xiàn)家用設(shè)備的控制、基于計(jì)算機(jī)視覺(jué)技術(shù)實(shí)現(xiàn)稻麥監(jiān)測(cè)系統(tǒng)、基于語(yǔ)音識(shí)別實(shí)現(xiàn)智能家居控制、基于人臉屬性檢測(cè)的疫情防控應(yīng)用開(kāi)發(fā)。
2、《邊緣智能計(jì)算應(yīng)用》
教學(xué)資源須配套《邊緣智能計(jì)算應(yīng)用》課程實(shí)訓(xùn)指導(dǎo)手冊(cè)、教學(xué)PPT、教學(xué)視頻、案例源碼及數(shù)據(jù)集等內(nèi)容。
1) 需滿足不低于64課時(shí)教學(xué)。
2) 符合項(xiàng)目式教學(xué)模式，每個(gè)項(xiàng)目圍繞某一領(lǐng)域工作任務(wù)或知識(shí)點(diǎn)開(kāi)展，每個(gè)項(xiàng)目中包含2-4個(gè)實(shí)操任務(wù)，每個(gè)實(shí)操任務(wù)滿足約2個(gè)課時(shí)的實(shí)操教學(xué)。
3) 提供不低于14份實(shí)訓(xùn)指導(dǎo)手冊(cè)，每份實(shí)訓(xùn)指導(dǎo)手冊(cè)匹配一項(xiàng)實(shí)操任務(wù)，若該實(shí)操任務(wù)采用JupyterNotebook方式開(kāi)展，該實(shí)訓(xùn)指導(dǎo)手冊(cè)可以.ipynb格式文件提供，若不是，可以word或pdf格式文件提供。
4) 提供不低于14份教學(xué)視頻，對(duì)實(shí)操任務(wù)的教學(xué)過(guò)程進(jìn)行講解，講解過(guò)程清晰，涵蓋實(shí)操任務(wù)完整過(guò)程。
5) 提供不低于14份教學(xué)PPT。根據(jù)教學(xué)內(nèi)容配套，教學(xué)課件內(nèi)容須貼合實(shí)際教學(xué)。
6) 提供相關(guān)案例源碼及數(shù)據(jù)集文件。
7) 教學(xué)資源內(nèi)容須涵蓋但不限于以下內(nèi)容：
a.邊緣計(jì)算開(kāi)發(fā)板基礎(chǔ)應(yīng)用：開(kāi)發(fā)板介紹及應(yīng)用案例體驗(yàn)、基于OpenCV的USB攝像頭的使用。
b.邊緣計(jì)算算法SDK應(yīng)用：目標(biāo)檢測(cè)算法接口應(yīng)用、人臉識(shí)別算法接口應(yīng)用、人體關(guān)鍵點(diǎn)算法接口應(yīng)用、車牌識(shí)別算法接口應(yīng)用。
c.基于TensorFlow的圖像上色模型部署：基于TensorFlow的圖像彩色化、TensorFlow模型轉(zhuǎn)RKNN模型并進(jìn)行預(yù)測(cè)。
d.基于Pytorch目標(biāo)檢測(cè)模型部署：基于Pytorch的YOLOv5模型訓(xùn)練及轉(zhuǎn)換、ONNX模型文件轉(zhuǎn)RKNN模型文件、基于YOLOv5的實(shí)時(shí)檢測(cè)模型部署。
e.基于TFLite的手掌檢測(cè)模型部署：基于Mediapipe的手勢(shì)識(shí)別模型轉(zhuǎn)換、基于RKNN模型的手掌檢測(cè)、邊緣端手掌檢測(cè)應(yīng)用的部署和運(yùn)行。
介于實(shí)訓(xùn)系統(tǒng)的特殊性
|
