現(xiàn)狀分析:
如何構(gòu)建一體化智能人機(jī)交互系統(tǒng),方便開(kāi)展模式識(shí)別和機(jī)器學(xué)習(xí)等課程,增強(qiáng)實(shí)驗(yàn)課程的趣味性和實(shí)用性,是人機(jī)交互平臺(tái)的難點(diǎn)。
設(shè)計(jì)思想:
關(guān)鍵技術(shù):
中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所(以下簡(jiǎn)稱沈自所)成立于1958年,長(zhǎng)期從事機(jī)器人、智能制造和光電信息技術(shù)相關(guān)的研究。作為中國(guó)機(jī)器人事業(yè)的搖籃,在中國(guó)機(jī)器人事業(yè)發(fā)展歷史上創(chuàng)造了二十多個(gè)第一,引領(lǐng)中國(guó)機(jī)器人技術(shù)的研究發(fā)展,解決了國(guó)家制造業(yè)發(fā)展一系列重大關(guān)鍵技術(shù)問(wèn)題。
肌電交互系統(tǒng)的關(guān)鍵問(wèn)題是意圖解碼的準(zhǔn)確性和穩(wěn)定性。沈自所研發(fā)的智能肌電交互系統(tǒng),基于python語(yǔ)言實(shí)現(xiàn)UI交互界面、信號(hào)采集和處理、機(jī)器人控制的一體化平臺(tái)構(gòu)建,方便使用機(jī)器學(xué)習(xí)方法進(jìn)行二次開(kāi)發(fā),為模式識(shí)別、信號(hào)處理等課程的相關(guān)實(shí)驗(yàn)奠定了良好的基礎(chǔ)。為了加速計(jì)算機(jī)和人工智能等相關(guān)專業(yè)的基礎(chǔ)理論和實(shí)際應(yīng)用的方面人才的培養(yǎng)提供助力。
產(chǎn)品特點(diǎn)
PRODUCT FEATURES
肌電交互系統(tǒng)以肌電假手、二至七自由度機(jī)械臂、外骨骼以及智能假肢等機(jī)器人為被控對(duì)象,并配備簡(jiǎn)潔的人機(jī)交互界面。采用模塊化設(shè)計(jì)理念,具有理實(shí)一體、操作簡(jiǎn)單、趣味性強(qiáng)、易于擴(kuò)展等特點(diǎn),極大的提高師生的參與程度,為實(shí)驗(yàn)室建設(shè)提供多用途、層次豐富、省空間、安全易用、易于擴(kuò)展的肌電交互系統(tǒng)。
平臺(tái)以手勢(shì)識(shí)別與交互為目的,主要流程包括信號(hào)產(chǎn)生、信號(hào)采集、信號(hào)預(yù)處理、特征提取和模式識(shí)別,離線訓(xùn)練的模型用于在線的控制決策上,實(shí)現(xiàn)對(duì)機(jī)器人的控制,從實(shí)踐中一步一步加深對(duì)肌電識(shí)別原理的理解。以交互平臺(tái)為擴(kuò)展,支持機(jī)械臂、肌電假手、外骨骼、智能假肢等多樣化機(jī)器人控制。以項(xiàng)目開(kāi)發(fā)為驅(qū)動(dòng),強(qiáng)化肌電交互系統(tǒng)的實(shí)踐性、實(shí)用性和通用性。結(jié)合學(xué)生興趣愛(ài)好,選擇合適的交互被控對(duì)象,開(kāi)發(fā)肌電交互小游戲,使學(xué)生達(dá)到理論聯(lián)系實(shí)際、活學(xué)活用的培養(yǎng)目標(biāo)。
平臺(tái)配備有簡(jiǎn)潔的人機(jī)交互界面,肌電信號(hào)采集、預(yù)處理、離線訓(xùn)練、在線識(shí)別通過(guò)點(diǎn)擊界面對(duì)應(yīng)按鈕即能實(shí)現(xiàn)。肌電采集時(shí)會(huì)顯示動(dòng)作教學(xué)圖片,指導(dǎo)使用者做出相應(yīng)的動(dòng)作,并且界面還具備顯示肌電信號(hào)的功能,供使用者直觀感受肌電采集過(guò)程。
為了增加同學(xué)們的學(xué)習(xí)興趣,肌電交互平臺(tái)配備了肌電控制抓取以及剪刀石頭布等互動(dòng)游戲。其中肌電控制抓取指通過(guò)自身肌電信號(hào)控制一個(gè)六自由度機(jī)械臂和肌電假手對(duì)物品進(jìn)行抓取與擺放,與工業(yè)生產(chǎn)中設(shè)定軌跡不同的是,此處的抓取與擺放過(guò)程完全由自身控制,使同學(xué)們時(shí)時(shí)刻刻都能感受到操控的樂(lè)趣。石頭剪刀布游戲是通過(guò)肌電交互系統(tǒng)模仿現(xiàn)實(shí)生活中的游戲場(chǎng)景,同學(xué)可以通過(guò)石頭剪刀布和肌電假手進(jìn)行實(shí)時(shí)的互動(dòng),增強(qiáng)同學(xué)通過(guò)肌電交互的體驗(yàn)。
在肌電交互系統(tǒng)中,被控對(duì)象可以是各式各樣的機(jī)器人。目前我們支持二到七自由度的全球主流機(jī)械臂(包括ABB、KUKA、UR、Fanuc、愛(ài)普生、Yaskawa、大象等等)或自主研發(fā)的機(jī)械臂、肌電假手、智能假肢、外骨骼等等,可按需進(jìn)行選擇。以及支持在各系統(tǒng)操作,比如Windows、Linux、Mac等。并支持肌電融合視覺(jué)、觸覺(jué)進(jìn)行交互式開(kāi)發(fā)。
實(shí)驗(yàn)內(nèi)容
PRODUCT FEATURES
模式識(shí)別
基礎(chǔ)實(shí)驗(yàn):
高級(jí)實(shí)驗(yàn):
sEMG信號(hào)處理:
通過(guò)識(shí)別肌電信號(hào),操控假手以及機(jī)械臂配合來(lái)達(dá)到抓取以及擺放物品的目的.如下圖14:
通過(guò)肌電交互系統(tǒng)模仿現(xiàn)實(shí)生活中的游戲場(chǎng)景,開(kāi)發(fā)一些互動(dòng)小游戲,比如石頭剪刀布等
比如通過(guò)患者的肌電信號(hào)控制智能假肢運(yùn)動(dòng),來(lái)達(dá)到患者操控假肢的目的,具體原理如下圖所示