東芝運(yùn)用圖像識(shí)別技術(shù),在CEATEC會(huì)場(chǎng)現(xiàn)場(chǎng)演示了利用圖像推測(cè)人體姿勢(shì)進(jìn)行動(dòng)作捕捉的“活動(dòng)捕獲術(shù) SHADOW”。此技術(shù)使用了“Integral Image”等幾種特殊技術(shù)。下面就來詳細(xì)報(bào)道一下具體的處理過程。
首先,處理過程如下。
(1) 拍攝彩色圖像:拍攝240×320像素的彩色圖像。
(2) 分離出人物影像:以背景圖像的色調(diào)(綠色)信息為依據(jù),分離出背景以外的區(qū)域。此次演示假定,背景外的區(qū)域內(nèi)只有一人。因此,除了背景之外所有的區(qū)域都是人物影像。這樣就可以得出背景部分的像素值為零,人物區(qū)域?yàn)?的2值圖像。
(3) 對(duì)比姿勢(shì)數(shù)據(jù):將這種2值圖像與姿勢(shì)數(shù)據(jù)庫(kù)進(jìn)行比對(duì),從姿勢(shì)數(shù)據(jù)庫(kù)中的4萬個(gè)姿勢(shì)的數(shù)據(jù)(28個(gè)關(guān)節(jié)角度數(shù)據(jù))中篩選出最接近的圖像。
。4) 畫出CG人物:以(3)中篩選出圖像的姿勢(shì)對(duì)應(yīng)的關(guān)節(jié)角度數(shù)據(jù)為依據(jù)畫出CG。
此次使用的系統(tǒng)每秒可以進(jìn)行10次判斷,所以Cell每l00ms進(jìn)行一次處理。處理過程中最繁重的是檢索姿勢(shì)。雖說僅是進(jìn)行人物區(qū)域的圖像的相關(guān)演算,但是將240×320像素的圖像與數(shù)據(jù)庫(kù)中4萬張圖像直接做比對(duì)的話,即使使用的是高速的Cell,也很難進(jìn)行實(shí)時(shí)識(shí)別。
通過Integral Image提高比較速度
因此,東芝這次在人物影像的比對(duì)過程中做了兩方面的努力。首先,為了提高對(duì)比速度,采用了被稱作“Integral Image”的方法。Integral Image首先提前算出某一區(qū)域內(nèi)的像素總和,這次比對(duì)過程中算出了各行像素和。利用Integral Image,可以使相關(guān)演算的量降至幾百分之一。另外,姿勢(shì)數(shù)據(jù)庫(kù)再將根據(jù)關(guān)節(jié)角度數(shù)據(jù)畫出的CG模型進(jìn)行平面投影,生成人物影像的圖像。
其次,將姿勢(shì)數(shù)據(jù)庫(kù)中相似的姿勢(shì)排列成3層樹結(jié)構(gòu)。樹的最上層按大體的姿勢(shì)分成幾類,首先對(duì)這一層進(jìn)行比對(duì)、篩選。判斷結(jié)果出來后再進(jìn)行下一層的對(duì)比。檢索處理中,樹結(jié)構(gòu)的每一分枝都由Cell的七個(gè)SPE分別處理,是并行處理。
更多相關(guān): AV集成
©版權(quán)所有。未經(jīng)許可,不得轉(zhuǎn)載。