国产自产21区,亚洲97,免费毛片网,国产啪视频,青青青国产在线观看,国产毛片一区二区三区精品

專利名稱：信息處理方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)提供在攝像裝置上的標(biāo)記的關(guān)于該攝像裝置的放置信息進(jìn)行校準(zhǔn)。
背景技術(shù)：
近年來，進(jìn)行了活躍的關(guān)于混合現(xiàn)實(shí)的研究活動(dòng)，其目標(biāo)在于將現(xiàn)實(shí)空間和虛擬空間進(jìn)行無縫連接。一種用于表示這種混合現(xiàn)實(shí)的圖像顯示設(shè)備通過影像法得以實(shí)現(xiàn)，用于將虛擬空間內(nèi)的圖像疊加繪制到使用例如攝像機(jī)在現(xiàn)實(shí)空間內(nèi)拍攝的圖像上，所述虛擬空間(用計(jì)算機(jī)制圖繪制的虛擬物體、特征信息或類似信息)根據(jù)后面將進(jìn)行說明的攝像裝置的位置和方位生成。
希望能夠?qū)⑦@種圖像顯示設(shè)備應(yīng)用到不同于常規(guī)虛擬現(xiàn)實(shí)的各種領(lǐng)域中，例如用于將患者身體內(nèi)的狀態(tài)疊加顯示到患者身體表面的外科輔助，以及其中玩家在現(xiàn)實(shí)空間中與一個(gè)虛擬的敵人進(jìn)行戰(zhàn)斗的混合現(xiàn)實(shí)游戲，等等。
所有這些應(yīng)用中最重要的問題是如何準(zhǔn)確地實(shí)現(xiàn)現(xiàn)實(shí)空間和虛擬空間之間的對(duì)齊，迄今為止已經(jīng)嘗試了許多方法。混合現(xiàn)實(shí)中的對(duì)齊問題歸納起來即獲取在場(chǎng)景中(即，在世界坐標(biāo)系統(tǒng)中)的攝像裝置的位置和方位問題。
解決上述問題通常采用的方法是，在所述場(chǎng)景中放置或設(shè)置標(biāo)記，使用標(biāo)記在世界坐標(biāo)系統(tǒng)中的坐標(biāo)和由攝像裝置拍攝的圖像內(nèi)的標(biāo)記的投影圖像的坐標(biāo)，從而獲取場(chǎng)景中攝像裝置的位置和方位。一種根據(jù)場(chǎng)景中的標(biāo)記在世界坐標(biāo)系統(tǒng)中的坐標(biāo)和其投影圖像的圖像坐標(biāo)對(duì)攝像裝置的位置和方位進(jìn)行計(jì)算的方法被建議依舊用于攝影測(cè)量領(lǐng)域。
已經(jīng)實(shí)現(xiàn)通過設(shè)置關(guān)于要被測(cè)量的物體的多個(gè)標(biāo)記獲取物體的位置和方位的技術(shù)，使用外置的俯瞰照相攝像機(jī)拍攝物體，檢測(cè)所攝的俯瞰圖像中的標(biāo)記的投影圖像的圖像坐標(biāo)(參見R.M.Haralick，C.Lee，K.Ottenberg，and M.Nolle″Review and analysis of solutions ofthe three point perspective pose estimation problem″，Int′l.J.ComputerVision，Vol.13，No.3，pp.331-356，1994；和D.G.Lowe″Fittingparameterized three-dimensional models to images″，IEEE translations onPAMI，Vol.13，No.5，pp.441-450，1991)。
另外，本發(fā)明人已經(jīng)在一項(xiàng)美國的公開專利申請(qǐng)No.20040176925(于2004年1月8日在USPTO提出申請(qǐng))中提議了一種攝像裝置的位置和方位的測(cè)量方法，包括一種通過從要被測(cè)量的攝像裝置已經(jīng)拍攝的圖像中檢測(cè)場(chǎng)景內(nèi)的標(biāo)記的投影圖像從而計(jì)算攝像裝置的位置和方位的方法；一種通過從俯瞰視角位置拍攝的要被測(cè)量的物體的俯瞰視角圖像中檢測(cè)設(shè)置在攝像裝置自身上的標(biāo)記的投影圖像從而計(jì)算攝像裝置的位置和方位的方法。
然而，使用通過檢測(cè)俯瞰視角圖像內(nèi)的標(biāo)記的投影圖像的圖像坐標(biāo)計(jì)算攝像裝置的位置和方位的方法，設(shè)置在測(cè)量的物體上的多個(gè)標(biāo)記之間的相對(duì)位置關(guān)系和所測(cè)量的物體必須是已知的。如果不知道每個(gè)標(biāo)記之間的相對(duì)位置關(guān)系，例如，如果每個(gè)其特征可以被描述為單個(gè)點(diǎn)的標(biāo)記被放置在要測(cè)量的物體上，例如使用以有色的球形標(biāo)記或圓形標(biāo)記作為特征的標(biāo)記的投影圖像的重心位置，則必須預(yù)先測(cè)量每個(gè)標(biāo)記在要被測(cè)量的物體的坐標(biāo)系統(tǒng)中的三維位置。另一方面，如果已經(jīng)知道標(biāo)記之間的相對(duì)位置關(guān)系，例如在已經(jīng)被置于預(yù)先作為基礎(chǔ)的定位標(biāo)(jig)上的標(biāo)記(基至如果使用上述的標(biāo)記)的情況下，每個(gè)標(biāo)記在這個(gè)已經(jīng)預(yù)先測(cè)量的定位標(biāo)的坐標(biāo)系統(tǒng)上的位置(以后將用于以這種方式描述標(biāo)記的有關(guān)位置的坐標(biāo)系統(tǒng)稱為“標(biāo)記坐標(biāo)系統(tǒng)”)和已經(jīng)被置于測(cè)量的物體上的定位標(biāo)，對(duì)于這個(gè)定位標(biāo)在要測(cè)量的物體的坐標(biāo)系統(tǒng)中的位置和方位都必須為已知。需要注意的是，如果用多個(gè)點(diǎn)對(duì)標(biāo)記的特性進(jìn)行描述，例如，如果使用具有已知的如方形或三角形作為特征的形狀的標(biāo)記的投影圖像的頂點(diǎn)，則每個(gè)標(biāo)記被解釋為多個(gè)標(biāo)記構(gòu)成的組，并被認(rèn)為屬于一種“標(biāo)記之間的相對(duì)位置關(guān)系為已知”的情況。然而，沒有普遍知道的用于對(duì)這些進(jìn)行準(zhǔn)確校準(zhǔn)的方法，一般而言，沒有其它方法而只有使用通過手工測(cè)量不準(zhǔn)確的位置或位置和方位作為已知值。因此，在通過測(cè)量俯瞰視角圖像中的標(biāo)記的投影圖像的圖像坐標(biāo)對(duì)物體的位置和方位進(jìn)行檢測(cè)的上述方法中還存在著改善的余地，因?yàn)閺膶?shí)際的觀點(diǎn)來看物體的位置和方位只能進(jìn)行低精確度的測(cè)量。

發(fā)明內(nèi)容
本發(fā)明的目的在于解決上述問題，所以本發(fā)明可以容易而準(zhǔn)確地獲取關(guān)于物體的標(biāo)記的放置信息。因此，本發(fā)明為如下所述。
根據(jù)本發(fā)明的第一個(gè)方面，本發(fā)明涉及一種信息處理方法，用于計(jì)算設(shè)置于物體上的關(guān)于物體的標(biāo)記的位置，包括物體位置和方位獲取步驟，獲取物體的位置和方位信息；第一幅圖像輸入步驟，輸入從俯瞰視角攝像單元在物體的俯瞰視角拍攝的第一幅圖像；檢測(cè)步驟，從第一圖像上檢測(cè)標(biāo)記；標(biāo)記位置和方位計(jì)算步驟，使用物體的位置和方位以及關(guān)于檢測(cè)的標(biāo)記的圖像坐標(biāo)的信息以物體為參照計(jì)算標(biāo)記的位置。
將下面示意實(shí)施例和附圖相結(jié)合，本發(fā)明的其它的特征和優(yōu)點(diǎn)將會(huì)變得清楚，在整個(gè)附圖中用同樣的標(biāo)記表示相同或類似的部分。


圖1為表示根據(jù)本發(fā)明的第一個(gè)實(shí)施例的標(biāo)記校準(zhǔn)設(shè)備的配置的示意圖。
圖2為表示根據(jù)第一個(gè)實(shí)施例的標(biāo)記校準(zhǔn)方法的過程的流程圖。
圖3為表示根據(jù)本發(fā)明的第二個(gè)實(shí)施例的標(biāo)記校準(zhǔn)設(shè)備的配置的示意圖。
圖4為表示根據(jù)第二個(gè)實(shí)施例的標(biāo)記校準(zhǔn)方法的過程的流程圖。
圖5為表示根據(jù)第三個(gè)實(shí)施例的標(biāo)記校準(zhǔn)設(shè)備的配置的示意圖。
圖6為表示根據(jù)第三個(gè)實(shí)施例的標(biāo)記校準(zhǔn)方法的過程的流程圖。
圖7為表示根據(jù)本發(fā)明技術(shù)方案的修改方案的標(biāo)記校準(zhǔn)設(shè)備的配置的示意圖。
圖8為表示根據(jù)第四個(gè)實(shí)施例的標(biāo)記校準(zhǔn)設(shè)備的示意配置的示意圖。
圖9為表示根據(jù)第四個(gè)實(shí)施例的標(biāo)記校準(zhǔn)方法的過程的流程圖。
具體實(shí)施例方式
下面參照附圖詳細(xì)說明本發(fā)明的具體實(shí)施方式
。
第一個(gè)實(shí)施例根據(jù)本實(shí)施例的標(biāo)記校準(zhǔn)設(shè)備為每個(gè)標(biāo)記獲取設(shè)置在攝像裝置上的標(biāo)記關(guān)于該攝像裝置的位置。下面說明根據(jù)本實(shí)施例的標(biāo)記校準(zhǔn)設(shè)備和標(biāo)記校準(zhǔn)方法。
圖1為表示根據(jù)本發(fā)明的第一個(gè)實(shí)施例的標(biāo)記校準(zhǔn)設(shè)備100的示例配置的示意圖。如圖1所示，標(biāo)記校準(zhǔn)設(shè)備100包括第一人稱視角標(biāo)記檢測(cè)單元110、位置和方位計(jì)算單元120、俯瞰視角標(biāo)記檢測(cè)單元150、指示單元160、數(shù)據(jù)管理單元170和校準(zhǔn)信息計(jì)算單元180，并且該標(biāo)記校準(zhǔn)設(shè)備100連接至要被校準(zhǔn)的攝像裝置130。
本說明應(yīng)當(dāng)理解為根據(jù)本實(shí)施例的標(biāo)記校準(zhǔn)設(shè)備100的使用者設(shè)置一個(gè)或多個(gè)要被校準(zhǔn)的標(biāo)記Pk(這里k＝1到K2，下稱簡(jiǎn)稱為“俯瞰視角標(biāo)記”)。俯瞰視角標(biāo)記在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)(一種坐標(biāo)系統(tǒng)，其中，攝像裝置130上的一個(gè)點(diǎn)被定義為原點(diǎn)，并且，三個(gè)正交的軸被分別定義為X軸、Y軸和Z軸)中的位置是未知的，并且俯瞰視角標(biāo)記在俯瞰視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的未知位置是根據(jù)本實(shí)施例的標(biāo)記校準(zhǔn)設(shè)備將要進(jìn)行校準(zhǔn)的信息，即，根據(jù)本實(shí)施例的標(biāo)記校準(zhǔn)設(shè)備的標(biāo)記校準(zhǔn)的輸出。
設(shè)置在現(xiàn)實(shí)空間內(nèi)的多個(gè)點(diǎn)中的是多個(gè)在世界空間坐標(biāo)系統(tǒng)(一種坐標(biāo)系統(tǒng)，其中，現(xiàn)實(shí)空間中的一個(gè)點(diǎn)被定義為原點(diǎn)，并且，三個(gè)正交軸被分別定義為X軸、Y軸和Z軸)中具有已知位置的第一人稱視角標(biāo)記Qk(其中k＝1到K1)，作為使用攝像裝置130拍攝的標(biāo)記(后面稱為第一人稱視角標(biāo)記(參考標(biāo)記))。優(yōu)選地，第一人稱視角標(biāo)記Qk這樣放置以便在獲取標(biāo)記校準(zhǔn)數(shù)據(jù)的時(shí)候攝像裝置130至少觀察到三個(gè)或更多個(gè)標(biāo)記。如圖1中所示，放置四個(gè)第一人稱視角標(biāo)記Q1、Q2、Q3和Q4，在這些標(biāo)記中，三個(gè)觀察標(biāo)記Q1、Q3和Q4位于攝像裝置130的視野之內(nèi)。
第一人稱視角標(biāo)記Qk可以為分別帶有不同顏色的圓形標(biāo)記，或者可以配置為例如分別具有不同結(jié)構(gòu)特征的自然特征的特征點(diǎn)。也可以使用具有一定面積大小的方形區(qū)域的方形標(biāo)記。事實(shí)上，任何類型的標(biāo)記都可以使用，只要在拍攝的圖像上的投影圖像中可以檢測(cè)到圖像坐標(biāo)并且可以識(shí)別出哪個(gè)標(biāo)記是哪個(gè)即可。
從攝像裝置130輸出的圖像(后面稱為“第一人稱視角圖像”)被輸入到第一人稱視角標(biāo)記檢測(cè)單元110。第一人稱視角標(biāo)記檢測(cè)單元110從攝像裝置130輸入第一人稱視角圖像，并且在輸入圖像中檢測(cè)拍攝的第一人稱視角標(biāo)記Qk的圖像坐標(biāo)。例如，如果每個(gè)第一人稱視角標(biāo)記Qk配置為不同顏色的標(biāo)記，則檢測(cè)對(duì)應(yīng)于第一人稱視角圖像上的每個(gè)標(biāo)記顏色的區(qū)域，并且其重心位置被視為該標(biāo)記的檢測(cè)坐標(biāo)。如果每個(gè)第一人稱視角標(biāo)記Qk配置為不同具有不同結(jié)構(gòu)特征的特征點(diǎn)，則通過對(duì)第一人稱視角圖像適用使用每個(gè)標(biāo)記的預(yù)先作為已知信息的模板圖像的模板匹配技術(shù)檢測(cè)標(biāo)記的位置。如果使用方形標(biāo)記作為參考標(biāo)記，則對(duì)圖像進(jìn)行二值化處理然后對(duì)之進(jìn)行標(biāo)注，從四個(gè)直線形成的具有一定面積或更大面積的區(qū)域被作為標(biāo)記候選進(jìn)行檢測(cè)。另外，通過判斷在候選區(qū)域內(nèi)是否存在特殊的圖形對(duì)錯(cuò)誤檢測(cè)進(jìn)行消除，從而獲取標(biāo)記的方向和標(biāo)識(shí)符。這樣檢測(cè)出的方形標(biāo)記可以認(rèn)為是由四個(gè)頂點(diǎn)構(gòu)成的四個(gè)標(biāo)記。
另外，第一人稱視角標(biāo)記檢測(cè)單元110將每個(gè)第一人稱視角標(biāo)記Qkn的圖像坐標(biāo)uQkn和其標(biāo)識(shí)符kn輸出到位置和方位計(jì)算單元120。現(xiàn)在，n(n＝1到N)是每個(gè)已經(jīng)檢測(cè)到的標(biāo)記的索引，N表示已經(jīng)檢測(cè)到的標(biāo)記的總數(shù)。例如，在圖1的情況下，N＝3，所以標(biāo)識(shí)符k1＝1，k2＝3，k3＝4，并且輸出相應(yīng)的圖像坐標(biāo)uQk1，uQk2，and uQk3。在本實(shí)施例中，第一人稱視角標(biāo)記檢測(cè)單元110將攝像裝置130輸入的圖像作為觸發(fā)連續(xù)地執(zhí)行標(biāo)記檢測(cè)處理，但是可以作這樣一個(gè)安排，即根據(jù)位置和方位計(jì)算單元120的請(qǐng)求完成處理(使用在該點(diǎn)輸入的第一人稱視角圖像)。
位置和方位計(jì)算單元120根據(jù)每個(gè)檢測(cè)到的第一人稱視角標(biāo)記Qkn的圖像坐標(biāo)uQkn和作為預(yù)先已知信息的世界坐標(biāo)xwQkn之間的關(guān)系計(jì)算攝像裝置的位置和方位。用于從第一人稱視角標(biāo)記的世界坐標(biāo)和圖像坐標(biāo)計(jì)算攝像裝置的位置和方位的方法是已知的(參見R.M.Haralick，C.Lee，K.Ottenberg，and M.Nolle″Review and analysis ofsolutions of the three point perspective pose estimation problem″，Int′l.J.Computer Vision，Vol.13，No.3，pp.331-356，1994；and D.G.Lowe″Fitting parameterized three-dimensional models to images″，IEEEtranslations on PAMI，Vol.13，No.5，pp.441-450，1991)。例如，如果第一人稱視角標(biāo)記被放置在同一個(gè)平面上，則對(duì)四個(gè)或更多個(gè)標(biāo)記的檢測(cè)允許攝像裝置的位置和方位通過二維對(duì)應(yīng)計(jì)算(two-dimensionalhomographic calculations)進(jìn)行檢測(cè)。使用不在同個(gè)平面上的六個(gè)或更多個(gè)標(biāo)記檢測(cè)攝像裝置的位置和方位的方法也是已知的。另外，通過使從攝像裝置的位置和方位的估計(jì)值計(jì)算出的標(biāo)記的圖像坐標(biāo)的邏輯值之間的誤差達(dá)到最小化對(duì)該位置和方位的估計(jì)值進(jìn)行優(yōu)化的方法，通過使用圖像雅可比行列式例如高斯-牛頓方法進(jìn)行重復(fù)計(jì)算。這樣計(jì)算出的攝像裝置130在世界坐標(biāo)系統(tǒng)中的位置和方位根據(jù)數(shù)據(jù)管理單元170的請(qǐng)求被輸出到數(shù)據(jù)管理單元170。雖然本實(shí)施例包括位置和方位計(jì)算單元120，將從第一人稱視角標(biāo)記檢測(cè)單元110的數(shù)據(jù)的輸入作為觸發(fā)，連續(xù)地執(zhí)行位置和方位的計(jì)算，但是可以作一個(gè)安排，即根據(jù)數(shù)據(jù)管理單元170的請(qǐng)求完成處理(使用在該點(diǎn)的輸入數(shù)據(jù))。在下面的說明中，攝像裝置130的位置和方位應(yīng)被理解為用齊次坐標(biāo)矩陣(模型轉(zhuǎn)換矩陣；用于將第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的坐標(biāo)轉(zhuǎn)換到世界坐標(biāo)系統(tǒng)中的坐標(biāo)中的矩陣)MWC表示。
俯瞰視角照相攝像機(jī)140被固定放置在一個(gè)當(dāng)獲取標(biāo)記校正數(shù)據(jù)時(shí)能夠拍攝攝像裝置130的位置上。俯瞰視角照相攝像機(jī)140在世界坐標(biāo)中的位置和方位預(yù)先作為已知值保留在校準(zhǔn)信息計(jì)算單元180中。
下面，我們使用術(shù)語“俯瞰視角照相攝像機(jī)”表示從第三人稱視點(diǎn)觀察目標(biāo)的照相攝像機(jī)；照相攝像機(jī)的位置不限于“俯瞰”位置。
俯瞰視角標(biāo)記檢測(cè)單元150輸入由俯瞰視角照相攝像機(jī)140拍攝的圖像(俯瞰視角圖像)，通過類似于第一人稱視角標(biāo)記檢測(cè)單元110的處理對(duì)圖像中拍攝的俯瞰視角標(biāo)記Pk的圖像坐標(biāo)進(jìn)行檢測(cè)，并且根據(jù)數(shù)據(jù)管理單元170的請(qǐng)求將檢測(cè)到的圖像坐標(biāo)uQkm和其標(biāo)識(shí)符km輸出到數(shù)據(jù)管理單元170中。這里，m(m＝1到M)為每個(gè)已經(jīng)檢測(cè)到的標(biāo)記的索引，M表示已經(jīng)檢測(cè)到的標(biāo)記的總數(shù)。例如，在圖1所示的情況下，M＝2，所以標(biāo)識(shí)符k1＝1，k2＝2，并且輸出相應(yīng)的圖像坐標(biāo)uPk1和uPk2。在本實(shí)施例中，以俯瞰視角圖像的輸入作為觸發(fā)，俯瞰視角標(biāo)記檢測(cè)單元150連續(xù)地進(jìn)行標(biāo)記檢測(cè)處理，但是可以作一個(gè)安排，即根據(jù)數(shù)據(jù)管理單元170的請(qǐng)求進(jìn)行處理(使用在該點(diǎn)輸入的俯瞰視角圖像)。
如果操作員輸入數(shù)據(jù)獲取命令(未示出)，指示單元160將“獲取數(shù)據(jù)”的命令傳送到數(shù)據(jù)管理單元170，如果輸入校準(zhǔn)信息計(jì)算命令，則傳送一個(gè)“校準(zhǔn)信息計(jì)算”命令到校準(zhǔn)信息計(jì)算單元180。將命令輸入到指示單元160可以通過按已經(jīng)分配被特定命令的鍵而完成，例如使用鍵盤或使用在顯示器上顯示的GUI。
當(dāng)數(shù)據(jù)管理單元170從指示單元160接收到“獲取數(shù)據(jù)”指示時(shí)，從位置和方位計(jì)算單元120輸入攝像裝置130在世界坐標(biāo)系統(tǒng)中的位置和方位，從俯瞰視角標(biāo)記檢測(cè)單元150輸入俯瞰視角標(biāo)記的圖像坐標(biāo)和其標(biāo)識(shí)符，將數(shù)據(jù)對(duì)“攝像單元130的位置和方位和俯瞰視角標(biāo)記的圖像坐標(biāo)”添加并保留到為每個(gè)俯瞰視角標(biāo)記準(zhǔn)備的數(shù)據(jù)表中。現(xiàn)在，從位置和方位計(jì)算單元120輸入的攝像裝置130在世界坐標(biāo)系統(tǒng)中的位置和方位，就是從俯瞰視角標(biāo)記檢測(cè)單元150輸入的當(dāng)拍攝已經(jīng)檢測(cè)到俯瞰視角標(biāo)記的圖像坐標(biāo)的圖像時(shí)獲取的數(shù)據(jù)。數(shù)據(jù)管理單元170根據(jù)校準(zhǔn)信息計(jì)算單元180的請(qǐng)求將每個(gè)生成的俯瞰視角標(biāo)記的數(shù)據(jù)表輸出到校準(zhǔn)信息計(jì)算單元180。
當(dāng)校準(zhǔn)信息計(jì)算單元180從指示單元160接收到“校準(zhǔn)信息計(jì)算”指示時(shí)，輸入數(shù)據(jù)管理單元170的數(shù)據(jù)表，以此為基礎(chǔ)進(jìn)行校準(zhǔn)處理，并且輸出獲取的作為結(jié)果的校準(zhǔn)信息(即，在第一人稱視角照相攝像機(jī)坐標(biāo)中每個(gè)俯瞰視角標(biāo)記的位置)。
圖2為表示根據(jù)本實(shí)施例在校準(zhǔn)設(shè)備獲取校準(zhǔn)信息時(shí)完成的處理的流程圖。根據(jù)該流程圖，程序代碼存儲(chǔ)在根據(jù)本實(shí)施例的設(shè)備內(nèi)的存儲(chǔ)器中，如隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)或者類似存儲(chǔ)器(未示出)，該程序代碼然后被中央處理單元(CPU)讀取并執(zhí)行。
首先，在步驟S2010，指示單元160判斷操作員是否輸入了數(shù)據(jù)獲取命令。當(dāng)攝像裝置130被置于獲取標(biāo)記校準(zhǔn)數(shù)據(jù)的位置時(shí)輸入數(shù)據(jù)獲取命令。如果判斷結(jié)果是沒有輸入數(shù)據(jù)獲取命令(在步驟S2010中為否)，命令單元160執(zhí)行步驟S2050。如果判斷結(jié)果是已經(jīng)輸入數(shù)據(jù)獲取命令(在步驟S2010中為是)，指示單元160執(zhí)行步驟S2020。
在步驟S2020，數(shù)據(jù)管理單元170從位置和方位計(jì)算單元120輸入攝像裝置130在世界坐標(biāo)系統(tǒng)中的位置和方位MWC。
在步驟S2030，數(shù)據(jù)管理單元170從俯瞰視角標(biāo)記檢測(cè)單元150輸入俯瞰標(biāo)記檢測(cè)單元150檢測(cè)到的俯瞰視角標(biāo)記Pkm的圖像坐標(biāo)uPkm和其標(biāo)識(shí)符km。根據(jù)在步驟S2020和S2030中執(zhí)行的處理，在攝像裝置130的位置和方位為MWC的情況下的俯瞰視角標(biāo)記的圖像坐標(biāo)。要注意的是，從俯瞰視角標(biāo)記檢測(cè)單元150輸入的信息不是必須為與所有的俯瞰視角標(biāo)記相關(guān)的信息，此時(shí)在該點(diǎn)的俯瞰視角圖像上檢測(cè)到與標(biāo)記相關(guān)的信息就已經(jīng)足夠了。
接下來，在步驟S2040，數(shù)據(jù)管理單元170將輸入的數(shù)據(jù)對(duì)添加到每個(gè)檢測(cè)到的俯瞰視角標(biāo)記Pkm的數(shù)據(jù)表LPk中。具體的，對(duì)于從位置和方位計(jì)算單元120輸出的MWC作為MWci，從俯瞰視角標(biāo)記檢測(cè)單元150輸入的uPkm作為uiPk，數(shù)據(jù)對(duì)[MWci，uiPk]作為第i個(gè)與Pk相關(guān)的數(shù)據(jù)被注冊(cè)到關(guān)于俯瞰視角標(biāo)記Pk的數(shù)據(jù)表LPk中，這些數(shù)據(jù)對(duì)通過從俯瞰視角標(biāo)記檢測(cè)單元150輸入的標(biāo)識(shí)符km進(jìn)行排序。要注意的是，i(i＝1到IPk)為每個(gè)在數(shù)據(jù)表LPk中注冊(cè)的數(shù)據(jù)對(duì)的索引，IPk表示注冊(cè)的關(guān)于俯瞰視角標(biāo)記Pk的數(shù)據(jù)對(duì)的總數(shù)。這樣，就獲取了數(shù)據(jù)。
在步驟S2050，對(duì)關(guān)于由數(shù)據(jù)管理單元170獲取的所有俯瞰視角標(biāo)記的數(shù)據(jù)表或者至少關(guān)于一個(gè)俯瞰視角標(biāo)記的數(shù)據(jù)表進(jìn)行判斷，即判斷數(shù)據(jù)表是否足夠以計(jì)算校準(zhǔn)信息。如果至少一個(gè)數(shù)據(jù)表或所有的數(shù)據(jù)表被發(fā)現(xiàn)不能滿足條件，過程返回步驟S2010，等待數(shù)據(jù)獲取命令的輸入。另一方面，如果至少一個(gè)數(shù)據(jù)表或所有的數(shù)據(jù)表被發(fā)現(xiàn)滿足校準(zhǔn)信息計(jì)算的條件，則過程執(zhí)行步驟S2060。一個(gè)滿足校準(zhǔn)信息計(jì)算條件的某個(gè)俯瞰視角標(biāo)記Pk的數(shù)據(jù)表的條件的例子是，對(duì)于數(shù)據(jù)表LPk，獲取兩個(gè)或更多個(gè)不同的數(shù)據(jù)對(duì)[MWci，uiPk]。如后面將要描述的，從單個(gè)數(shù)據(jù)對(duì)中得到兩個(gè)方程(見表達(dá)式3)，所以如果已經(jīng)得到兩個(gè)或更多個(gè)數(shù)據(jù)對(duì)，可以從四個(gè)方程中得到俯瞰視角標(biāo)記在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置，該坐標(biāo)系統(tǒng)包括三個(gè)參數(shù)。然而，輸入數(shù)據(jù)中的差異性越大，生成的校準(zhǔn)信息就越精確，所以可以作這樣的安排，即設(shè)置條件請(qǐng)求大量的數(shù)據(jù)。
接下來，在步驟S2060，判斷操作員是否輸入校準(zhǔn)信息計(jì)算命令。如果已經(jīng)輸入校準(zhǔn)信息計(jì)算命令，處理前進(jìn)到步驟S2070，如果沒有輸入校準(zhǔn)信息計(jì)算命令，過程返回到步驟S2010并等待數(shù)據(jù)獲取命令的輸入。
校準(zhǔn)信息計(jì)算單元180處理獲取的校準(zhǔn)信息，即俯瞰視角標(biāo)記在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置，為三值向量[xCyCzC]T。在下面的說明中，這個(gè)未知參數(shù)將被描述為狀態(tài)向量sPk＝[xCPkyCPkzCPk]T。現(xiàn)在繼續(xù)描述關(guān)于在某個(gè)俯瞰視角標(biāo)記Pk上的處理；然而，應(yīng)當(dāng)理解為，處理是關(guān)于滿足校準(zhǔn)信息計(jì)算條件的數(shù)據(jù)表中所有的俯瞰視角標(biāo)記進(jìn)行的。
在步驟S2070，校準(zhǔn)信息計(jì)算單元180分配一個(gè)適合的初始值(例如，
T)給狀態(tài)向量sPk。
在步驟S2080，校準(zhǔn)信息計(jì)算單元180根據(jù)每個(gè)在數(shù)據(jù)表LPk中的數(shù)據(jù)集[MWci，uiPk](其中i＝1到IPk)針對(duì)所有的i計(jì)算俯瞰視角標(biāo)記Pk的俯瞰視角圖像坐標(biāo)的邏輯值uiPk′＝[uxiPk′，uyiPk′]。這里要注意的是，俯瞰視角標(biāo)記的俯瞰視角圖像坐標(biāo)的邏輯值是指在俯瞰視角圖像中的位置(坐標(biāo))數(shù)據(jù)，在該位置上已經(jīng)在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中生成位置的俯瞰視角標(biāo)記Pk應(yīng)該是可見的。根據(jù)如表達(dá)式1中的函數(shù)計(jì)算uiPk′。
uiPk′=Fi(sPk)...(1)]]>表達(dá)式1表示俯瞰視角標(biāo)記Pk在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置。
具體而言，函數(shù)Fi()如表達(dá)式2中所示設(shè)置。
xBiPk=xBiPkyBiPkzBiPk1T=MWB-1·MWCi·xCPkyCPkzCPk1T...(2)]]>表達(dá)式2用于從sPk得到在已經(jīng)獲取第i個(gè)數(shù)據(jù)集的點(diǎn)上(即，在攝像裝置130的位置和方位為MWCi的點(diǎn)上)的俯瞰視角標(biāo)記Pk在俯瞰視角照相攝像機(jī)坐標(biāo)內(nèi)的位置向量xBiPk和表達(dá)式3。
uiPk′=uxiPk′uyiPk′T=-fxBxBiPkzBiPk-fyByBiPkzBiPkT...(3)]]>表達(dá)式3用于從xBiPk得到俯瞰視角標(biāo)記Pk在俯瞰視角照相攝像機(jī)圖像中的坐標(biāo)uiPk′。這里要注意的是，fBx和fBy分別表示俯瞰視角照相攝像機(jī)140在X軸方向上和Y軸方向上的焦距，并且應(yīng)當(dāng)理解為預(yù)先保留的已知值。MWB是一個(gè)轉(zhuǎn)換矩陣，用于將俯瞰視角照相攝像機(jī)坐標(biāo)系統(tǒng)內(nèi)的坐標(biāo)轉(zhuǎn)換到世界坐標(biāo)中，并且根據(jù)俯瞰視角照相攝像機(jī)140在世界坐標(biāo)系統(tǒng)中的位置和方位預(yù)先進(jìn)行計(jì)算，作為已知值預(yù)先保留。
在步驟S2090，校準(zhǔn)信息計(jì)算單元180使用表達(dá)式4針對(duì)所有的i計(jì)算包含在數(shù)據(jù)表LPk中的每個(gè)數(shù)據(jù)集中的俯瞰視角標(biāo)記Pk的實(shí)際圖像坐標(biāo)uiPk和對(duì)應(yīng)的圖像坐標(biāo)邏輯值uiPk′之間的誤差ΔuiPk。
ΔuiPk=uiPk-uiPk′...(4)]]>在步驟S2100，校準(zhǔn)信息計(jì)算單元180對(duì)于所有i計(jì)算關(guān)于狀態(tài)向量sPk的雅可比行列式JuisPk(＝_uiPk/_sPk)(即2行×3列雅可比矩陣，對(duì)于其分量具有用狀態(tài)向量sPk的分量通過對(duì)表達(dá)式1中的函數(shù)Fi求偏導(dǎo)獲取的解)。特別地，計(jì)算2行×3列雅可比矩陣JuiBiPk(＝_uiPk/_xBiPk)，對(duì)于其分量具有用位置向量xBiPk的分量通過對(duì)表達(dá)式3的右側(cè)求偏導(dǎo)獲取的解，計(jì)算3行×3列雅可比矩陣JxBisPk(＝_xBiPk/_sPk)，對(duì)于其分量具有用狀態(tài)向量sPk的分量通過對(duì)表達(dá)式2的右側(cè)求偏導(dǎo)獲取的解，并且JuisPk使用表達(dá)式5計(jì)算。
JuisPk=JuixBiPk·JxBisPk...(5)]]>在步驟S2110，校準(zhǔn)信息計(jì)算單元180根據(jù)上述針對(duì)每個(gè)i計(jì)算出的差ΔiPk和雅可比矩陣JuisPk計(jì)算校正值ΔsPk。具體地，針對(duì)所有的i值，垂直于給定的誤差ΔuiPk的2IPk維向量的誤差向量如表達(dá)式6所示。
U=Δu1PkΔu2Pk···ΔuIPkPk...(6)]]>與給定的雅可比矩陣JuisPk相垂直的2IPk行×3列矩陣JuisPk如表達(dá)式7所示被創(chuàng)建。
Φ=Ju1sPkJu2sPk···JuIPksPk...(7)]]>使用Φ的偽逆矩陣Φ+并通過表達(dá)式8計(jì)算出ΔsPk。
ΔsPk=Φ+U...(8)]]>現(xiàn)在，ΔsPk是三維向量，所以只要2IPk等于3或更大就可以得到ΔsPk，即只要IPk等于2或更大。要注意的是，通過Φ+＝(ΦTΦ)-1ΦT或其它方法可以獲取Φ+。
在步驟S2120，校準(zhǔn)信息計(jì)算單元180使用在步驟S2110中計(jì)算出的校正值ΔsPk用表達(dá)式9對(duì)俯瞰視角標(biāo)記Pk在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置向量sPk進(jìn)行校正，并且將獲取的值作為新的sPk。
sPk+ΔsPk→sPk...(9)]]>在步驟S2130，校準(zhǔn)信息計(jì)算單元180使用某種判斷標(biāo)準(zhǔn)，例如誤差向量U是否小于預(yù)定的閥值或者校正值ΔsPk是否小于預(yù)定的閥值，判斷是否已經(jīng)獲取計(jì)算的收斂。如果判斷結(jié)果為沒有獲取收斂，處理返回步驟S2080并且使用校正后的狀態(tài)向量從步驟S2080重復(fù)執(zhí)行處理。
當(dāng)在步驟S2130中判斷的結(jié)果為已經(jīng)獲取計(jì)算的收斂時(shí)，在步驟S2140中校準(zhǔn)信息計(jì)算單元180輸出獲取的狀態(tài)向量sPk作為指示俯瞰視角標(biāo)記Pk在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置參數(shù)。
最后，在步驟S2150，判斷是否終止校準(zhǔn)處理。如果操作員指示標(biāo)記校準(zhǔn)設(shè)備100終止校準(zhǔn)處理，則終止處理，如果操作員指示繼續(xù)進(jìn)行校準(zhǔn)處理(即，重新校準(zhǔn))，則流程返回步驟S2100并且等待數(shù)據(jù)獲取命令的輸入。
這樣，在攝像裝置上提供的標(biāo)記關(guān)于攝像裝置的位置可以容易并準(zhǔn)確地獲取。
<修改1-1>
雖然本實(shí)施例使用表達(dá)式10中所示的最陡下降方法計(jì)算狀態(tài)向量的校正值，但是校正值的計(jì)算并不總是需要使用最陡下降方法獲取。例如，可以使用LM方法(Levenberg-Marquardt方法)獲取，該方法為線性方程的迭代求解法，也可以將已知為強(qiáng)估計(jì)方法例如M-估計(jì)統(tǒng)計(jì)方法組合到其中，或者可以使用任何其它的數(shù)值計(jì)算方法，這不會(huì)脫離本發(fā)明的實(shí)質(zhì)。對(duì)于本實(shí)施例，在步驟S2070到S2130中，為要獲取的標(biāo)記位置提供了一個(gè)初始值，并通過使用圖像雅可比行列式的重復(fù)計(jì)算獲取最佳值，但是可以使用更簡(jiǎn)單的計(jì)算方法獲取標(biāo)記的位置。例如對(duì)表達(dá)式3進(jìn)行展開生成了如表達(dá)式10和11中所示的關(guān)系式。
(uxiPkr31iBC+fxBr11iBC)xPk+(uxiPkr32iBC+fxBr12iBC)yPk+(uxiPkr33iBC)zPk=-uxiPkziBC-fxBxiB...(10)]]>(uyiPkr31iBC+fyBr21iBC)xPk+(uyiPkmr32iBC+fyBr22iBC)yPk+(uyiPkr33iBC+fyBr23iBC)zpk=-uyiPkziBC-fyByiBC...(11)]]>這個(gè)關(guān)系式可被用來直接從數(shù)據(jù)表LPk＝[MWci，uiPk](其中i＝1到IPk)獲取sPk，如表達(dá)式12所示。
xPkyPkzPk=ux1Pkr311BC+fxBr111BCux1Pkr321BC+fxBr121BCux1Pkr331BC+fxBr131BCuy1Pkr311BC+fyBr211BCuy1Pkr321BC+fyBr221BCuy1Pkr331BC+fyBr231BC···uxIPkPkr31IPkBCuxIPkPkr32IPkBC+fxBr12IPlBCuxIPkPkr33IPkBC+fxBr13IPkBCuyIPkPkr31IPkBCuyIPkPkr32IPkBC+fyBr22IPkBCuyIPkPkr33IPkBC+fyBr23IPkBC+-ux1Pkz1BC-fxBx1BC-uy1Pkz1BC-fyBy1BC···-uxIPkPkzIPkBC-fxBxIPkBC-uyIPkPkzIPkBC-fyByIPkBC...(12)]]>其中r11iBCr12iBCr13iBCxiBCr21iBCr22iBCr23iBCyiBCr31iBCr32iBCr33iBCziBC0001=MWB-1·MWCi...(13)]]><修改1-2>
對(duì)于本實(shí)施例，位置和方位計(jì)算單元120已經(jīng)被描述為根據(jù)每個(gè)從攝像裝置130拍攝的圖像中檢測(cè)到的每個(gè)第一人稱視角標(biāo)記Qkn的圖像坐標(biāo)uQkn和作為預(yù)先已知信息保留的標(biāo)記的世界坐標(biāo)xWQkn之間相互關(guān)系對(duì)攝像裝置130的位置和方位進(jìn)行計(jì)算；然而，當(dāng)獲取攝像裝置的位置和方位時(shí)使用的圖像特征不是必須為所示的點(diǎn)的圖像特征。例如，第一人稱視角標(biāo)記檢測(cè)單元110和位置和方位計(jì)算單元120可以通過用于獲取使用線性特征的攝像裝置的位置和方位的技術(shù)或者通過用于獲取使用例如橢圓幾何特征的攝像裝置的位置和方位的技術(shù)實(shí)現(xiàn)，如在“A.I.Comport，E.Marchand，F(xiàn).ChaumetteA real-time tracker for markerless augmented reality，Proc.Int′l Symp”所描述的。在《混合和擴(kuò)展現(xiàn)實(shí)》2004，第36-45頁，2004，或者可以使用這些技術(shù)的組合，事實(shí)上，使用任何圖像特征的任何照相攝像機(jī)位置和方位估計(jì)方法都可以采用。
一種基于兩種方法的混合方法通過將例如磁性傳感器的6自由度位置和方位傳感器或者例如回轉(zhuǎn)儀傳感器的3自由度傳感器安裝在攝像裝置130上，使用預(yù)先作為已知信息保留的標(biāo)記的世界坐標(biāo)從攝像裝置130拍攝的圖像上檢測(cè)到的圖像特征之間的相關(guān)；安裝到攝像裝置130上的傳感器的測(cè)量值。參見Uchiyama，Yamamoto，Tamura″Ahybrid positioning technique for mixed realityConcomitant use of 6-degree-of-freedom sensor and vision technique″，Japan Virtual RealityAcademic Journal，Vol.8，No.1，pp.119-125，2003，and also Fujii，Kanbara，Iwasa，Takemura，Yokoya″Positioning by stereo camera withconcomitant use of gyro sensor for expanded reality″，Institute ofElectronics，Information and Communication Engineers PRMU 99-192(Technical Report of IEICE vol.99，No.574，pp.1-8)，1999。
<修改1-3>
對(duì)于這時(shí)進(jìn)行描述的本實(shí)施例，物體是攝像裝置，在這種情況下由攝像裝置自已拍攝的圖像信息可以用作對(duì)該物體在世界坐標(biāo)系統(tǒng)中的位置和方位進(jìn)行測(cè)量。如果物體是任意的形體，例如磁性傳感器的6自由度傳感器可以用作對(duì)其位置和方位進(jìn)行測(cè)量。圖7表示這種情況。
根據(jù)圖7中所示的本實(shí)施例的這個(gè)修改技術(shù)方案，標(biāo)記校準(zhǔn)設(shè)備700用于使用每個(gè)標(biāo)記對(duì)于物體710的位置對(duì)提供在物體710上的標(biāo)記進(jìn)行校準(zhǔn)，即，在物體坐標(biāo)系統(tǒng)中，使用安裝在物體710和俯瞰視角照相攝像機(jī)140上的6自由度傳感器720對(duì)每個(gè)標(biāo)記進(jìn)行計(jì)算。6自由度傳感器720的例子包括磁性位置和方位傳感器(例如，由美國的Polhemus制造的FASTRAK，由美國的Ascension TechnologyCorporation制造的Flock of Birds)、超聲傳感器或者類似的傳感器，但是本發(fā)明并不限于這些；任何類型的6自由度傳感器都可以使用。標(biāo)記校準(zhǔn)設(shè)備700具有位置和方位計(jì)算單元730以代替圖1中所示的第一人稱視角標(biāo)記檢測(cè)單元110和位置和方位計(jì)算單元120。位置和方位計(jì)算單元730從6自由度傳感器720輸入位置和方位測(cè)量值(傳感器自身在傳感器坐標(biāo)系統(tǒng)中的位置和方位)，使用已知校準(zhǔn)信息從位置和方位測(cè)量值計(jì)算物體710在世界坐標(biāo)系統(tǒng)中的位置和方位，并且根據(jù)數(shù)據(jù)管理單元170的請(qǐng)求將其輸出到數(shù)據(jù)管理單元170中。在其它方面，標(biāo)記校準(zhǔn)設(shè)備700和標(biāo)記校準(zhǔn)設(shè)備100相同。
<修改1-4>
對(duì)于這里描述的本實(shí)施例，用作對(duì)物體進(jìn)行拍攝的照相攝像機(jī)為置于固定位置的俯瞰視角照相攝像機(jī)，但是，如果照相攝像機(jī)的位置和方位可以在世界坐標(biāo)系統(tǒng)中被測(cè)量，則俯瞰照相攝像機(jī)就不需要固定。
例如，可以作一個(gè)安排，即6自由度傳感器，例如磁性位置方位傳感器(例如，美國的Polhemus制造的FASTRAK，美國的Ascension Technology Corporation制造的Flock of Birds)、光傳感器(例如，加拿大的NDI制造的Optotrak、英國的Vicon MotionSystems Inc制造的Vicon Tracker)、超聲傳感器或者類似的傳感器，被安裝到俯瞰視角照相攝像機(jī)上，并且從傳感器測(cè)量值獲取關(guān)于俯瞰視角照相攝像機(jī)在世界坐標(biāo)系統(tǒng)的位置和方位。俯瞰視角照相攝像機(jī)的位置和方位也可以從俯瞰視角照相攝像機(jī)拍攝的第一人稱標(biāo)記Qkn的圖像坐標(biāo)uQkn獲取，并且標(biāo)記的坐標(biāo)XwQkn作為已知信息預(yù)先保留。另外，可以作一個(gè)安排，即上述的6自由度傳感器或3自由度傳感器被安裝到俯瞰視角照相攝像機(jī)上，并且俯瞰視角照相攝像機(jī)的位置和方位可以根據(jù)俯瞰視角圖像和傳感器的測(cè)量值通過混合方法獲取。
在這種情況下，通過上述方法測(cè)量的俯瞰視角照相攝像機(jī)的位置和方位與攝像裝置130的位置和方位同時(shí)被獲取，并且存儲(chǔ)在步驟S2040存在數(shù)據(jù)表中。然后，在步驟S2080，根據(jù)數(shù)據(jù)表中保留的位置和方位的值計(jì)算出的值被用作表達(dá)式2中的MWB(表示俯瞰視角照相攝像機(jī)在世界坐標(biāo)中的位置和方位)，而不是預(yù)先作為已知值的固定值。
第二個(gè)實(shí)施例對(duì)于本實(shí)施例，如果提供在攝像裝置上的多個(gè)標(biāo)記具有一個(gè)標(biāo)記坐標(biāo)系統(tǒng)，并且每個(gè)標(biāo)記在標(biāo)記坐標(biāo)系統(tǒng)中的坐標(biāo)是已知的，則標(biāo)記校準(zhǔn)設(shè)備獲取標(biāo)記坐標(biāo)系統(tǒng)關(guān)于攝像裝置的位置和方位或者每個(gè)標(biāo)記關(guān)于攝像裝置的位置。下面對(duì)根據(jù)本實(shí)施例的標(biāo)記校準(zhǔn)設(shè)備和標(biāo)記校準(zhǔn)方法進(jìn)行說明。
圖3為表示根據(jù)本實(shí)施例的標(biāo)記校準(zhǔn)設(shè)備的示意配置的示意圖。要注意的是，和圖1中所示的部件相同的部件用同樣的標(biāo)號(hào)和符號(hào)表示，并且其詳細(xì)的描述在這里不進(jìn)行重復(fù)。如圖3所示，標(biāo)記校準(zhǔn)設(shè)備300包括第一人稱視角標(biāo)記檢測(cè)單元110、位置和方位計(jì)算單元120、俯瞰視角照相攝像機(jī)140、俯瞰視角標(biāo)記檢測(cè)單元150、指示單元160、數(shù)據(jù)管理單元370和校準(zhǔn)信息計(jì)算單元380，并且被連接到要進(jìn)行校正的攝像裝置130。
接下來的說明應(yīng)當(dāng)理解為，根據(jù)本實(shí)施例的標(biāo)記校準(zhǔn)設(shè)備300的用戶設(shè)置一個(gè)或多個(gè)將被校正的標(biāo)記Pk(這里k＝1到K2，下文中該標(biāo)記與第一個(gè)實(shí)施例中一樣簡(jiǎn)稱為“俯瞰視角標(biāo)記”)。俯瞰視角標(biāo)記在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和第一個(gè)實(shí)施例中一樣是未知的，但是對(duì)于本實(shí)施例，標(biāo)記之間的相對(duì)位置關(guān)系是已知的。這種情況的一個(gè)例子是這樣的一種安排，即四個(gè)俯瞰視角標(biāo)記Pk(其中，k＝1，2，3，4)的標(biāo)記組構(gòu)成其大小為已知的單個(gè)方形標(biāo)記R1。圖3表示這樣的情況。這里，方形標(biāo)記R1上的一個(gè)點(diǎn)被定義為原點(diǎn)，并且，三個(gè)正交的軸被分別定義為X軸、Y軸和Z軸，每個(gè)俯瞰視角標(biāo)記Pk在標(biāo)記坐標(biāo)系統(tǒng)中的坐標(biāo)為已知。因此，一旦發(fā)現(xiàn)在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)(即，用于將標(biāo)記坐標(biāo)系統(tǒng)中的坐標(biāo)轉(zhuǎn)換到第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的轉(zhuǎn)換矩陣)中的標(biāo)記坐標(biāo)系統(tǒng)的位置和方位，每個(gè)俯瞰視角標(biāo)記Pk在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的未知位置就可以被計(jì)算出。因此，根據(jù)本實(shí)施例的標(biāo)記校準(zhǔn)設(shè)備校準(zhǔn)的信息為標(biāo)記坐標(biāo)系統(tǒng)在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位。
與第一個(gè)實(shí)施方式一樣，在世界空間坐標(biāo)系統(tǒng)中具有已知位置的多個(gè)第一人稱視角標(biāo)記Qk被置于現(xiàn)實(shí)空間中的多個(gè)點(diǎn)上，作為使用攝像裝置130進(jìn)行拍攝的標(biāo)記。
與第一個(gè)實(shí)施列相同，第一人稱視角標(biāo)記檢測(cè)單元110從攝像裝置130輸入第一人稱視角圖像，檢測(cè)輸入圖像中拍攝的第一人稱視角標(biāo)記Qk的圖像坐標(biāo)，并將每個(gè)檢測(cè)到的第一人稱視角標(biāo)記Qkn的圖像坐標(biāo)uQkn和其標(biāo)識(shí)符kn輸出到位置和方位計(jì)算單元120中。
與第一個(gè)實(shí)施例相同，位置和方位計(jì)算單元120根據(jù)每個(gè)檢測(cè)到的第一人稱視角標(biāo)記Qkn的圖像坐標(biāo)uQkn和作為已知信息保留的世界坐標(biāo)xwQkn之間的相互關(guān)系計(jì)算攝像裝置130的位置和方位。這個(gè)計(jì)算與在第一個(gè)實(shí)施例中所作的描述相同。這樣計(jì)算出的攝像裝置130在工作坐標(biāo)系統(tǒng)中的位置和方位根據(jù)數(shù)據(jù)管理單元370的請(qǐng)求被輸出到數(shù)據(jù)管理單元370。
與第一個(gè)實(shí)施例相同，當(dāng)獲取標(biāo)記校正數(shù)據(jù)時(shí)，俯瞰視角照相攝像機(jī)140被固定放置在能夠拍攝攝像裝置130的位置上。俯瞰視角照相攝像機(jī)140在世界坐標(biāo)中的位置和方位作為預(yù)先的已知值保留在校準(zhǔn)信息計(jì)算單元380中。
與第一個(gè)實(shí)施例中相同，俯瞰視角標(biāo)記檢測(cè)單元150輸入由俯瞰視角照相攝像機(jī)140拍攝的圖像，通過與第一人稱視角標(biāo)記檢測(cè)單元110類似的處理對(duì)圖像中的俯瞰視角標(biāo)記Pk的圖像坐標(biāo)進(jìn)行檢測(cè)，并且將根據(jù)數(shù)據(jù)管理單元370的請(qǐng)求檢測(cè)到的圖像坐標(biāo)uQkm和其標(biāo)識(shí)符km輸出到數(shù)據(jù)管理單元370。在圖3所示的例子中，方形標(biāo)記被用作標(biāo)記，所以執(zhí)行在第一個(gè)實(shí)施例中描述的方形標(biāo)記檢測(cè)處理過程。
與第一個(gè)實(shí)施例相同，如果操作員(未示出)輸入數(shù)據(jù)獲取命令，指示單元160將“獲取數(shù)據(jù)”指示傳送到數(shù)據(jù)管理單元370，如果輸入校準(zhǔn)信息計(jì)算命令，則將“校準(zhǔn)信息計(jì)算”命令傳送到校準(zhǔn)信息計(jì)算單元380。
當(dāng)數(shù)據(jù)管理單元370從指示單元160接收到“獲取數(shù)據(jù)”指示時(shí)，從位置和方位計(jì)算單元120輸入攝像裝置130在世界坐標(biāo)系統(tǒng)中的位置和方位，從俯瞰視角標(biāo)記檢測(cè)單元150輸入俯瞰視角標(biāo)記的圖像標(biāo)記及其標(biāo)識(shí)符，并且數(shù)據(jù)對(duì)“攝像單元130的位置和方位以及俯瞰視角標(biāo)記的圖像坐標(biāo)”被添加并保留在為每個(gè)俯瞰視角標(biāo)記準(zhǔn)備的數(shù)據(jù)表中。現(xiàn)在，從位置和方位計(jì)算單元120輸入的攝像裝置130在世界坐標(biāo)系統(tǒng)中的位置和方位，是從俯瞰視角標(biāo)記檢測(cè)單元150輸入的當(dāng)拍攝檢測(cè)到的俯瞰視角標(biāo)記的圖像坐標(biāo)的圖像時(shí)獲取的數(shù)據(jù)。數(shù)據(jù)管理單元370根據(jù)校準(zhǔn)信息計(jì)算單元380的請(qǐng)求，將生成的每個(gè)俯瞰視角標(biāo)記的數(shù)據(jù)表輸出到校準(zhǔn)信息計(jì)算單元380中。
當(dāng)校準(zhǔn)信息計(jì)算單元380從指示單元160接收到“校準(zhǔn)信息計(jì)算”指示時(shí)，為輸入數(shù)據(jù)管理單元370輸入數(shù)據(jù)表，基于此執(zhí)行校準(zhǔn)處理，并且輸出獲取的作為結(jié)果的校準(zhǔn)信息(即，每個(gè)俯瞰視角標(biāo)記在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置)。
圖4表示在校準(zhǔn)設(shè)備獲取根據(jù)本發(fā)明的校準(zhǔn)信息時(shí)執(zhí)行的處理的流程圖。要注意的是，其中與圖2中的相同部分用相同的參考數(shù)字和符號(hào)表示，并且其詳細(xì)的描述在這里將不重復(fù)。根據(jù)本流程圖的程序代碼存儲(chǔ)在根據(jù)本實(shí)施例的設(shè)備中的存儲(chǔ)器內(nèi)，例如RAM、ROM或者類似存儲(chǔ)器(未示出)，然后被CPU(未示出)讀出并執(zhí)行。
首先，在步驟S2010，指示單元160判斷操作員是否輸入數(shù)據(jù)獲取命令。如果在步驟S2010中判斷結(jié)果為已經(jīng)輸入數(shù)據(jù)獲取命令，則執(zhí)行步驟S2020，并且在執(zhí)行步驟S4050之前執(zhí)行步驟S2020、S2030和S4040。另一方面，如果在步驟S2010中的判斷結(jié)果為沒有輸入數(shù)據(jù)獲取命令，則直接執(zhí)行步驟S4050。步驟S2010、S2020和S2030中的處理和上述第一個(gè)實(shí)施例中相同。完成步驟S2030之后，流程前進(jìn)到步驟S4040中的處理。
在步驟S2040，數(shù)據(jù)管理單元370將輸入的數(shù)據(jù)對(duì)Dj添加到檢測(cè)到的每個(gè)俯瞰視角標(biāo)記Pkm的數(shù)據(jù)表L中。具體地，對(duì)于從位置和方位計(jì)算單元120輸入的MWC作為MWcj，從俯瞰視角標(biāo)記檢測(cè)單元150輸入的標(biāo)識(shí)符km作為kj，從俯瞰視角標(biāo)記檢測(cè)單元150輸入的uPkm作為ujPk，數(shù)據(jù)集[MWcj，ujPk，kj]作為關(guān)于Pk的第j個(gè)數(shù)據(jù)被注冊(cè)到關(guān)于俯瞰視角標(biāo)記Pk的數(shù)據(jù)表L中。要注意的是，j(j＝0到JPk)為在數(shù)據(jù)表L中的每個(gè)數(shù)據(jù)對(duì)的索引，J表示已經(jīng)注冊(cè)的數(shù)據(jù)對(duì)的總數(shù)。這樣，獲取數(shù)據(jù)。
在步驟S4050，對(duì)數(shù)據(jù)管理單元370獲取的關(guān)于所有俯瞰視角標(biāo)記的數(shù)據(jù)表或者關(guān)于至少一個(gè)俯瞰視角標(biāo)記的數(shù)據(jù)表進(jìn)行判斷，判斷該數(shù)據(jù)表對(duì)于計(jì)算校準(zhǔn)信息是否足夠。如果至少一個(gè)數(shù)據(jù)表或所有的數(shù)據(jù)表被發(fā)現(xiàn)不滿足條件，則流程返回到步驟S2010，等待數(shù)據(jù)獲取命令的輸入。另一方面，如果至少一個(gè)數(shù)據(jù)表或所有的數(shù)據(jù)表被發(fā)現(xiàn)滿足校準(zhǔn)信息計(jì)算的條件，則流程前進(jìn)到步驟S2060。數(shù)據(jù)表滿足校準(zhǔn)信息計(jì)算條件的例子是，數(shù)據(jù)表L包括關(guān)于三個(gè)或更多個(gè)不同的俯瞰視角標(biāo)記Pk的數(shù)據(jù)。然而，輸入數(shù)據(jù)中的差異越大，生成的校準(zhǔn)信息的準(zhǔn)確度就越高，所以可以作這樣一個(gè)安排，即條件設(shè)置成請(qǐng)求大量的數(shù)據(jù)。
接下來，在步驟S2060，判斷操作員是否已經(jīng)輸入校準(zhǔn)信息計(jì)算命令。如果已經(jīng)輸入校準(zhǔn)信息計(jì)算命令，處理前進(jìn)到步驟S4070，而如果沒有輸入校準(zhǔn)信息計(jì)算命令，則流程返回到步驟S2010并且等待數(shù)據(jù)獲取命令的輸入。
校準(zhǔn)信息計(jì)算單元380處理獲取的校準(zhǔn)信息，即俯瞰視角標(biāo)記在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置，為6值向量[xyzξψζ]T。在下面的說明中，這個(gè)未知參數(shù)將作為狀態(tài)向量s＝[xyzξψζ]T描述。
在步驟S4070，校準(zhǔn)信息計(jì)算單元380給狀態(tài)向量一個(gè)合適的初始值。對(duì)于初始值，操作員可以使用指示單元160手動(dòng)輸入一個(gè)常規(guī)值，或者可以作這樣一個(gè)安排，即某個(gè)時(shí)間輸入的多個(gè)俯瞰視角標(biāo)記的檢測(cè)坐標(biāo)從列表L中被提取出來(即，從同個(gè)俯瞰視角圖像檢測(cè)出來)，并且這個(gè)數(shù)據(jù)被用于用已知方法計(jì)算標(biāo)記坐標(biāo)系統(tǒng)在俯瞰視角坐標(biāo)系統(tǒng)中的位置和方位，從獲取的位置和方位得到用于將標(biāo)記坐標(biāo)系統(tǒng)中的坐標(biāo)轉(zhuǎn)換到俯瞰視角照相攝像機(jī)坐標(biāo)系統(tǒng)的轉(zhuǎn)換矩陣，并且，從表達(dá)式14使用同時(shí)輸入并保留在列表L中的攝像裝置的位置和方位MWC獲取表示標(biāo)記坐標(biāo)在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位的轉(zhuǎn)換矩陣MCM，用這個(gè)矩陣表示的位置和方位被用作s的初始值。
MCM=MWC-1·MWB·MBM...(14)]]>其中MWB是用于將俯瞰視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的坐標(biāo)轉(zhuǎn)換到世界坐標(biāo)的轉(zhuǎn)換矩陣，預(yù)先根據(jù)世界坐標(biāo)系統(tǒng)中的俯瞰視角照相攝像機(jī)140的位置和方位計(jì)算，并作為已經(jīng)值預(yù)先保留。
現(xiàn)在，用于計(jì)算標(biāo)記坐標(biāo)系統(tǒng)在俯瞰視角坐標(biāo)系統(tǒng)中的位置和方位的已知技術(shù)的例子包括一種技術(shù)，即如果第一人稱視角標(biāo)記被置于同個(gè)平面上，對(duì)四個(gè)或更多個(gè)標(biāo)記的檢測(cè)允許通過二維同態(tài)計(jì)算檢測(cè)攝像裝置的位置和方位。也包括一種使用六個(gè)或更多個(gè)不在同個(gè)平面上的標(biāo)記的技術(shù)，和一種用于獲取最佳解的技術(shù)，將這些解作為初始值，通過例如高斯-牛頓方法進(jìn)行重復(fù)計(jì)算。
在步驟S4080，校準(zhǔn)信息計(jì)算單元380，根據(jù)數(shù)據(jù)表L中的每個(gè)數(shù)據(jù)集Dj＝[MWcj，ujPkj，kj](其中j＝1到J)，針對(duì)所有的j計(jì)算俯瞰視角標(biāo)記Pkj的俯瞰視角圖像坐標(biāo)的邏輯值ujPkj′＝[uxjPkj′，uyjPkj′]。這里要注意的是，俯瞰視角標(biāo)記的俯瞰視角圖像坐標(biāo)的邏輯值是指在俯瞰視角圖像中的位置(坐標(biāo))數(shù)據(jù)，在該位置俯瞰視角標(biāo)記Pkj在標(biāo)記坐標(biāo)系統(tǒng)中的位置向量sMPkj為已知的，并且當(dāng)標(biāo)記坐標(biāo)系統(tǒng)在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位為s時(shí)標(biāo)記Pkj應(yīng)該為可視的。根據(jù)表達(dá)式15中所示的函數(shù)計(jì)算ujPkj′。
ujPkj′=Fj(s)...(15)]]>表達(dá)式15中的函數(shù)表示標(biāo)記坐標(biāo)系統(tǒng)在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置。
具體而言，函數(shù)Fj()如表達(dá)式16中所示設(shè)置。
xBjPkj=xBjPkjyBjPkjzBjPkj1T=MWB-1·MWCj·MCM(s)·xMPkj...(16)]]>表達(dá)式16中所示的函數(shù)用于獲取在已經(jīng)從s獲取第j個(gè)數(shù)據(jù)集的點(diǎn)上(即，在攝像裝置130的位置和方位為MWCj的點(diǎn)上)俯瞰視角標(biāo)記Pk在俯瞰視角照相坐標(biāo)中的位置方量xBjPkj。表達(dá)式17用于從xBjPkj獲取俯瞰視角照相攝像機(jī)圖像中的俯瞰視角標(biāo)記Pkj的坐標(biāo)ujPkj′。
ujPkj′=uxjPkj′uyjPkj′T=-fxBxBjPkjzBjPkj-fxByBjPkjzBjPkjT...(17)]]>這里要注意的是，fBx和fBy表示X軸方向和Y軸方向上俯瞰視角照相攝像機(jī)140的焦距，應(yīng)該理解為預(yù)先的已知值。MCM(s)是模型轉(zhuǎn)換矩陣(用于將標(biāo)記坐標(biāo)系統(tǒng)中的坐標(biāo)轉(zhuǎn)換到第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的坐標(biāo))，用表達(dá)式18進(jìn)行定義。
MCM(s)=ξ2θ2(1-cosθ)+cosθξψθ2(1-cosθ)-ξθsinθξζθ2(1-cosθ)+ψθsinθxψξθ2(1-cos)θ+ξθsinθψ2θ2(1-cosθ)+cosθψζθ2(1-cosθ)+ξθsinθyζξθ2(1-cosθ)-Ψθsinθζψθ2(1-cosθ)+ξθsinθζ2θ2(1-cosθ)+cosθz0001...(18)]]>
其中θ=ξ2+ψ2+ζ2...(19)]]>在步驟S4090，校準(zhǔn)信息計(jì)算單元380針對(duì)所有的j用表達(dá)式20計(jì)算數(shù)據(jù)表L中包含在每個(gè)數(shù)據(jù)集中的俯瞰視角標(biāo)記Pkj的實(shí)際圖像坐標(biāo)ujPkj和相應(yīng)的圖像坐標(biāo)邏輯值ujPkj′之間的誤差ΔujPkj。
ΔujPkj=ujPkj-ujPkj′...(20)]]>在步驟S4100，校準(zhǔn)信息計(jì)算單元380針對(duì)所有的j計(jì)算關(guān)于狀態(tài)向量s的圖像雅可比矩陣JujPks(＝_ujPkj/_s)(即，2行×6列雅可比矩陣，對(duì)于其分量具有用狀態(tài)向量s的分量通過對(duì)表達(dá)式17中的函數(shù)Fj()求偏導(dǎo)得到的解)。具體地，計(jì)算2行×3列雅可比矩陣JujBjPkj(＝_ujPkj/_xBjPkj)，對(duì)于其分量具有用位置方位xBjPkj的分量通過對(duì)表達(dá)式19的右側(cè)求偏導(dǎo)得到的解，計(jì)算3行×6列雅可比矩陣JxBjsPkj(＝_xBjPkj/_sPkj)，其分量具有用狀態(tài)向量s的分量通過對(duì)表達(dá)式18的右側(cè)求偏導(dǎo)得到的解，并且JujPks通過表達(dá)式21計(jì)算。
JujsPkj=JujxBjPkj·JxBjsPkj...(21)]]>在步驟4110，校準(zhǔn)信息計(jì)算單元380根據(jù)誤差ΔjPkj和上述針對(duì)所有的j計(jì)算出的雅可比矩陣JujPks計(jì)算誤差值Δs。具體地，針對(duì)所有的j，垂直于給定的誤差ΔujPkj的2J維向量的誤差向量如表達(dá)式22中所示。
U=Δu1Pk1Δu2Pk2···ΔuJPkJ...(22)]]>
垂直于給定的雅可比矩陣JujPks的2J行×6列矩陣如表達(dá)式23所示創(chuàng)建。
Φ=Ju1sPk1Ju2sPk2···JujsPkJ...(23)]]>表達(dá)式24使用Φ的偽逆矩陣Φ+計(jì)算Δs。
Δs＝Φ+U(24)Δs是6維向量，所以只要2J等于6或更大的值就可以得到Δs，即，J等于3或更大。要注意的是，Φ+可以通過Φ+＝(ΦTΦ)-1ΦT或其它的方法獲取。
在步驟S4120，校準(zhǔn)信息計(jì)算單元380使用在步驟S4110中計(jì)算出的校正值Δs用表達(dá)式25校正狀態(tài)向量s，該狀態(tài)向量s表示的標(biāo)記坐標(biāo)在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位，并將獲取的值作為新的s值。
s+Δs→s (25)在步驟S4130，校準(zhǔn)信息計(jì)算單元380判斷是否已經(jīng)獲取計(jì)算的收斂，該判斷使用某種判斷標(biāo)準(zhǔn)，例如誤差向量U是否小于預(yù)定的閥值，或者校正值Δs是否小于預(yù)定的閥值。如果判斷結(jié)果是沒有獲取收斂，則使用校正后的狀態(tài)向量s從步驟S4080重復(fù)處理過程。
當(dāng)步驟S4130中的判斷結(jié)果為已經(jīng)獲取計(jì)算的收斂時(shí)，在步驟S4140校準(zhǔn)信息計(jì)算單元380輸出獲取的狀態(tài)向量s作為指示標(biāo)記坐標(biāo)系統(tǒng)在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置。這時(shí)輸出格式可以是s本身，或者可以作一種安排，即s的位置分量用3值向量表示，方位分量用歐拉角或旋轉(zhuǎn)矩陣表示，或者可以是從s生成的坐標(biāo)轉(zhuǎn)換矩陣MCM。
最后，在步驟S2150，判斷是否終止校準(zhǔn)處理。如果操作員指示標(biāo)記校準(zhǔn)設(shè)備300終止校準(zhǔn)處理，則處理結(jié)束，如果指示者指示繼續(xù)進(jìn)行校準(zhǔn)處理(即重新校準(zhǔn))，則流程返回步驟S2010并且等待數(shù)據(jù)獲取命令的輸入。
這樣，提供在攝像裝置上的標(biāo)記關(guān)于攝像裝置的位置可以被容易并準(zhǔn)確地獲取。
<修改2-1>
雖然本實(shí)施例被描述為將標(biāo)記坐標(biāo)系統(tǒng)在第一人照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位作為校準(zhǔn)信息輸出，但是可以作一個(gè)安排，即計(jì)算每個(gè)俯瞰視角標(biāo)記Pk在第一人照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置并作為校準(zhǔn)系統(tǒng)輸出。在這種情況下，可以獲得每個(gè)俯瞰視角標(biāo)記Pk在第一人照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置，即從s獲取的坐標(biāo)轉(zhuǎn)換矩陣MCM與俯瞰視角標(biāo)記在標(biāo)記坐標(biāo)系統(tǒng)中的已知位置xMPk的乘積。
<修改2-2>
雖然本實(shí)施例被描述為位置和方位計(jì)算單元120根據(jù)攝像裝置130拍攝的圖像中檢測(cè)到的每個(gè)第一人稱視角標(biāo)記Qkn的圖像坐標(biāo)uQkn和預(yù)先作為已知信息保留的世界坐標(biāo)sWQkn之間的相互關(guān)系計(jì)算攝像裝置130的位置和方位，但是和第一個(gè)實(shí)施例的<修改1-2>一樣，可以使用其它信息完成圖像和位置檢測(cè)以及使用其它傳感器完成圖像和位置檢測(cè)，。
<修改2-3>
雖然本實(shí)施例使用表達(dá)式26中所示的最陡下降方法計(jì)算狀態(tài)向量的校正值，但是校正值的計(jì)算并不總是必須用最陡下降方法獲取。例如，這可以用LM方法(Levenberg-Marquardt方法)獲取，該方法為線性方程的迭代求解法，也可以將已知為強(qiáng)估計(jì)的方法例如M-估計(jì)的統(tǒng)計(jì)方法組合到其中，或者可以使用任何其它的數(shù)值計(jì)算方法，這不會(huì)脫離本發(fā)明的實(shí)質(zhì)。
雖然本實(shí)施例中已經(jīng)描述了為標(biāo)記坐標(biāo)系統(tǒng)在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位提供的合適的初始值，以及使用圖像雅可比行列式通過重復(fù)計(jì)算為關(guān)于所有輸入數(shù)據(jù)的s獲取的最佳值，但是標(biāo)記坐標(biāo)系統(tǒng)在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位可以使用更簡(jiǎn)單的計(jì)算方法獲取。例如，根據(jù)關(guān)于步驟S4070描述的過程，標(biāo)記坐標(biāo)系統(tǒng)在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位可以僅使用在單個(gè)俯瞰視角圖像上檢測(cè)到的多個(gè)第一人稱視角標(biāo)記的坐標(biāo)獲取，并且這些被作為校準(zhǔn)信息輸出。
<修改2-4>
另外，雖然本發(fā)明已經(jīng)描述使用方形標(biāo)記作為俯瞰視角標(biāo)記，但是標(biāo)記的類型是不限制的，只要實(shí)現(xiàn)的標(biāo)記組中每個(gè)標(biāo)記在標(biāo)記坐標(biāo)系統(tǒng)中的位置是已知的。例如，可以使用如第一個(gè)實(shí)施例中使用的多個(gè)圓形標(biāo)記的一個(gè)組，或者多個(gè)類型的標(biāo)記可以共存。另外，甚至在多個(gè)標(biāo)記坐標(biāo)系統(tǒng)的情況下，校準(zhǔn)也可以進(jìn)行相似的處理，該處理過程通過分別為每個(gè)標(biāo)記坐標(biāo)系統(tǒng)執(zhí)行上述的處理完成，或者通過并行地對(duì)每個(gè)標(biāo)記坐標(biāo)系統(tǒng)執(zhí)行上述的處理完成。
<修改2-5>
對(duì)于所述的本實(shí)施例，物體是攝像裝置，在這種情況下，攝像裝置自身拍攝的圖像信息可以被用作對(duì)物體在世界坐標(biāo)系統(tǒng)中的位置和方位進(jìn)行測(cè)量。如果物體是任意的形體，例如磁性傳感器的6自由度傳感器可以被用作對(duì)其位置和方位進(jìn)行測(cè)量。這種情況的配置與圖7中所示的第一個(gè)實(shí)施例的<修改1-3>中的配置相同。6自由度傳感器的例子包括磁性位置和方位傳感器(例如，由美國的Polhemus制造的FASTRAK，由美國的Ascension Technology Corporation制造的Flock of Birds)、超聲傳感器或者類似的傳感器，但是本發(fā)明并不限于這些；任何其它的6自由度傳感器都可以使用。
<修改2-6>
對(duì)于這里描述的本實(shí)施例，用作對(duì)物體進(jìn)行拍攝的照相攝像機(jī)為設(shè)置在固定位置上的俯瞰視角照相攝像機(jī)，但是如果照相攝像機(jī)的位置和方位可以在世界坐標(biāo)系統(tǒng)中被測(cè)量，則俯瞰視角照相攝像機(jī)就沒有必要固定，這一點(diǎn)與第一個(gè)實(shí)施例中的<修改1-4>相同。
在這種情況下，通過前面提到的方法測(cè)量的俯瞰視角照相攝像機(jī)的位置和方位與步驟S2020中攝像裝置的位置和方位同時(shí)被獲得，并且在步驟S4040中被存儲(chǔ)到數(shù)據(jù)表中。然后，在步驟S4080，根據(jù)保留在數(shù)據(jù)表中的位置和方位所計(jì)算出的值在表達(dá)式18(表示俯瞰視角照相攝像機(jī)在世界坐標(biāo)中的位置和方位)中被用作MWB，而不是作為已知值的預(yù)先保留的固定值。
第三個(gè)實(shí)施例對(duì)于本實(shí)施例，如果攝像裝置上提供的多個(gè)標(biāo)記具有一個(gè)標(biāo)記坐標(biāo)系統(tǒng)，并且每個(gè)標(biāo)記在標(biāo)記坐標(biāo)系統(tǒng)中的坐標(biāo)為已知，則標(biāo)記校準(zhǔn)設(shè)備獲取標(biāo)記坐標(biāo)系統(tǒng)關(guān)于該攝像裝置的位置和方位或者每個(gè)標(biāo)記關(guān)于該攝像裝置的位置，這一點(diǎn)與第二個(gè)實(shí)施例相同。下面描述根據(jù)本實(shí)施例的標(biāo)記校準(zhǔn)設(shè)備和標(biāo)記校準(zhǔn)方法。
圖5為表示根據(jù)本實(shí)施例的標(biāo)記校準(zhǔn)設(shè)備的配置的示意圖。要注意的是，與圖3中所示的那些相同的部件用相同的參考數(shù)字和符號(hào)表示，并且其詳細(xì)的描述在這里不進(jìn)行重復(fù)。如圖5中所示，標(biāo)記校準(zhǔn)設(shè)備500包括第一人稱視角標(biāo)記檢測(cè)單元110、俯瞰視角照相攝像機(jī)140、俯瞰視角標(biāo)記檢測(cè)單元150、指示單元160、位置和方位計(jì)算單元520、數(shù)據(jù)管理單元570和校準(zhǔn)信息計(jì)算單元580，并被連接至要測(cè)量的攝像裝置130。下面的說明應(yīng)當(dāng)理解為根據(jù)本實(shí)施例的標(biāo)記校準(zhǔn)設(shè)備的用戶設(shè)置一個(gè)或多個(gè)要測(cè)量的標(biāo)記Pk(其中k＝1到K2)，與第二個(gè)實(shí)施例中相同。本實(shí)施例與第二個(gè)實(shí)施例的相同之處在于，設(shè)置了第一人稱視角標(biāo)記Qk，并且第一人稱視角標(biāo)記檢測(cè)單元110、俯瞰視角照相攝像機(jī)140、俯瞰視角標(biāo)記檢測(cè)單元150和指示單元160的操作與第二個(gè)實(shí)施例中相同；因此，其詳細(xì)的描述就不進(jìn)行復(fù)復(fù)了。本實(shí)施例與第二個(gè)實(shí)施例的不同之處在于，第一人稱視角標(biāo)記檢測(cè)單元110根據(jù)數(shù)據(jù)管理單元570的請(qǐng)求將檢測(cè)結(jié)果輸出到數(shù)據(jù)管理單元570中，俯瞰視角標(biāo)記檢測(cè)單元150將檢測(cè)結(jié)果輸出到位置和方位計(jì)算單元520。雖然第二個(gè)實(shí)施例包括使用第一人稱視角標(biāo)記的檢測(cè)結(jié)果獲取攝像裝置130的位置和方位，意味著用于計(jì)算攝像裝置130的位置和方位的所需數(shù)量的標(biāo)記都要從單個(gè)第一人稱視角圖像中檢測(cè)，但是對(duì)于本實(shí)施例，僅僅是一個(gè)或多個(gè)標(biāo)記需要從單個(gè)第一人稱視角圖像中檢測(cè)。
位置和方位計(jì)算單元520從俯瞰視角標(biāo)記檢測(cè)單元150輸入俯瞰視角標(biāo)記Pkm的圖像坐標(biāo)uPkm及其標(biāo)識(shí)符，并且根據(jù)預(yù)先作為已知信息保留的標(biāo)記坐標(biāo)系統(tǒng)和每個(gè)標(biāo)記的三維坐標(biāo)xMPkm之間的相互關(guān)系計(jì)算標(biāo)記坐標(biāo)系統(tǒng)在俯瞰視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位。這個(gè)計(jì)算方法與第二個(gè)實(shí)施例中步驟S4070中所述的處理相同。計(jì)算出的位置和方位根據(jù)數(shù)據(jù)管理單元370的請(qǐng)求被輸出到數(shù)據(jù)管理單元370。在下面的描述中，標(biāo)記坐標(biāo)系統(tǒng)在俯瞰視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位通過4×4的齊次坐標(biāo)矩陣MBM(用于將標(biāo)記坐標(biāo)系統(tǒng)中的坐標(biāo)轉(zhuǎn)換到俯瞰視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的坐標(biāo)的矩陣)得到。
當(dāng)數(shù)據(jù)管理單元570從指示單元160接收到”獲取數(shù)據(jù)”的指示時(shí)，第一人稱標(biāo)記的圖像坐標(biāo)及其標(biāo)識(shí)符從第一人稱視角標(biāo)記檢測(cè)單元110輸入，標(biāo)記坐標(biāo)系統(tǒng)在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位從位置和方位計(jì)算單元520輸入，并且為每個(gè)輸入的第一人稱視角標(biāo)記創(chuàng)建數(shù)據(jù)集“標(biāo)記坐標(biāo)系統(tǒng)在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位、第一人稱視角標(biāo)記的標(biāo)識(shí)符”，并且該數(shù)據(jù)集被添加并保留在單個(gè)數(shù)據(jù)表中。數(shù)據(jù)管理單元570根據(jù)校準(zhǔn)信息計(jì)算單元580的請(qǐng)求將生成的數(shù)據(jù)表輸出到校準(zhǔn)信息計(jì)算單元580中。
當(dāng)校準(zhǔn)信息計(jì)算單元580從指示單元160接收到“校準(zhǔn)信息計(jì)算”時(shí)，輸入數(shù)據(jù)管理單元570的數(shù)據(jù)表，基于此進(jìn)行校準(zhǔn)處理，并且輸出所獲取的作為其結(jié)果的校準(zhǔn)信息(即，標(biāo)記坐標(biāo)系統(tǒng)在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位)。
圖6為表示在校準(zhǔn)設(shè)備獲取根據(jù)本實(shí)施例的校準(zhǔn)信息時(shí)執(zhí)行的處理的流程圖。根據(jù)該流程圖的程序代碼存儲(chǔ)在根據(jù)本實(shí)施例的設(shè)備中的存儲(chǔ)器中，例如RAM、ROM或類似的存儲(chǔ)器(未示出)中，然后被CPU(未示出)讀取并被執(zhí)行。
在步驟S6010，指示單元160判斷操作員是否輸入數(shù)據(jù)獲取命令。當(dāng)操作員在放置在一個(gè)位置上的攝像裝置130上輸入數(shù)據(jù)獲取命令以便獲取標(biāo)記校準(zhǔn)數(shù)據(jù)。如果數(shù)據(jù)獲取命令被輸入，指示單元160前進(jìn)到步驟S6020。如查數(shù)據(jù)獲取命令沒有被輸入，指示單元160前進(jìn)到步驟S6050。
在步驟S6020，數(shù)據(jù)管理單元570從位置和方位計(jì)算單元520輸入標(biāo)記坐標(biāo)系統(tǒng)在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位MBM。
在步驟S6030，數(shù)據(jù)管理單元570從第一人稱視角標(biāo)記檢測(cè)單元110輸入第一人稱視角標(biāo)記檢測(cè)單元110檢測(cè)到的每個(gè)第一人稱視角標(biāo)記Qkn的圖像坐標(biāo)uQkn及其標(biāo)識(shí)符kn。
在步驟S6040，數(shù)據(jù)管理單元570將每個(gè)輸入的第一人稱視角標(biāo)記Qkn作為數(shù)據(jù)Dj添加到數(shù)據(jù)表L中。具體地，對(duì)于從位置和方位計(jì)算單元520輸入的MWC作為MWcj，從第一人稱視角標(biāo)記檢測(cè)單元110輸入的kn作為kj，從第一人稱視角標(biāo)記檢測(cè)單元110輸入的uQkn作為ujQkj，數(shù)據(jù)集Dj＝[MBMj，ujQkj，kj]作為第j個(gè)數(shù)據(jù)被注冊(cè)到數(shù)據(jù)表L中。要注意的是，j(j＝1到J)為在數(shù)據(jù)表中注冊(cè)的每個(gè)數(shù)據(jù)集的索引，J表示已經(jīng)注冊(cè)的數(shù)據(jù)對(duì)的總數(shù)。這樣，獲取數(shù)據(jù)。
在步驟S6050，對(duì)數(shù)據(jù)管理單元570獲取的數(shù)據(jù)表進(jìn)行判斷，判斷數(shù)據(jù)表是否足以計(jì)算校準(zhǔn)信息。如果發(fā)現(xiàn)數(shù)據(jù)表不滿足條件，則流程返回步驟S6010并且等待數(shù)據(jù)獲取命令的輸入。另一方面，如果發(fā)現(xiàn)數(shù)據(jù)表滿足校準(zhǔn)信息計(jì)算的條件，流程前進(jìn)到步驟S6060。數(shù)據(jù)表滿足校準(zhǔn)信息計(jì)算的條件的例子是，數(shù)據(jù)表L包括關(guān)于三個(gè)或更多個(gè)不同的第一人稱視角標(biāo)記Qk的數(shù)據(jù)。然而，輸入數(shù)據(jù)的差異性越大，生成的校正信息的準(zhǔn)確度就越高，所以可以作這樣一個(gè)安排，即設(shè)置條件請(qǐng)求大量的數(shù)據(jù)。
接下來，在步驟S6060，判斷操作員是否輸入校準(zhǔn)信息計(jì)算命令。如果已經(jīng)輸入校準(zhǔn)信息計(jì)算命令，則處理前進(jìn)到步驟S6070，如果沒有輸入校準(zhǔn)信息計(jì)算命令，則流程返回到步驟S6010并等待數(shù)據(jù)獲取命令的輸入。
校準(zhǔn)信息計(jì)算單元580對(duì)獲取的校準(zhǔn)信息進(jìn)行處理，即標(biāo)記坐標(biāo)系統(tǒng)在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位，作為6值向量[xyzξψζ]T。在下面的說明中，這個(gè)未知參數(shù)將被作為狀態(tài)向量s＝[xyzξψζ]T進(jìn)行描述。
在步驟S6070，與第二個(gè)實(shí)施例中一樣，校準(zhǔn)信息計(jì)算單元580給狀態(tài)向量s一個(gè)合適的初始值。對(duì)于初始值，操作員使用例如指示單元160手工輸入一個(gè)普通值。
在步驟S6080，根據(jù)數(shù)據(jù)表L中的每個(gè)數(shù)據(jù)集Dj(其中j＝1，2到J)，校準(zhǔn)信息計(jì)算單元580針對(duì)所有的j計(jì)算每個(gè)第一人稱視角標(biāo)記Qkj的第一人稱視角圖像坐標(biāo)的邏輯值ujQkj′＝[uxjQkj′，uyjQkj′]。這里要注意的是，第一人稱視角標(biāo)記的第一人稱視角圖像坐標(biāo)的邏輯值是指在俯瞰視角圖像中的位置(坐標(biāo))，在該位置，第一人稱視角標(biāo)記Qkj在世界坐標(biāo)系統(tǒng)中的位置xWQkj是已知的，當(dāng)標(biāo)記坐標(biāo)系統(tǒng)在俯瞰視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位為MBMj并且標(biāo)記坐標(biāo)系統(tǒng)在第一人照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和坐標(biāo)為s時(shí)，該第一人稱視角標(biāo)記Qkj為可見的。根據(jù)表達(dá)式26中所示的函數(shù)計(jì)算ujQkj′。
ujQkj′=Fj(s)...(26)]]>具體地，函數(shù)Fj()如表達(dá)式27中所示設(shè)置。
xCjQkj=xCjQkjyCjQkjzCjQkj1T=MCM(s)·MBMj-1·MWB-1·xWQkj...(27)]]>表達(dá)式27用作從s獲取在已經(jīng)得到第j個(gè)數(shù)據(jù)集的點(diǎn)上(即，標(biāo)記坐標(biāo)系統(tǒng)在俯瞰視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位為MBMj的點(diǎn)上)第一人稱視角照相攝像機(jī)坐標(biāo)的位置xCjQkj。表達(dá)式28用于從xCjQkj獲取在第一人稱視角照相攝像機(jī)圖像中的第一人稱視角標(biāo)記Qkj的坐標(biāo)ujQkj′。
ujQkj′=uxjQkj′uyjQkj′T=-fxCxCjQkjzCjQkj-fyCyCjQkjzCjQkjT...(28)]]>這里要注意的是，fCx和fCy分別表示攝像裝置130在X軸方向上和Y軸方向上的焦距，并且應(yīng)當(dāng)理解為預(yù)先保留的已知值。MCM(s)是由s確定的模型轉(zhuǎn)換矩陣(用于將標(biāo)記坐標(biāo)系統(tǒng)中的坐標(biāo)轉(zhuǎn)換到第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的坐標(biāo)的矩陣)，并且由表達(dá)式27進(jìn)行定義。要注意的是，表達(dá)式27右側(cè)的矩陣乘積(MBM(s)·MBM- 1·MWB-1)表示由s和MBMj確定的攝像裝置在世界坐標(biāo)系統(tǒng)中的位置和方位(MWC-1)。
在步驟S6090，針對(duì)所有的j，校準(zhǔn)信息計(jì)算單元580使用表達(dá)式29計(jì)算包含在數(shù)據(jù)表L中的每個(gè)數(shù)據(jù)集中的第一人稱視角標(biāo)記Qkj的實(shí)際圖像坐標(biāo)ujQkj和相應(yīng)的圖像坐標(biāo)邏輯值ujQkj′之間的誤差ΔujQkj。
ΔujQKJ=ujQkj-ujQKj′...(29)]]>在步驟S6100，針對(duì)所有的j，校準(zhǔn)信息計(jì)算單元580計(jì)算關(guān)于狀態(tài)向量s的圖像雅可比矩陣JujQkjs(＝_ujQkj/_s)(即，即2行×6列雅可比矩陣，其分量具有使用狀態(tài)向量s的分量通過對(duì)表達(dá)式28中的函數(shù)Fj()求偏導(dǎo)獲得的解)。具體地，2行×3列雅可比矩陣JujCjQkj(＝_ujQkj/_xCjQkj)，其每個(gè)分量具有使用位置向量XCjQkj的分量通過對(duì)表達(dá)式28的右側(cè)求偏導(dǎo)得到的解，3行×6列雅可比矩陣JxCjQkjs(＝_xCjQkj/_s)，其分量具有使用狀態(tài)向量s的分量通過對(duì)表達(dá)式29的右側(cè)求偏導(dǎo)得到的解，JujQkjs使用表達(dá)式30進(jìn)行計(jì)算。
JujsQKJ=JujxCjQKJ·JxCjsQKJ...(30)]]>
在步驟S6110，校準(zhǔn)信息計(jì)算單元580根據(jù)誤差ΔujQkj和前面針對(duì)所有的j計(jì)算出的雅可比矩陣JujQks計(jì)算校正值Δs。具體地，創(chuàng)建與給定的針對(duì)所有的j的誤差ΔujQkj相垂直的2J維向量的誤差向量U和與給定的雅可比矩陣JujQks相垂直的2J行×6列矩陣，并且使用Φ的偽逆矩陣Φ+并用表達(dá)式24計(jì)算Δs。現(xiàn)在，Δs是6維向量，所以只要2J等于6或更大，即J等于3或更大，就可以得到Δs。要注意的是，Φ+可以通過Φ+＝(ΦTΦ)-1ΦT或其它的方法獲取。
在步驟S6120，校準(zhǔn)信息計(jì)算單元580使用步驟S6110中計(jì)算出的校正值Δs用表達(dá)式25對(duì)表示標(biāo)記坐標(biāo)在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位的狀態(tài)向量s進(jìn)行校正，并且將獲取的值作為新的s。
s+Δs→s (25)在步驟S6130，校準(zhǔn)信息計(jì)算單元580判斷是否已經(jīng)獲取計(jì)算的收斂，該判斷使用某種判斷標(biāo)準(zhǔn)，例如誤差向量U是否小于預(yù)定的閥值，或者校正值Δs是否小于預(yù)定的閥值。如果沒有獲取收斂，則校正后狀態(tài)向量s被用來從步驟S6080開始進(jìn)行重復(fù)處理。
當(dāng)在步驟S6130中的判斷結(jié)果為已經(jīng)獲取計(jì)算的收斂，則在步驟S6140中校準(zhǔn)信息計(jì)算單元580輸出獲取的狀態(tài)向量s，該狀態(tài)向量s作為表示標(biāo)記坐標(biāo)系統(tǒng)在第一人稱視角照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置參數(shù)。這時(shí)的輸出格式可以是其自身，或者也可以做這樣一個(gè)安排，即s的位置分量用3值向量表示，方位向量用歐拉角或旋轉(zhuǎn)矩陣表示或者可以是從s生成的坐標(biāo)轉(zhuǎn)換矩陣MCM。
最后，在步驟S6150，判斷是否要終止校準(zhǔn)處理。如果操作員指示標(biāo)記校準(zhǔn)設(shè)備500終止校準(zhǔn)處理，則處理被終止，如果操作員指示繼續(xù)進(jìn)行校準(zhǔn)處理(即，重新校準(zhǔn))，則流程返回到步驟S6010并且等待數(shù)據(jù)獲取命令的輸入。
這樣，提供在攝像裝置上的標(biāo)記關(guān)于攝像裝置的位置或位置和方位可以容易地且準(zhǔn)確地獲得。
<修改3-1>
現(xiàn)在，雖然在本實(shí)施例中描述為將標(biāo)記坐標(biāo)系統(tǒng)在第一人照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位作為校準(zhǔn)信息輸出，但是可以作這樣一個(gè)安排，即每個(gè)俯瞰視角標(biāo)記Pk在第一人稱照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置被計(jì)算并且被作為校準(zhǔn)系統(tǒng)輸出。
<修改3-2>
雖然本實(shí)施例使用表達(dá)式26中所示的最陡下降方法計(jì)算狀態(tài)向量的校正值，但是校正值的計(jì)算并不總是必須用最陡下降方法計(jì)算。例如，這可以用LM方法(Levenberg-Marquardt方法)獲取，該方法為一種已知的線性方程的迭代求解法，也可以將已知為強(qiáng)估計(jì)的方法例如M-估計(jì)的統(tǒng)計(jì)方法組合到其中，或者可以使用任何其它的數(shù)值計(jì)算方法，這不會(huì)脫離本發(fā)明的實(shí)質(zhì)。
<修改3-3>
另外，雖然在本實(shí)施例中，使用方形標(biāo)記作為俯瞰視角標(biāo)記，但是標(biāo)記的類型是不受限制的，只要標(biāo)記組使得其中每個(gè)標(biāo)記在標(biāo)記坐標(biāo)系統(tǒng)中的位置是已知的即可。例如，可以使用第一個(gè)實(shí)施例中使用的多個(gè)圓形標(biāo)記的組，或者多種類型的標(biāo)記可以共存。另外，甚至在多個(gè)標(biāo)記坐標(biāo)系統(tǒng)的情況下也可以通過分別對(duì)每個(gè)標(biāo)記坐標(biāo)系統(tǒng)執(zhí)行上述的處理從而完成類似的校準(zhǔn)，或者通過并行地對(duì)每個(gè)標(biāo)記坐標(biāo)系統(tǒng)執(zhí)行上述的處理從而完成校準(zhǔn)。
<修改3-4>
雖然本實(shí)施例使用標(biāo)記作為第一人稱視角標(biāo)記在一幅圖像上生成二維坐標(biāo)，但是線性特征或幾何特征可以作為評(píng)估的參考標(biāo)記使用。例如，如果使用線性特征，則可以作這樣一個(gè)安排，即校正值可以在與上述實(shí)施例相同的框架下通過下述過程得以計(jì)算，即，使用離直線原點(diǎn)的距離作為誤差評(píng)估參考進(jìn)行計(jì)算，從檢測(cè)值d的估計(jì)值d′和圖像的狀態(tài)向量s使用誤差Δd創(chuàng)建誤差向量U，用1行×4列的雅可比矩陣Jds(＝_d/_s)創(chuàng)建矩陣Φ，該雅可比矩陣具有作為其分量的使用狀態(tài)向量s的分量通過對(duì)d′的計(jì)算表達(dá)式求偏導(dǎo)得到的解。要注意的是，d′的計(jì)算表達(dá)式在D.G.LoweFitting parameterized three-dimensional models to images，IEEE Transactions on PAMI，Vol.13，No.5，pp.441-450，1991，and in Fujii，Kanbara，Iwasa，Takemura，YokoyaPositioning by stereo camera with concomitant use of gyro sensor forexpanded reality，Institute of Electronics，Information andCommunication Engineers PRMU 99-192(Technical Report of IEICEvol.99，No.574，pp.1-8)，1999中披露，并且攝像裝置的位置和方位可以容易地獲取，因?yàn)閿z像裝置的位置和方位作為s的函數(shù)被獲得(表達(dá)式29中右側(cè)的三個(gè)矩陣的乘積)。這些特性可以以一種共存的方式通過對(duì)從線性特性和點(diǎn)特性及其它標(biāo)記得到的誤差和圖像雅可比行列式進(jìn)行積聚而被使用。
第四個(gè)實(shí)施例對(duì)于根據(jù)本實(shí)施例的標(biāo)記校準(zhǔn)設(shè)備，提供在物體上的多個(gè)標(biāo)記的校準(zhǔn)通過使用具有6自由度的方位傳感器的可移動(dòng)式攝像裝置對(duì)物體進(jìn)行拍攝而完成。在第一和第二實(shí)施例中，僅有標(biāo)記的位置或標(biāo)記的位置和方位作為未知參數(shù)使用，但是對(duì)于本實(shí)施例，照相攝像機(jī)關(guān)于物體的位置和方位也作為未知參數(shù)使用，標(biāo)記的位置或標(biāo)記的位置和方位也是如此。
對(duì)于本實(shí)施例，標(biāo)記由不在同一直線上的三個(gè)或更多個(gè)點(diǎn)構(gòu)成。假定組成標(biāo)記的多個(gè)點(diǎn)的相對(duì)位置是已知的，即組成在規(guī)定為關(guān)于每個(gè)標(biāo)記的標(biāo)記坐標(biāo)系統(tǒng)上的標(biāo)記的點(diǎn)的位置是已知的。對(duì)于本實(shí)施例，如果多個(gè)標(biāo)記被提供在物體上，則以物體作為參照物規(guī)定的關(guān)于每個(gè)標(biāo)記的標(biāo)記坐標(biāo)系統(tǒng)的位置和方位，即關(guān)于物體的坐標(biāo)系統(tǒng)，被作為校準(zhǔn)信息獲得。
圖8為表示根據(jù)本實(shí)施例的標(biāo)記校準(zhǔn)設(shè)備1100的示意性配置的示意圖。如圖8中所示，標(biāo)記校準(zhǔn)設(shè)備1100包括標(biāo)記檢測(cè)單元1020、位置和方位計(jì)算單元1030、指示單元1050、數(shù)據(jù)管理單元1040和校準(zhǔn)信息計(jì)算單元1060，并且被連接到提供標(biāo)記的物體1000。
6自由度傳感器A2被安裝到物體1000上，以便測(cè)量物體關(guān)于世界坐標(biāo)系統(tǒng)的位置和方位。該6自由度傳感器A2被連接到位置和方位計(jì)算單元1030。同樣，6自由度傳感器A1被安裝到攝像裝置1010上，以便測(cè)量構(gòu)成攝像單元1010的照相攝像機(jī)關(guān)于世界坐標(biāo)系統(tǒng)的位置和方位。該6自由度傳感器A1被連接到位置和方位計(jì)算單元1030。
現(xiàn)在，根據(jù)上述的定義多個(gè)標(biāo)記被提供到物體1000上。物體1000上的標(biāo)記用Pk(其中k＝1到K0)表示，K0為要校準(zhǔn)的物體1000上的標(biāo)記的數(shù)量。標(biāo)記Pk也是由點(diǎn)pki(k＝1到K0，i＝1到Nk)組成，其中Nk表示組成標(biāo)記Pk的點(diǎn)的總數(shù)量。
如前所述，組成物體上的標(biāo)記的點(diǎn)在標(biāo)記坐標(biāo)系統(tǒng)中的位置是已知的，但是在物體坐標(biāo)系統(tǒng)(一個(gè)坐標(biāo)系統(tǒng)，其中一個(gè)點(diǎn)被定義為原點(diǎn)，三個(gè)正交的軸分別被定義為X軸、Y軸和Z軸)中的位置和方位是未知的。現(xiàn)在，不在同一條直線上的在物體坐標(biāo)系統(tǒng)中具有已知位置的三個(gè)或更多個(gè)點(diǎn)作為規(guī)定物體坐標(biāo)系統(tǒng)的參考標(biāo)記被提供在物體上。所有的參考標(biāo)記需要在與要校準(zhǔn)的其它標(biāo)記相同的圖像內(nèi)通過獲取標(biāo)記校準(zhǔn)數(shù)據(jù)的攝像單元1010被觀察到。標(biāo)記Pk的任何格式都是允許的，只要在拍攝的圖像上的投影圖像的圖像坐標(biāo)可以被檢測(cè)，并且只要標(biāo)記之間可以相互辯別以及組成標(biāo)記的點(diǎn)是可辯別的。
攝像單元1010從各種位置和方位拍攝設(shè)置于物體上的標(biāo)記，拍攝的圖像被輸入到標(biāo)記檢測(cè)單元1020。
標(biāo)記檢測(cè)單元1020從攝像裝置1010輸入第一人稱視角圖像，并且檢測(cè)組成輸入圖像中拍攝的標(biāo)記Pk的點(diǎn)的圖像坐標(biāo)。標(biāo)記檢測(cè)單元1020進(jìn)一步將組成檢測(cè)到的標(biāo)記Pkn的點(diǎn)pkni的圖像坐標(biāo)uPkni和其標(biāo)識(shí)符輸出到數(shù)據(jù)管理單元1040。這里，n(n＝1到M)表示每個(gè)檢測(cè)的標(biāo)記的索引，M表示檢測(cè)的標(biāo)記的總數(shù)。對(duì)于圖8中所示的例子，帶有標(biāo)識(shí)符1、2和3的方形標(biāo)記被拍攝，這里M＝3，所以標(biāo)識(shí)符k1＝1，k2＝2，k3＝3，并且輸出相應(yīng)的圖像坐標(biāo)uPk1i，uPk2i和uPk3i(其中i＝1，2，3，4)。
和第一個(gè)實(shí)施例相同，位置和方位計(jì)算單元1030從照相攝像機(jī)和物體在現(xiàn)實(shí)世界坐標(biāo)系統(tǒng)中的位置和方位計(jì)算照相攝像機(jī)在物體坐標(biāo)系統(tǒng)中的位置和方位，照相攝像機(jī)和物體在現(xiàn)實(shí)世界坐標(biāo)系統(tǒng)中的位置和方位從安裝在照相攝像機(jī)上的6自由度傳感器A1和安裝在物體上的6自由度傳感器A2獲取。這樣計(jì)算出的照相攝像機(jī)在世界坐標(biāo)系統(tǒng)中的位置和方位根據(jù)數(shù)據(jù)管理單元1040的請(qǐng)求被輸出到數(shù)據(jù)管理單元1040。
同樣，位置和方位計(jì)算單元1030在內(nèi)部分別表示作為3值向量[xyz]T和[ξψζ]T的照相攝像機(jī)在物體坐標(biāo)系統(tǒng)中的位置和方位。有各種用3值向量表示方位的方法，在這種情況下，用3值向量表示照相攝像機(jī)的位置和方位時(shí)，用向量的大小定義旋轉(zhuǎn)角度，用向量的方向定義旋轉(zhuǎn)方向。這里，位置和方位分別用6維向量[xyzξψζ]T表示。
如果操作員(未示出)輸入數(shù)據(jù)獲取命令，則指示單元1050將“獲取數(shù)據(jù)”指示傳送到數(shù)據(jù)管理單元1040，如果輸入校準(zhǔn)信息計(jì)算命令，則將“校準(zhǔn)信息計(jì)算”指示傳送到校準(zhǔn)信息計(jì)算單元1060。
當(dāng)數(shù)據(jù)管理單元1040從指示單元1050接收到“獲取數(shù)據(jù)”指示時(shí)，照相攝像機(jī)在物體坐標(biāo)系統(tǒng)中的位置和方位從位置和方位計(jì)算單元1030輸入，俯瞰視角標(biāo)記的圖像坐標(biāo)及其標(biāo)識(shí)符從標(biāo)記檢測(cè)單元1020輸入，數(shù)據(jù)集“物體坐標(biāo)系統(tǒng)中照相攝像機(jī)的位置和方位、標(biāo)記的圖像坐標(biāo)和標(biāo)記的標(biāo)識(shí)符”被添加并保留在單個(gè)數(shù)據(jù)表中。現(xiàn)在，從位置和方位計(jì)算單元1030輸入的照相攝像機(jī)在物體坐標(biāo)系統(tǒng)中的位置和方位是從標(biāo)記檢測(cè)單元1020輸入的當(dāng)拍攝已經(jīng)檢測(cè)到俯瞰視角標(biāo)記的圖像坐標(biāo)的圖像時(shí)獲取的數(shù)據(jù)。數(shù)據(jù)管理單元1040根據(jù)校準(zhǔn)信息計(jì)算單元1060的請(qǐng)求，將每個(gè)生成的俯瞰視角標(biāo)記的數(shù)據(jù)表輸出到校準(zhǔn)信息計(jì)算單元1060。
當(dāng)校準(zhǔn)信息計(jì)算單元1060從指示單元1050接收到“校準(zhǔn)信息計(jì)算”指示時(shí)，輸入數(shù)據(jù)管理單元1040的數(shù)據(jù)表，并基于此進(jìn)行校準(zhǔn)處理，將作為其結(jié)果獲取的校準(zhǔn)信息(即物體坐標(biāo)系統(tǒng)中的標(biāo)記坐標(biāo)的位置和方位)輸出。
圖9為表示當(dāng)校準(zhǔn)設(shè)備獲取根據(jù)本實(shí)施例的校準(zhǔn)信息時(shí)執(zhí)行的處理的流程圖。根據(jù)本流程圖的程序代碼存儲(chǔ)在根據(jù)本實(shí)施例的設(shè)備的存儲(chǔ)器中，例如RAM、ROM或類似存儲(chǔ)器(未示出)，然后被CPU(未示出)讀取并執(zhí)行。
在步驟S9010，指示單元1050判斷操作員是否輸入數(shù)據(jù)獲取命令。操作員在置于一個(gè)位置上的物體上輸入數(shù)據(jù)獲取命令，以便獲取校準(zhǔn)數(shù)據(jù)。如果已經(jīng)輸入數(shù)據(jù)獲取命令，則指示單元1050前進(jìn)到步驟S9020。
在步驟S9020，數(shù)據(jù)管理單元1040從位置和方位計(jì)算單元1030輸入照相攝像機(jī)在物體坐標(biāo)系統(tǒng)中的位置和方位toc＝[xocyoczocξocψo(hù)cζoc]T。位置和方位計(jì)算單元1030連續(xù)地計(jì)算toc。使用表示從安裝在照相攝像機(jī)上的6自由度傳感器A1的測(cè)量結(jié)果sA1＝[xA1CyA1CzA1CξA1CψA1CζA1C]T獲取的照相攝像機(jī)在世界坐標(biāo)系統(tǒng)中的位置和方位的轉(zhuǎn)換矩陣Mwc(sA1)，和表示從安裝在物體上的6自由度傳感器A2的測(cè)量結(jié)果sA2＝[xA2OyA2OzA2OξA2OψA2OζA2O]T獲取的物體在世界坐標(biāo)系統(tǒng)中的位置和方位的轉(zhuǎn)換矩陣MWO，表示物體坐標(biāo)系統(tǒng)中照相攝像機(jī)的位置和方位的轉(zhuǎn)換矩陣Moc用表達(dá)式31表示。
MOC=MWO-1(sA2)·MWC(sA1)...(31)]]>將從表達(dá)式33獲取的矩陣Moc的線位移分量和方位分量進(jìn)行分離生成攝像裝置在物體坐標(biāo)系統(tǒng)中的位置和方位toc＝[xocyoczocξocψo(hù)cζoc]T。
在步驟S9030，數(shù)據(jù)管理單元1040從標(biāo)記檢測(cè)單元1020輸入標(biāo)記檢測(cè)單元1020檢測(cè)到的組成標(biāo)記Pkn的點(diǎn)的圖像坐標(biāo)組uPkni和其標(biāo)識(shí)符kn。標(biāo)記檢測(cè)單元1020連續(xù)地執(zhí)行標(biāo)記關(guān)于輸入圖像的檢測(cè)處理，所以該步驟的處理能夠在攝像裝置的位置和方位為toc的情況下獲取標(biāo)記的圖像坐標(biāo)。要注意的是，從標(biāo)記檢測(cè)單元1020輸入的信息不是必須為關(guān)于所有標(biāo)記的信息，此時(shí)在該點(diǎn)的關(guān)于圖像上檢測(cè)到的標(biāo)記的信息就已經(jīng)足夠。
接下來，在步驟S9040，數(shù)據(jù)管理單元1040將輸入的數(shù)據(jù)集DL添加到所有檢測(cè)到的標(biāo)記Pkn的數(shù)據(jù)表DL中。具體地，對(duì)于從位置和方位計(jì)算單元1030輸入的toc作為tocj＝[xocjyocjzocjξocjψo(hù)cjζocj]T，從標(biāo)記檢測(cè)單元1020輸入的標(biāo)識(shí)符kn作為knj，也是從標(biāo)記檢測(cè)單元1020輸入的uPkni作為uLPknji，數(shù)據(jù)集[tocj，uLPknji，knj]作為第L個(gè)數(shù)據(jù)被注冊(cè)到數(shù)據(jù)表DL中。要注意的是，j(j＝1到NJ)為每個(gè)所拍攝的圖像的索引，L(L＝1到NL)為每個(gè)在數(shù)據(jù)列表DL中注冊(cè)的數(shù)據(jù)集的索引，NJ表示所拍攝的圖像的總數(shù)，NL表示已經(jīng)注冊(cè)的數(shù)據(jù)集的總數(shù)。這樣，數(shù)據(jù)被獲得。
在步驟S9050，針對(duì)數(shù)據(jù)管理單元1040獲取的數(shù)據(jù)表判斷該數(shù)據(jù)表是否足夠以計(jì)算校準(zhǔn)信息。如果不滿足條件，則流程返回到步驟S9010，并等待數(shù)據(jù)獲取命令的輸入。另一方面，如果滿足校準(zhǔn)信息計(jì)算的條件，則流程前進(jìn)到步驟S9060。滿足校準(zhǔn)信息計(jì)算的條件的數(shù)據(jù)表的條件的一個(gè)例子是，數(shù)據(jù)表DL包含關(guān)于三個(gè)或更多個(gè)不同的參考標(biāo)記的數(shù)據(jù)。然而，在輸入的數(shù)據(jù)中差異性越大，則生成的校準(zhǔn)信息的準(zhǔn)確性就越高，所以可以作這樣一種安排，即將條件設(shè)定為請(qǐng)求大量的數(shù)據(jù)。
接下來，在步驟S9060，判斷操作員是否輸入校準(zhǔn)信息計(jì)算命令。如果已經(jīng)輸入校準(zhǔn)信息計(jì)算命令，則處理前進(jìn)到步驟S9070，而如果沒有輸入校準(zhǔn)信息計(jì)算命令，則流程返回到步驟S9010并等待數(shù)據(jù)獲取命令的輸入。
校準(zhǔn)信息計(jì)算單元1060對(duì)獲取的校準(zhǔn)信息進(jìn)行處理，即，作為6值向量的標(biāo)記物體坐標(biāo)系統(tǒng)中的位置和方位，與第二個(gè)實(shí)施例中相同。在下面的說明中，這個(gè)未知參數(shù)將作為狀態(tài)向量sm＝[xmymzmξmψmζm]T進(jìn)行描述。對(duì)于本實(shí)施例，tocj作為狀態(tài)向量scj＝[xocjyocjzocjξocjψo(hù)cjζocj]T描述。在步驟S9070，校準(zhǔn)信息計(jì)算單元1060分別給狀態(tài)向量sm和scj合適的初始值。對(duì)于Scj的初始值，采用從傳感器的輸出獲得的tocj。對(duì)于sm的初始值，操作員可以使用指示單元1050手工輸入一個(gè)普通值。使用從照相攝像機(jī)坐標(biāo)系統(tǒng)到物體坐標(biāo)系統(tǒng)的轉(zhuǎn)換矩陣MOC，和從物體坐標(biāo)系統(tǒng)到安裝在物體上的標(biāo)記坐標(biāo)系統(tǒng)的轉(zhuǎn)換矩陣MMO，從照相攝像機(jī)坐標(biāo)系統(tǒng)到標(biāo)記坐標(biāo)系統(tǒng)的轉(zhuǎn)換矩陣MMC通過表達(dá)式32獲取。
MMC＝MMO·MOC(32)在步驟S9080，針對(duì)所有的L，校準(zhǔn)信息計(jì)算單元1060從數(shù)據(jù)表DL中的每個(gè)數(shù)據(jù)集DL＝[tOCj，ujPknji，kj](其中j＝1，2到NJ，L＝1，2到NL)和狀態(tài)向量sm及scj，獲取的標(biāo)記Pknj的圖像坐標(biāo)的計(jì)算值u1LPknji′＝[uxLPknji′，uyLPknji′]。這里要注意的是，標(biāo)記的圖像坐標(biāo)的計(jì)算值是指圖像中的位置(坐標(biāo))數(shù)據(jù)，在該位置，標(biāo)記Pknj應(yīng)當(dāng)為可見的，該標(biāo)記Pknj在標(biāo)記坐標(biāo)系統(tǒng)中的位置向量hMPknj為已知，該標(biāo)記坐標(biāo)系統(tǒng)在物體坐標(biāo)系統(tǒng)中的位置和方位為sm。根據(jù)表達(dá)式33中所示的函數(shù)計(jì)算uLPknji′。
uLPknji′=FL(s)...(33)]]>狀態(tài)向量s＝[smsCj]表示標(biāo)記坐標(biāo)系統(tǒng)在物體坐標(biāo)系統(tǒng)中的位置。
具體地，函數(shù)如表達(dá)式34中所示設(shè)置。
cLPknji=xclPknjiyclPknjizclPknji1T=MOC-1(scj)·MOM(smPknj)·hMPknji...(34)]]>表達(dá)式34用于從sm、Scj和表達(dá)式35獲取在已經(jīng)獲取第L個(gè)數(shù)據(jù)集的點(diǎn)上(即在單個(gè)數(shù)據(jù)集中攝像裝置1010的位置和方位為tOcj的點(diǎn)上)標(biāo)記Pknj在照相攝像機(jī)坐標(biāo)中的位置向量cLPknji。
uLPknji′=uxLPknji′uyLPknji′T=-fxBxcLPknjizcLPknji-fyBycLPknjizcLPknjiT...(35)]]>表達(dá)式35用于從cLPknji獲取圖像中的標(biāo)記Pknj的坐標(biāo)uLPknji′。這里要注意的是，fBx和fBy分別表示照相攝像機(jī)在X軸方向和Y軸方向上的焦距，并且應(yīng)當(dāng)被理解為預(yù)先保留的已知值。MOM(smPknj)為由smPknj確定的模型轉(zhuǎn)換矩陣(用于將標(biāo)記坐標(biāo)系統(tǒng)中的坐標(biāo)轉(zhuǎn)換到物體坐標(biāo)系統(tǒng)中的坐標(biāo)的矩陣)，MOC-1(scj)是由scj確定的模型轉(zhuǎn)換矩陣(用于將物體坐標(biāo)系統(tǒng)中的坐標(biāo)轉(zhuǎn)換到照相攝像機(jī)坐標(biāo)系統(tǒng)中的矩陣)。MOM(smPknj)由表達(dá)式36定義。
MOM(sm)=ξm2θ2(1-cosθ)+cosθξmψmθ2(1-cosθ)-ζmθsinθξmζmθ2(1-cosθ)+ψmθsinθxmψmξmθ2(1-cosθ)+ζmθsinθψm2θ2(1-cosθ)+cosθψmζmθ2(1-cosθ)-ξmθsinθymζmξmθ2(1-cosθ)-ψmθsinθζmψmθ2(1-cosθ)+ξmθsinθζm2θ2(1-cosθ)+cosθzm0001...(36)]]>其中θ=ξm2+ψm2+ζm2...(37)]]>并且MOC-1(sCj)=ξA12θ2(1-cosθ)+cosθξA1ψA1θ2(1-cosθ)-ζA1θsinθξA1ζA1θ2(1-cosθ)+ψA1θsinθxA1ψA1ξA1θ2(1-cosθ)+ζA1θsinθψA12θ2(1-cosθ)+cosθψA1ζA1θ2(1-cosθ)-ξA1θsinθyA1ζA1ξA2θ2(1-cosθ)-ψA1θsinθζA1ψA1θ2(1-cosθ)+ξA1θsinθζA12θ2(1-cosθ)+cosθzA10001...(38)]]>其中θ=ξA12+ψA12+ζA12...(39)]]>在步驟S9090，校準(zhǔn)信息計(jì)算單元1060對(duì)所有的L使用表達(dá)式40計(jì)算數(shù)據(jù)表DL中包含在每個(gè)數(shù)據(jù)集中的標(biāo)記Pknj的實(shí)際圖像坐標(biāo)uLPknji和相應(yīng)的圖像坐標(biāo)邏輯值uLPknji′之間的誤差ΔuLPknji。
ΔulPknji=ulPknji-ulPknji′...(40)]]>
在步驟S9100，針對(duì)所有的L，校準(zhǔn)信息計(jì)算單元1060計(jì)算關(guān)于狀態(tài)向量s＝[SmScj]的圖像雅可比矩陣JuLPknjis(＝_uLPknji/_s)(即，(2×NL)行×(6×KO+6×KNJ)列雅可比矩陣，對(duì)其分量具有使用狀態(tài)向量sm和scj的分量通過對(duì)表達(dá)式33中函數(shù)Fj()求偏導(dǎo)獲得的解)。這里，NL表示所有檢測(cè)到的標(biāo)記的總數(shù)，KO為要校準(zhǔn)的標(biāo)記的總數(shù)，KNJ為拍攝的圖像的數(shù)量。
在步驟S9110，校準(zhǔn)信息計(jì)算單元1060根據(jù)前面針對(duì)所有的L計(jì)算出的誤差ΔuLPknji和雅可比矩陣JuLPknjis計(jì)算s的校正值Δs。具體地，與給定針對(duì)所有的L的誤差ΔuLPkndji垂直的2NL維向量的誤差向量如表達(dá)式41中所示。
U=ΔuLPk1ll······ΔuLPknji······ΔuNLPkNNJNk...(41)]]>與給定雅可比矩陣JuLPknjis垂直的(2×NL)行×(6×KO+6×KNJ)列矩陣如表達(dá)式42中所示也被創(chuàng)建。
Φ=Ju1sPk1l···JulsPknji·········JuNLsPkNNJi...(42)]]>
如表達(dá)式43中所示，用使用Φ的偽逆矩陣Φ+的表達(dá)式43計(jì)算Δs。
Δs＝Φ+U(43)現(xiàn)在，Δs為(6×KO+6×KNJ)維向量，所以只要2NL等于(6×KO+6×KNJ)或更大就可以得到Δs。要注意的是，Φ+可以通過Φ+＝(ΦTΦ)-1ΦT或其它方法獲得。
在步驟S9120，校準(zhǔn)信息計(jì)算單元1060使用在步驟S9110計(jì)算出的校正值Δs用表達(dá)式25(這里重復(fù)為表達(dá)式44)計(jì)算狀態(tài)向量s，并且將獲取的值作為新s。這里狀態(tài)向量s＝[smscj]為標(biāo)記在物體坐標(biāo)系統(tǒng)中的位置和方位的狀態(tài)向量sm和照相攝像機(jī)在物體坐標(biāo)系統(tǒng)中的位置和方位的狀態(tài)向量sCj。
s+Δs→s (44)在步驟S9130，校準(zhǔn)信息計(jì)算單元1060判斷是否已經(jīng)取得計(jì)算的收斂，該判斷使用某種判斷標(biāo)準(zhǔn)，例如誤差向量U是否小于預(yù)定的閥值，或者校正值Δs是否小于預(yù)定的閥值。如果判斷結(jié)果為沒有取得收斂，則校正后的狀態(tài)向量s被用于從步驟S6080重復(fù)執(zhí)行處理過程。
如果在步驟S9130中的判斷結(jié)果為已經(jīng)取得計(jì)算的收斂，則將在步驟S9140中校準(zhǔn)信息計(jì)算單元1060所獲取的狀態(tài)向量s的sm作為校準(zhǔn)信息，即，作為標(biāo)記坐標(biāo)系統(tǒng)在物體坐標(biāo)系統(tǒng)中的位置和方位。這時(shí)輸出的格式可以是sm自身，或者可以作這樣一種安排，即sm的位置分量用3值向量表示，方位分量用歐拉角或3×3放置矩陣表示或者可以為從sm生成的坐標(biāo)轉(zhuǎn)換矩陣MOM。
最后，在步驟S9150，判斷是否終止校準(zhǔn)處理。如果操作員指示標(biāo)記校準(zhǔn)設(shè)備1100終止校準(zhǔn)處理，則處理結(jié)束，如果操作員指示繼續(xù)進(jìn)行校準(zhǔn)處理(即重新校準(zhǔn))，則流程返回到步驟S9010并且等待數(shù)據(jù)獲取命令的輸入。
這樣，設(shè)置在攝像裝置上的與攝像裝置相關(guān)的標(biāo)記的位置或位置和方位(即，在在物體坐標(biāo)系統(tǒng)中)可以容易且準(zhǔn)確地獲取。
<修改4-1>
現(xiàn)在，雖然本發(fā)明已經(jīng)描述為攝像單元1010可以自由移動(dòng)，但是可以設(shè)置為同在第一和第二實(shí)施例中的俯瞰視角照相攝像機(jī)一樣，即攝像單元1010為固定的。在這種情況下，6自由度傳感器A1就不是必須的了，位置和方位計(jì)算單元1030根據(jù)預(yù)先作為已知值的攝像單元1010在世界坐標(biāo)系統(tǒng)中的位置和方位和從6自由度傳感器A2獲取的物體在世界坐標(biāo)系統(tǒng)中的位置和方位，計(jì)算攝像單元1010在物體坐標(biāo)系統(tǒng)中的位置和方位。對(duì)于第一和第二實(shí)施例，需要準(zhǔn)確地獲取俯瞰視角照相攝像機(jī)的位置和方位作為已知值，但是對(duì)于本實(shí)施例，位置和方位計(jì)算單元1030輸出的照相攝像機(jī)在物體坐標(biāo)系統(tǒng)中的位置和方位被校正，這具有優(yōu)點(diǎn)，即普通的位置和方位的輸入就足夠了。
其它實(shí)施例本發(fā)明可以通過向系統(tǒng)或設(shè)備提供用于存儲(chǔ)執(zhí)行上述實(shí)施例功能的軟件的程序代碼的存儲(chǔ)介質(zhì)(或記錄介質(zhì))和用于讀取和執(zhí)行存儲(chǔ)在存儲(chǔ)介質(zhì)中的程序代碼的系統(tǒng)或設(shè)備的計(jì)算機(jī)(或CPU或MPU(微處理單元))得以實(shí)現(xiàn)。在這種情況下，從存儲(chǔ)介質(zhì)讀取出的程序代碼自身實(shí)現(xiàn)上述實(shí)施例的功能。本發(fā)明不限于由計(jì)算機(jī)統(tǒng)執(zhí)行讀取出的程序代碼實(shí)現(xiàn)上述實(shí)施例的功能的情況；也不限于在計(jì)算機(jī)上運(yùn)行的操作系統(tǒng)或類似系統(tǒng)執(zhí)行部分或全部的實(shí)際處理，例如實(shí)現(xiàn)上述實(shí)施例的功能。
另外，本發(fā)明包括這樣的安排，即上述實(shí)施例的功能由從記錄介質(zhì)上讀取并寫入包括在插入計(jì)算機(jī)的功能擴(kuò)展卡中或連接到計(jì)算機(jī)的功能擴(kuò)展單元中的存儲(chǔ)器的程序代碼完成，接著被提供到功能擴(kuò)展卡或功能擴(kuò)展單元上的CPU或類似單元執(zhí)行部分或全部的實(shí)際處理，例如實(shí)現(xiàn)上述實(shí)施例的功能。
如果將本發(fā)明應(yīng)用到上述的存儲(chǔ)介質(zhì)中，則對(duì)應(yīng)于前面描述的流程圖的程序代碼被存入到存儲(chǔ)介質(zhì)中。
雖然本發(fā)明參照示例實(shí)施例進(jìn)行了說明，但是應(yīng)當(dāng)理解為本發(fā)明不限于所披露的實(shí)施例。相反，本發(fā)明有意覆蓋包括在所附的權(quán)利要求書中的精神和范圍中的各種修改和等同技術(shù)方案。下面的權(quán)利要求書的范圍與最寬的解釋一致，以便包括所有的這樣的修改和等同的結(jié)構(gòu)和功能。
權(quán)利要求
1.一種用于計(jì)算提供在物體上的標(biāo)記關(guān)于物體的位置的信息處理方法，該信息處理方法包括物體位置和方位信息獲取步驟，獲取物體的位置和方位信息；第一幅圖像輸入步驟，從俯瞰視角攝像單元輸入從物體的俯瞰視角拍攝的第一幅圖像；檢測(cè)步驟，從第一幅圖像上檢測(cè)標(biāo)記；標(biāo)記位置計(jì)算步驟，使用物體的位置和方位信息以及關(guān)于檢測(cè)到的標(biāo)記的圖像坐標(biāo)信息計(jì)算以物體作為參照的標(biāo)記的位置。
2.根據(jù)權(quán)利要求1的信息處理方法，其中物體包含第一人稱視角拍攝單元；其中，物體位置和方位信息獲取步驟還包括獲取用第一人稱視角拍攝單元拍攝的第二幅圖像，從第二幅圖像上提取出位于物體以外的標(biāo)記，并且根據(jù)關(guān)于從第二幅圖像提取出的標(biāo)記的圖像坐標(biāo)信息和預(yù)先保留的標(biāo)記位置信息，獲取第一人稱視角拍攝單元的位置和方位。
3.根據(jù)權(quán)利要求1的信息處理方法，其中多個(gè)標(biāo)記之間的相對(duì)位置是已知的。
4.根據(jù)權(quán)利要求1的信息處理方法，其中標(biāo)記在標(biāo)記坐標(biāo)系統(tǒng)中的位置是已知的；并且其中，在標(biāo)記位置計(jì)算步驟中計(jì)算用于在物體的位置和方位信息坐標(biāo)系統(tǒng)和標(biāo)記坐標(biāo)系統(tǒng)之間進(jìn)行轉(zhuǎn)換的轉(zhuǎn)換參數(shù)。
5.根據(jù)權(quán)利要求1的信息處理方法，其中物體以及俯瞰視角拍攝單元的相對(duì)位置和方位為未知參數(shù)。
6.根據(jù)權(quán)利要求5的信息處理方法，還包括計(jì)算俯瞰視角拍攝單元關(guān)于物體的位置和方位的計(jì)算。
7.根據(jù)權(quán)利要求1的信息處理方法，其中俯瞰視角拍攝單元是固定的。
8.根據(jù)權(quán)利要求1的信息處理方法，其中標(biāo)記位置計(jì)算步驟還包括估計(jì)步驟，根據(jù)標(biāo)記關(guān)于物體的的位置估計(jì)值，估計(jì)關(guān)于圖像中的標(biāo)記的圖像坐標(biāo)的信息；校正步驟，根據(jù)關(guān)于在所述檢測(cè)步驟中檢測(cè)到的標(biāo)記的圖像坐標(biāo)的信息和關(guān)于在所述估計(jì)步驟中估計(jì)的標(biāo)記的圖像坐標(biāo)的信息之間的誤差，校正估計(jì)值。
9.根據(jù)權(quán)利要求1的信息處理方法，其中標(biāo)記位置計(jì)算步驟以物體作為參照計(jì)算標(biāo)記的位置和方位。
10.根據(jù)權(quán)利要求9的信息處理方法，其中，標(biāo)記位置計(jì)算步驟還包括估計(jì)步驟，根據(jù)標(biāo)記關(guān)于物體的位置和方位的估計(jì)值，估計(jì)關(guān)于圖像中的標(biāo)記的圖像坐標(biāo)的信息；校正步驟，根據(jù)關(guān)于在所述檢測(cè)步驟中檢測(cè)到的標(biāo)記的圖像坐標(biāo)的信息和關(guān)于在所述估計(jì)步驟中估計(jì)的標(biāo)記的圖像坐標(biāo)的信息之間的誤差，校正估計(jì)值。
11.一種程序，用于在計(jì)算機(jī)上實(shí)現(xiàn)根據(jù)權(quán)利要求1的信息處理方法。
12.一種用于獲取提供在攝像裝置上要被校準(zhǔn)的標(biāo)記關(guān)于攝像裝置的放置信息的信息處理方法，該信息處理方法包括獲取用該攝像裝置拍攝的第一幅圖像；獲取攝像裝置從俯瞰視角位置拍攝的第二幅圖像；從第一幅圖像中檢測(cè)關(guān)于置于場(chǎng)景中的參考標(biāo)記的圖像坐標(biāo)的信息；從第二幅圖像中檢測(cè)關(guān)于要被校準(zhǔn)的標(biāo)記的圖像坐標(biāo)的信息；使用關(guān)于置于場(chǎng)景中的檢測(cè)到的參考標(biāo)記的圖像坐標(biāo)的信息和關(guān)于要被校準(zhǔn)的標(biāo)記的圖像坐標(biāo)的信息獲取校準(zhǔn)信息。
13.根據(jù)權(quán)利要求12的信息處理方法，其中俯瞰視角位置是場(chǎng)景中的固定位置。
14.根據(jù)權(quán)利要求12的信息處理方法，其中，使用關(guān)于參考標(biāo)記的圖像坐標(biāo)的信息計(jì)算攝像裝置的位置和方位；其中，根據(jù)關(guān)于攝像裝置的位置和方位的信息和要被校準(zhǔn)的標(biāo)記的圖像坐標(biāo)，計(jì)算校準(zhǔn)信息。
15.根據(jù)權(quán)利要求14的信息處理方法，其中，根據(jù)攝像裝置的位置和方位以及校準(zhǔn)信息的估計(jì)值，估計(jì)關(guān)于在第二幅圖像內(nèi)要被校準(zhǔn)的標(biāo)記的圖像坐標(biāo)的信息；其中，校正校準(zhǔn)信息的估計(jì)值，以便減小關(guān)于要被校準(zhǔn)的標(biāo)記的圖像坐標(biāo)的信息和估計(jì)的關(guān)于要被校準(zhǔn)的標(biāo)記的圖像坐標(biāo)的信息之間的誤差。
16.根據(jù)權(quán)利要求12的信息處理方法，其中校準(zhǔn)信息是提供在攝像裝置上的要被校準(zhǔn)的標(biāo)記關(guān)于攝像裝置的位置和方位信息；其中，根據(jù)關(guān)于要被校準(zhǔn)的標(biāo)記的圖像坐標(biāo)的信息和當(dāng)前校準(zhǔn)信息的估計(jì)值，計(jì)算攝像裝置的位置和方位信息；其中，根據(jù)關(guān)于攝像裝置的位置和方位的信息以及參考標(biāo)記的圖像坐標(biāo)，計(jì)算校準(zhǔn)信息。
17.根據(jù)權(quán)利要求12的信息處理方法，其中，校準(zhǔn)信息是提供在攝像裝置上要被校準(zhǔn)的標(biāo)記關(guān)于攝像裝置的位置和方位信息；其中，根據(jù)關(guān)于要被校準(zhǔn)的標(biāo)記的圖像坐標(biāo)的信息和當(dāng)前校準(zhǔn)信息的估計(jì)值，估計(jì)關(guān)于第一幅圖像內(nèi)的參考標(biāo)記的圖像坐標(biāo)信息；其中，校準(zhǔn)信息的估計(jì)值被校正以便減小關(guān)于參考標(biāo)記的圖像坐標(biāo)的信息與關(guān)于估計(jì)的參考標(biāo)記的圖像坐標(biāo)的信息之間的誤差。
18.根據(jù)權(quán)利要求12的信息處理方法，其中，關(guān)于要被校準(zhǔn)的標(biāo)記的圖像坐標(biāo)的信息是要被校準(zhǔn)的標(biāo)記確定的至少一個(gè)點(diǎn)的圖像坐標(biāo)。
19.一種用于計(jì)算提供在物體上的標(biāo)記的關(guān)于物體的位置的信息處理設(shè)備，該設(shè)備包括物體位置和方位獲取設(shè)備，用于獲取物體的位置和方位信息；圖像輸入單元，用于輸入從物體的俯瞰視角拍攝的圖像；檢測(cè)單元，用于從圖像上檢測(cè)標(biāo)記；以及標(biāo)記位置計(jì)算單元，用于使用物體的位置和方位以及關(guān)于檢測(cè)到的標(biāo)記圖像坐標(biāo)的信息以物體作為參照計(jì)算該標(biāo)記的位置。
20.根據(jù)權(quán)利要求19的信息處理設(shè)備，其中標(biāo)記位置計(jì)算單元用于計(jì)算標(biāo)記以物體為參照的位置和方位。
21.一種用于獲取提供在攝像裝置上的要被校準(zhǔn)的標(biāo)記關(guān)于攝像裝置的放置信息的信息處理設(shè)備，該信息處理設(shè)備包括第一幅圖像獲取單元，獲取用攝像裝置拍攝的第一幅圖像；第二幅圖像獲取單元，獲取攝像裝置從俯瞰視角位置拍攝的第二幅圖像；第一個(gè)檢測(cè)單元，從第一幅圖像上檢測(cè)關(guān)于放置于場(chǎng)景中的參考標(biāo)記的圖像坐標(biāo)的信息；第二個(gè)檢測(cè)單元，從第二幅圖像上檢測(cè)關(guān)于要被校準(zhǔn)的標(biāo)記的圖像坐標(biāo)的信息；計(jì)算單元，使用關(guān)于放置于場(chǎng)景中的檢測(cè)到的參考標(biāo)記的圖像坐標(biāo)的信息和關(guān)于要被校準(zhǔn)的標(biāo)記的圖像坐標(biāo)的信息，獲取校準(zhǔn)信息。
全文摘要
一種信息處理設(shè)備，用于獲取提供在攝像裝置上的要被校準(zhǔn)的標(biāo)記關(guān)于攝像裝置的放置信息，包括第一幅圖像獲取單元，獲取用攝像裝置拍攝的第一幅圖像；第二幅圖像獲取單元，獲取攝像裝置從俯瞰視角位置拍攝的第二幅圖像；第一個(gè)檢測(cè)單元，從第一幅圖像上檢測(cè)關(guān)于置于場(chǎng)景中的參考標(biāo)記的圖像坐標(biāo)信息；第二個(gè)檢測(cè)單元，從第二幅圖像上檢測(cè)關(guān)于要被校準(zhǔn)的標(biāo)記的圖像坐標(biāo)信息；校準(zhǔn)信息計(jì)算單元，使用關(guān)于第一個(gè)檢測(cè)單元和第二個(gè)檢測(cè)單元檢測(cè)到的參考標(biāo)記的圖像坐標(biāo)的信息獲取校準(zhǔn)信息。
文檔編號(hào)G01B11/03GK1865841SQ200510068068
公開日2006年11月22日 申請(qǐng)日期2005年5月16日 優(yōu)先權(quán)日2004年5月14日
發(fā)明者穴吹真秀, 佐藤清秀, 荒谷真一, 小竹大輔 申請(qǐng)人:佳能株式會(huì)社