国产自产21区,亚洲97,免费毛片网,国产啪视频,青青青国产在线观看,国产毛片一区二区三区精品

專利名稱：基于視頻中太陽影子軌跡的經(jīng)緯度估計方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理和地理信息系統(tǒng)技術(shù)領(lǐng)域，具體涉及一種經(jīng)緯度估計方法。

背景技術(shù)：
經(jīng)緯度的估計在軍事和民用中都有廣泛的應(yīng)用，在法醫(yī)學(xué)，安全領(lǐng)域，以及航海等領(lǐng)域也有著巨大的應(yīng)用潛力。本發(fā)明使用未進行相機校準(zhǔn)的視頻中的影子軌跡來估計照片采集位置的經(jīng)緯度信息。其輸入是用固定的針孔相機拍攝的含有真實世界垂直關(guān)系且在同一場景中含有兩個影子軌跡的視頻幀，如圖1所示。本發(fā)明技術(shù)的輸出是采集照片位置的經(jīng)緯度信息。
本發(fā)明中使用到的背景技術(shù)有(1)日晷的原理。投影日晷1是觀測日影記時的儀器。投影日晷不設(shè)置指時針，僅在地平面依地理緯度的不同繪制不同扁率的橢圓，在其上刻劃時間線，并將長軸指向正東西方向，南北向的短軸上則需刻上日期，指示立竿測量時刻的正確方向。(2)Fei Lu和操曉春等2提出的從影子軌跡恢復(fù)出地平線的原理。
目前基于圖像的經(jīng)緯度估計方法主要有James Hays和Alexei A.Efros2提出的基于單個圖像的經(jīng)緯度估計方法。該技術(shù)采用了一種純數(shù)據(jù)驅(qū)動的場景匹配技術(shù)。首先建立一個有地理標(biāo)志的圖像信息數(shù)據(jù)庫，對于測試圖像集手動的移除黑白圖像，藝術(shù)圖像，受噪音影響特別大的圖像和涉及隱私等的圖像，然后運用顏色直方圖，紋理直方圖，線性特征等技術(shù)進行場景匹配，最后基于數(shù)據(jù)驅(qū)動的地理信息估計。該方法需要超過600百萬張有地理標(biāo)記的GPS圖像，收集比較困難，而且這600百萬不能代表整個地球上的圖像樣本。該方法計算復(fù)雜度較高，在允許200km以內(nèi)定位精度時只有約16％的查全率和查準(zhǔn)率。Sunkavalli4提出一種基于顏色變化的經(jīng)緯度估計方法。該技術(shù)通過對場景進行光度分析，間接的得到太陽位置，進而在不需要衛(wèi)星數(shù)據(jù)和太陽在相機視場內(nèi)不可見的情況下，通過使用一般幾何限制得到經(jīng)緯度信息。但是這種方法限制條件很多，例如要求線性傳感器，要求朗伯平面，不考慮屏幕像素點上光的相互作用，僅僅考慮太陽光和環(huán)境光，而且建模復(fù)雜，誤差較大。
主要參考文獻 1http://en.wikipedia.org/wiki/Sundial. 2Fei Lu and Xiaochun Cao.Camera Calibration from Two Shadow Trajectories.Proceedings of the18th International Conference on Pattern Recognition，2006.(Fei Lu和操曉春，基于兩條影子軌跡的相機校準(zhǔn)，2006年第18屆模式識別國際會議) 3James Hays and Alexei A.Efros.Estimating geographic information from a single image.ProcIEEE Int.Conf.on Computer Vision and Pattern Recognition(CVPR)，F(xiàn)lorida，USA，June，2008.(James Hays和Alexei A.Efros，基于單張圖片的地理信息估計，2008年美國福羅里達州，IEEE計算機視覺與模式識別國際會議) 4Kalyan Sunkavalli and Fabiano Romeiro.What do color changes reveal about an outdoor scene.Proc IEEE Int.Conf.on Computer Vision and Pattern Recognition(CVPR)，F(xiàn)lorida，USA，June，2008.(Kalyan Sunkavalli和Fabiano Romeiro.戶外場景的顏色變化可以揭示什么，2008年美國福羅里達州，IEEE計算機視覺與模式識別國際會議)

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的上述不足，提供一種計算復(fù)雜度較低，精度較高，是一種利用自然圖像序列或視頻幀實現(xiàn)經(jīng)緯度估計的方法，利用該方法，能夠根據(jù)未經(jīng)過校準(zhǔn)的影子的位置，得出所拍攝圖像的經(jīng)緯度信息。
為此，本發(fā)明采用如下的技術(shù)方案 一種基于視頻中太陽影子軌跡的經(jīng)緯度估計方法，包括下列步驟 (1)獲取同一場景中含有至少兩個影子軌跡的自然圖像序列或視頻幀； (2)對每一幀圖像，檢測影子軌跡； (3)同一個影子軌跡里不同的兩個點的所確定的直線與對應(yīng)時刻另一個影子軌跡中的兩個點所確定的直線的交點即是一個滅點，計算滅點； (4)由各個滅點擬合出地平線； (5)在圖像中沿著有垂直關(guān)系的物體畫出兩條直線，計算出這兩條直線分別與地平線的交點坐標(biāo)，這兩個坐標(biāo)就是兩個互相垂直的滅點vx，vy坐標(biāo)； (6)根據(jù)公式計算焦距f，式中，u0，v0為相機主點即圖像中心點的坐標(biāo)，根據(jù)公式計算ω； (7)在地平線上找到另一對滿足限制的點vp，vvertical； (8)按照下列方法實現(xiàn)從圖像到經(jīng)過度量糾正的世界坐標(biāo)的轉(zhuǎn)換 1)任意取兩個點M，N，直線vxM，vyM，vpN，vverticalN的斜率分別記做k1，k2，k3，k4。
2)以

為半徑，以

為圓心得到一個圓其中

為直線vxM，vyM的夾角； 3)以

為半徑，以

為圓心得到另一個圓其中

為直線vpN，vverticalN的夾角； 4)計算上述兩個圓的交點α，β。
5)計算H＝AP，其中，(l1，l2，l3是地平線L∞的三個分量)， (9)根據(jù)公式X＝Hx還原出經(jīng)過度量糾正的世界坐標(biāo)，其中X是經(jīng)過度量糾正的世界坐標(biāo)中的點，x是圖像坐標(biāo)中的點； (10)擬合影子軌跡； (11)基于日晷原理，計算緯度φ； (12)按照下列方法計算經(jīng)度以太陽時間12點所對應(yīng)的視頻幀為中心，在步驟(10)所擬合的影子軌跡上尋找到極值點，并且記錄下該點所對應(yīng)的時刻t，通過以下公式來計算時間差值TT＝|t-12|+teot-tdst，其中，teot是時差，tdst是夏令時，如果t大于12點，那么經(jīng)度L為L＝Lmeridian-T/4，如果如果t小于12點，那么經(jīng)度L為L＝Lmeridian+T/4，其中，Lmeridian是該時區(qū)中央經(jīng)線。
作為優(yōu)選實施方式，上述的步驟(2)中運用基于最大流算法的圖分割方法，得到影子區(qū)域的二進制掩膜，對這個區(qū)域求主軸，主軸與二進制掩膜邊緣的交點即是影子的軌跡點；步驟(4)中采用隨機采樣一致性算法擬合地平線；步驟(11)中按照下列方法計算緯度φ設(shè)日晷上X軸指向東西方向，Y軸指向南北方向，水平距離X和垂直距離Y分別定義為X＝sinh和

其中，h是時角，其大小為h＝(T24-12)×15，T24是以24小時表示的標(biāo)準(zhǔn)時間，φ是所要估算的緯度值，根據(jù)方程計算φ，其中，δ是太陽的傾角，A是太陽的方位角。
本發(fā)明提供一種自然圖像序列或視頻幀中基于影子軌跡的經(jīng)緯度估計方法，從影子的軌跡來恢復(fù)出地平線，進而用恢復(fù)出來的地平線來消除透視畸變。本發(fā)明采用逆轉(zhuǎn)日晷設(shè)計，輸入是未經(jīng)過校準(zhǔn)的影子的位置，輸出是所拍攝圖像的經(jīng)緯度信息。Sunkavalli的方法的輸入之一要求提供三個互相正交的滅點，而本發(fā)明的方法從影子的軌跡本身恢復(fù)出幾何限制，而且本發(fā)明僅僅需要采集影子的軌跡。
本發(fā)明將經(jīng)緯度的估計應(yīng)用到視頻幀中。僅僅從影子的軌跡來恢復(fù)出地平線，進而用恢復(fù)出來的地平線來消除透視變形，并不要求投影的物體在圖像中可見。本發(fā)明相比James Hays和Alexei A.Efros提出的基于單個圖像的經(jīng)緯度估計方法，不需要收集大量的有地理標(biāo)記的GPS圖像。相比Sunkavalli提出的基于顏色變化的經(jīng)緯度估計方法，不需要提供三個互相正交的滅點，不需要非線性最小化，因此計算復(fù)雜度較低，但卻有較高的精度，且比他們的方法簡單。



圖1含有影子軌跡的視頻幀序列。
圖2本發(fā)明的經(jīng)緯度估計方法的總流程圖。
圖3標(biāo)注了經(jīng)過追蹤得到的不同時間的影子點的圖像，圖中，白色實線為擬合的兩個物體陰影的主軸，白色的星號標(biāo)記為計算的影子點。
圖4滅點的計算原理圖。
圖5(a)為經(jīng)過隨機采樣一致性算法擬合出來的地平線，其上的黑色十字號表示的點為滅點。
圖5(b)標(biāo)注了影子點的視頻圖像，圖中，黑色的點為圖像中觀測的影子點。
圖6通過日晷計算經(jīng)度原理圖。
圖7標(biāo)注了隨時間不斷變化的影子軌跡點以擬合出來的二次曲線的圖像，圖中白色的十字號表示的是隨時間不斷變化的影子軌跡點，白色的曲線是由軌跡點擬合出來的二次曲線。

具體實施例方式 本發(fā)明的技術(shù)方案如下首先獲取自然圖像序列或者視頻幀，并且對每一幀圖像運用基于最大流(MAX FLOW)算法的圖分割(graph cut)技術(shù)檢測出陰影區(qū)域的二進制掩膜，然后找到影子區(qū)域二進制掩膜的主軸，主軸與二進制掩膜區(qū)域邊緣的交點，就是所要求的影子的軌跡點。
然后，同一個影子軌跡里不同的兩個點的所確定的直線與對應(yīng)時刻另一個影子軌跡中的兩個點所確定的直線的交點就是一個滅點，這樣可以確定多個滅點。運用隨機采樣一致性算法，剔除掉異常值點后擬合出地平線。擬合互相垂直的滅點vx，vy，計算出仿射糾正和投影糾正矩陣從而得到只經(jīng)過相似變換的單應(yīng)矩陣。進而可以還原出經(jīng)過度量糾正的世界坐標(biāo)。
最后，利用最小二乘法實現(xiàn)二次曲線的擬合，擬合出經(jīng)過度量糾正世界坐標(biāo)中的影子點的軌跡，并且參考日晷設(shè)計，利用相似關(guān)系估計出緯度。利用二次曲線的極值點計算時差，從而有效地恢復(fù)出所拍攝圖像的經(jīng)緯度信息。
下面結(jié)合附圖和實施例對本發(fā)明做進一步詳述。
參見圖1，本發(fā)明的基于影子軌跡的經(jīng)緯度估計方法，包括下列步驟 步驟1獲取視頻幀 獲取同一場景中含有至少兩個影子軌跡的自然圖像序列或者同一場景中含有至少兩個影子軌跡的視頻幀。圖1為含有影子軌跡的視頻幀序列。
步驟2檢測影子軌跡 本實施例使用如下半自動的檢測方法對每一幀圖像，運用基于最大流(MAXFLOW)算法的graph cut(圖分割)技術(shù)，得到影子區(qū)域的二進制掩膜，對這個區(qū)域求主軸，主軸與二進制掩膜邊緣的交點就是所要的影子的軌跡點。還可以采用現(xiàn)有的圖像處理技術(shù)中常見的基于閾值的圖像分割方法檢測影子軌跡。本實施例采用全局最優(yōu)的方法檢測影子軌跡，因而檢測效果要更好些。
圖3為經(jīng)過追蹤得到的不同時間的影子點。圖中，白色實線為擬合的兩個物體陰影的主軸，白色的星號標(biāo)記為計算的影子點。
步驟3計算滅點 由于太陽光是平行的，同一個影子軌跡里不同的兩個點的所確定的直線與對應(yīng)時刻另一個影子軌跡中的兩個點所確定的直線的交點就是一個滅點。圖4為滅點的計算原理圖。圖中，3D點ti在不同時刻j在地面上的投影為Sij。
如圖4，影子軌跡1上任何兩個時刻所收集到的影子點所確定的直線與影子軌跡2上對應(yīng)時刻所收集到的影子點所確定的直線是平行的，因此我們可以求得滅點。原理是這樣的圖4中ti是世界坐標(biāo)中的點，bi是ti距離地面最近的點，即tibi與地面垂直。而Sij表示不同時刻j影子點的位置。于是在3D世界坐標(biāo)中有由于太陽距離地球大約1.52*1012米，我們可以假設(shè)太陽光是平行的，故b1S11和b2S21平行，b1S12和b2S22是平行的。垂直地面的兩個物體t1b1和t2b2也是平行的。因此可以得到Δb1s11s12和Δb2s21s22相似，進而有直線S11S12和S21S22平行。可見bi在此步的計算當(dāng)中并不需要，因此，在圖像中不要求物體一定可見，并且同一個影子軌跡里不同的兩個點所確定的直線與對應(yīng)時刻另一個影子軌跡中的兩個點所確定的直線的交點就是一個滅點。
步驟4計算地平線L∞ 假設(shè)每條影子的軌跡上都有n個時刻對應(yīng)的n個點，那么用步驟3我們可以求出Cn2個滅點，但是由于噪音的影響這些點中可能有異常值點，會影響擬合出來的地平線。因此，我們對所得到的Cn2個滅點運用隨機采樣一致性算法，剔除掉異常值點后再擬合地平線。其中隨機采樣一致性算法的思想如下 1.隨機的選擇2個點。
2.實例化一條直線。
3.計算出滿足直線模型的內(nèi)點的個數(shù)，記為ni。
4.如果ni的值大于閾值，則程序終止，返回所得到的模型。閾值通常是依據(jù)經(jīng)驗值取得。在本發(fā)明中，我們閾值取的是5。
5.重復(fù)N次測試，直到所得到的模型的ni的值最大，N可以靈活定義。本發(fā)明中N取的是100。
因此從隨著時間變化的影子軌跡中我們可以還原出由各個滅點所擬合出的直線，即地平線L∞。計算結(jié)果如圖5(a)所示。
圖5(b)為標(biāo)注了影子點的視頻圖像，圖中，黑色的點為圖像中觀測的影子點。
步驟5計算滅點vx，vy 3D世界中有垂直關(guān)系的物體在圖像中是隨處可見的，例如圖像中的兩面互相垂直的墻，圖像中與地面垂直的桿等。在圖像中沿著在3D世界中有垂直關(guān)系的物體畫出兩條直線。計算出這兩條直線分別與地平線的交點坐標(biāo)，這兩個坐標(biāo)就是兩個互相垂直的滅點vx，vy。
步驟6計算焦距f 步驟5計算的vx，vy為一對正交滅點，對絕對二次曲線的圖像ω提供了一個線性的約束由于ω＝K-TK-1，其中為相機內(nèi)部參數(shù)矩陣，f為相機焦距，λ為縱橫比，u0，v0為相機主點即圖像中心點的坐標(biāo)，γ為偏斜系數(shù)。通常情況下，常用相機內(nèi)部參數(shù)K的縱橫比λ取值為1，偏斜系數(shù)γ為0。絕對二次曲線的圖像ω只依賴于變量f。因此，通過vx，vy我們可以計算焦距f和絕對二次曲線的圖像ω如下 步驟7在地平線上找到另一對滿足限制的點 找到這樣點的求解方式有很多，其中一種求解方式如下 1.求解第一個點。因為vx，vy都在地平線上，所以滿足如下線性約束 由(1)(2)可以得出 令vp＝vx+vy，由(3)式可知vp是在地平線上的。vp為所求的第一個點。
2.求解滿足約束的第二個點。首先求出一條與vp垂直的直線Lp，Lp滿足約束Lp＝ωvp。Lp與地平線L∞的交點就是另一個滿足條件的點vvertical。
步驟8從圖像到經(jīng)過度量糾正的世界坐標(biāo)的轉(zhuǎn)換 1.任意取兩個點M，N。直線vxM，vyM，vpN，vverticalN的斜率分別記做k1，k2，k3，k4。
2.以

為半徑，以

為圓心可以在虛平面內(nèi)得到一個圓。其中

為直線vxM，vyM的夾角，本發(fā)明中為90°。第一個圓的方程為 3.以

為半徑，以

為圓心可以在虛平面內(nèi)得到另一個圓。其中

為直線vpN，vverticalN的夾角，本發(fā)明中為90°。第二個圓的方程為 4.解兩個方程(1)(2)得到虛平面內(nèi)兩個圓的交點α，β。
5.H＝AP。
其中，(l1，l2，l3是地平線L∞的三個分量)， 步驟9還原出經(jīng)過度量糾正的世界坐標(biāo) 根據(jù)公式X＝Hx，其中X是經(jīng)過度量糾正的世界坐標(biāo)中的點，x是圖像坐標(biāo)中的點。
步驟10利用最小二乘法實現(xiàn)影子軌跡的擬合以及緯度的估計 參見圖6，圖中的F點是靜態(tài)物體距離地面最近的點即腳點，S是影子軌跡點，P是影子軌跡點在過F點與X軸平行的直線上的投影點。顯然，ΔFSP和ΔFMN相似。于是根據(jù)三角形相似的比例關(guān)系可以推導(dǎo)出經(jīng)度。
根據(jù)天文知識，一天當(dāng)中靜態(tài)物體影子軌跡近似一個二次曲線。利用最小二乘法擬合出影子軌跡的二次曲線。而投影日晷通過觀測投影方向來計時，其影子軌跡是一個橢圓。如圖6所示通過日晷計算經(jīng)度原理圖日晷上X軸指向東西方向，Y軸指向南北方向。水平距離X和垂直距離Y分別定義為 X＝sinh(8)
其中，h是時角，其大小為h＝(T24-12)×15，T24是以24小時表示的標(biāo)準(zhǔn)時間。φ是所要估算的緯度值。投影物體腳點的位置跟投影日晷中心的關(guān)系為E＝tanδcosφ，其中δ是太陽的傾角。由于ΔFSP和ΔFMN相似，所以可以得 其中A是太陽的方位角。式子(10)中，只有一個未知數(shù)φ，它就是所要估算的緯度值。
步驟11計算經(jīng)度 以太陽時間12點所對應(yīng)的視頻幀為中心，在步驟10所擬合的二次曲線上找到極值點，并且記錄下該點所對應(yīng)的時刻t。因此時間差值T可以通過以下公式來計算 T＝|t-12|+teot-tdst(11) 其中，teot是時差，tdst是夏令時。由于經(jīng)度每隔15度，地方時相差1小時。因此，如果t大于12點，那么經(jīng)度L為 L＝Lmeridian-T/4(12) 如果如果t小于12點，那么經(jīng)度L為 L＝Lmeridian+T/4(13) 其中，Lmeridian是該時區(qū)中央經(jīng)線。
圖7標(biāo)注了隨時間不斷變化的影子軌跡點以擬合出來的二次曲線的圖像，圖中白色的十字號表示的是隨時間不斷變化的影子軌跡點，白色的曲線是由軌跡點擬合出來的二次曲線。
權(quán)利要求
1.一種基于視頻中太陽影子軌跡的經(jīng)緯度估計方法，包括下列步驟
(1)獲取同一場景中含有至少兩個影子軌跡的自然圖像序列或視頻幀；
(2)對每一幀圖像，檢測影子軌跡；
(3)同一個影子軌跡里不同的兩個點的所確定的直線與對應(yīng)時刻另一個影子軌跡中的兩個點所確定的直線的交點即是一個滅點，計算滅點；
(4)由各個滅點擬合出地平線；
(5)在圖像中沿著有垂直關(guān)系的物體畫出兩條直線，計算出這兩條直線分別與地平線的交點坐標(biāo)，這兩個坐標(biāo)就是兩個互相垂直的滅點vx，vy坐標(biāo)；
(6)根據(jù)公式計算焦距f，式中，u0，v0為相機主點即圖像中心點的坐標(biāo)，根據(jù)公式計算ω；
(7)在地平線上找到另一對滿足限制的點vp，vvertical；
(8)按照下列方法實現(xiàn)從圖像到經(jīng)過度量糾正的世界坐標(biāo)的轉(zhuǎn)換
1)任意取兩個點M，N，直線vxM，vyM，vpN，vverticalN的斜率分別記做k1，k2，k3，k4。
2)以
為半徑，以
為圓心得到一個圓其中
為直線vxM，vyM的夾角；
3)以
為半徑，以
為圓心得到另一個圓其中
為直線vpN，vverticalN的夾角；
4)計算上述兩個圓的交點α，β。
5)計算H＝AP，其中，(l1，l2，l3是地平線L∞的三個分量)，
(9)根據(jù)公式X＝Hx還原出經(jīng)過度量糾正的世界坐標(biāo)，其中X是經(jīng)過度量糾正的世界坐標(biāo)中的點，x是圖像坐標(biāo)中的點；
(10)擬合影子軌跡；
(11)基于日晷原理，計算緯度φ；
(12)按照下列方法計算經(jīng)度以太陽時間12點所對應(yīng)的視頻幀為中心，在步驟(10)所擬合的影子軌跡上尋找到極值點，并且記錄下該點所對應(yīng)的時刻t，通過以下公式來計算時間差值TT＝|t-12|+teot-tdst，其中，teot是時差，tdst是夏令時，如果t大于12點，那么經(jīng)度L為L＝Lmeridian-T/4，如果如果t小于12點，那么經(jīng)度L為L＝Lmeridian+T/4，其中，Lmeridian是該時區(qū)中央經(jīng)線。
2.根據(jù)權(quán)利要求1所述的基于視頻中太陽影子軌跡的經(jīng)緯度估計方法，其特征在于，步驟(2)中運用基于最大流算法的圖分割方法，得到影子區(qū)域的二進制掩膜，對這個區(qū)域求主軸，主軸與二進制掩膜邊緣的交點即是影子的軌跡點。
3.根據(jù)權(quán)利要求1所述的基于視頻中太陽影子軌跡的經(jīng)緯度估計方法，其特征在于，步驟(4)中采用隨機采樣一致性算法擬合地平線。
4.根據(jù)權(quán)利要求1所述的基于視頻中太陽影子軌跡的經(jīng)緯度估計方法，其特征在于，步驟(11)中按照下列方法計算緯度φ設(shè)日晷上X軸指向東西方向，Y軸指向南北方向，水平距離X和垂直距離Y分別定義為X＝sinh和
其中，h是時角，其大小為h＝(T24-12)×15，T24是以24小時表示的標(biāo)準(zhǔn)時間，φ是所要估算的緯度值，根據(jù)方程計算φ，其中，δ是太陽的傾角，A是太陽的方位角。
全文摘要
本發(fā)明屬于圖像處理和地理信息系統(tǒng)技術(shù)領(lǐng)域，涉及一種基于視頻中太陽影子軌跡的經(jīng)緯度估計方法先獲取自然圖像序列或者視頻幀，并且對每一幀圖像檢測出影子的軌跡點；然后確定多個滅點，并擬合出地平線；擬合互相垂直的滅點，計算出仿射糾正和投影糾正矩陣；進而還原出經(jīng)過度量糾正的世界坐標(biāo)；再擬合出經(jīng)過度量糾正世界坐標(biāo)中的影子點的軌跡，并且參考日晷設(shè)計，利用相似關(guān)系估計出緯度；利用二次曲線的極值點計算時差，從而有效地恢復(fù)出所拍攝圖像的經(jīng)緯度信息。本發(fā)明復(fù)雜度較低，精度較高，是一種利用自然圖像序列或視頻幀實現(xiàn)經(jīng)緯度估計的方法，能夠根據(jù)未經(jīng)過校準(zhǔn)的影子的位置，得出所拍攝圖像的經(jīng)緯度信息。
文檔編號G01C1/00GK101493322SQ20091006781
公開日2009年7月29日 申請日期2009年2月4日 優(yōu)先權(quán)日2009年2月4日
發(fā)明者操曉春, 曲彥齡, 孫濟洲, 琳 武, 郭曉杰, 煒 張 申請人:天津大學(xué)