專利名稱：以視頻感知的障礙物防撞方法與裝置的制作方法
技術領域：
本發明涉及一種障礙物防撞裝置和其實施方法，尤其涉及一種以視頻感知為基礎，而特別適合運用于交通工具的防撞裝置及方法。
背景技術：
國內已經有許多學術研究單位正在從事汽車防追尾的研究，以國立交通大學的智能型運輸系統(Intelligent Transportation Systems；ITS)集成計劃里的汽車防撞警示子系統為例，其原理是采用超聲波傳感器測量車輛之間的距離。在國外，有關汽車相關的安全系統方面的研究已進行了幾年時間，而且已結合其它相關的信息系統集成為智能型運輸系統ITS，目前已完成自動防撞裝置(Automotive Collision Avoidance System；ACAS)，其原理是使用紅外線測量駕駛員本身所駕駛的車子與前方車子之間的距離，進而推算出兩車之間的相對速度，最后同樣透過人機介面來提醒駕駛員做出安全措施。ACAS的建立可利用傳感器接收環境信息、利用檢索的圖像作車輛識別和建立防追尾策略三個流程說明其系統結構。
傳感器的功能在于能檢索外部環境的信息，目前國內外相關實驗所使用到的傳感器，如川端昭所提出的超聲波(最新超聲波工程)、Health Physics所提出的無線電波及激光(紅外線)(International Commission onNon-Ionizing Radiation ProtectionGuidelines for limiting exposureto time-varying electric，magnetic and electromagnetic fields)、Wann所提出的GPS三點定位(Position tracking and velocity estimation formobile positioning systems)、Kearney所提出的CCD攝影機(Cameracalibration using geometric constraints)等。各個傳感器的特性如表1所示。
表1傳感器的特性
由表1可知利用CCD攝影機檢索圖像雖可提供最完整的路況信息，但缺點是容易受光線干擾，且無法運用在夜間的障礙物識別。
目前，國內外利用圖像做車輛識別的方法很多，包含Yamaguchi所提利用車牌識別(A Method for Identifying Specific Vehicles Using TemplateMatching)、Marmoiton所提出的三個前方已知方位易識別標志(Locationand relative speed estimation of vehicles by monocular vision)、Kato所提出的圖形識別(Preceding Vehicle Recognition Based on LearningFrom Sample Images)、Kruger提出的光學流量(Real-time estimation andtracking of optical flow vectors for obstacle detection)及Lutzeler所提出的車輛圖像圖騰或邊界組合的對比(EMS-visionrecognition ofintersections on unmarked road networks)。各種圖像識別車輛方法的比較如表2。
表2圖像識別車輛方法
防撞反應策略主要是模擬人類在發生追尾事故前所做的反應，一般人類通過觀察與前車的距離與相對速度便能憑經驗與直覺做出適當的反應，避免追尾事故的發生。國內外針對主動式駕駛安全系統所提出的防撞反應策略的研究相當多。其中，Mar J.所提出的car-following collision preventionsystem(CFCPS)及An ANFIS controller for the car-following collisionprevention system在對多個相關防撞反應策略做比較之后，在防撞的表現上已獲得一個優異的成效。CFCPS是以前后車的相對速度、前后車的距離減去安全距離所得的值為輸入，并以25條模糊規則為主的模糊推論引擎為計算核心，最后求得一個車輛加減速的依據。另外其在探討為使車輛達到安全穩定，也即此時前后車輛的距離等于安全距離，以及前車與后車的行駛速度相等，系統所需花費的時間時提到，CFCPS僅需要7-8秒，同類性質的實驗如GM(General Motors)model需10秒，Kikuchi and Chakroborty model則需12-14秒。
發明內容
本發明的主要目的在提出一種實施于全天候障礙物防撞方法及裝置，以使得能在白天和晚上進行障礙物識別，且無需經由復雜的模糊規則推論運算即可得出一套防撞策略，以供一系統載體的駕駛員作為行車時的依據。
本發明的另一目的在提出一種實施于全天候障礙物防撞方法及裝置，使圖像傳感器的定位因系統載體受撞擊而改變時，無需經實地測量即可直接自行恢復其定位。
為達到上述目的，本發明揭示一種以視頻感知的障礙物防撞方法，其應用于一個障礙物和一個移動中的系統載體，且一個圖像傳感器架設于系統載體。所述障礙物防撞方法包含下列步驟(a)-(f)，其中步驟(a)是檢索系統載體的復數個圖像并進行分析；步驟(b)是定位所述圖像傳感器；步驟(c)是執行一個障礙物識別流程；步驟(d)是獲取所述系統載體的絕對速度；步驟(e)是獲取所述系統載體與所述障礙物的一個相對距離和一個相對速度；以及步驟(f)是執行一個防撞策略。其中步驟(a)于另一實例中，其所檢索的復數個圖像可位于所述系統載體的前、后、右或右，或者可于時間的第一與第二時刻進行檢索。
上述的防撞方法可以一個視頻感知的障礙物防撞裝置加以實施，其裝設于一個系統載體上且主要包含一個圖像傳感器、一個運算單元和一個報警器。所述圖像傳感器用以檢索所述復數個圖像并得以識別障礙物，所述運算單元可將所述復數個圖像進行分析。若分析結果認為有障礙物存在，則所述報警器將發出聲光或產生震動以進行報警。
圖1為本發明的以視頻感知的障礙物防撞裝置示意圖；圖2為本發明的以視頻感知的障礙物防撞方法的流程圖；圖3為圖2的分析所述障礙物的復數個圖像步驟的流程圖；圖4為深度距離測量的成像幾何圖；圖5為感光電板的硬件結構示意圖；圖6為測量橫向距離的成像幾何圖；圖7為以車輛為實施例時的高度測量(檢測方形框的像素長度ldw)圖像示意圖；圖8(a)-(d)為車輛在四種不同深度距離時在圖像上呈現不同的ldw的示意圖；圖9為定位圖像傳感器的圖像幾何關系圖；圖10為圖2的提供一個障礙物識別流程步驟的流程圖；圖11(a)-(f)例示六種掃描線形態；圖12為圖2的執行一個防撞策略步驟的流程圖；圖13(a)、13(b)和13(c)例示利用布林變數所作的障礙物識別的實驗示意圖；圖14為夜間雨天的路面反光對障礙物識別影響圖；和圖15為例示圖像中車輛的外框檢索示意圖。
具體實施例方式
圖1所示為本發明所揭示的一種以視頻感知的障礙物防撞裝置20，其裝設于一個系統載體24上。所述防撞裝置20主要包含一個圖像傳感器22、一個運算單元26和一個報警器25。所述圖像傳感器22可進行掃描，并檢索經掃描的一個障礙物21復數個圖像。所述運算單元26針對所述復數個圖像進行分析。若分析結果認為有所述障礙物21存在，則所述報警器25將發出聲光或產生震動進行報警。所述圖像傳感器22于另一實施例中，可檢索位于所述系統載體24前、后、右或右的復數個圖像，或者可于時間的第一與第二時刻進行檢索。
圖2所示為本發明的以視頻感知的障礙物防撞方法10的流程。其包含以下步驟11-16，其中步驟11為檢索復數個圖像并進行分析，步驟12為定位所述圖像傳感器，步驟13為執行一個障礙物識別流程，步驟14為獲取所述系統載體的絕對速度，步驟15為獲取所述系統載體與所述障礙物的一個相對距離和一個相對速度，以及步驟16為執行一個防撞策略。
以下說明上述步驟的詳細內容步驟11是檢索并分析所述復數個圖像，其包含下列步驟(參圖3)(a)測量深度距離111(即所述系統載體24與所述障礙物21的相對距離)深度距離測量的成像幾何圖形如圖4所示，此圖含括兩個坐標系統二維圖像平面坐標(Xi，Yi)及三維實際空間坐標(Xw，Yw，Zw)。前者的坐標原點為圖像平面50中心Oi，后者坐標原點Ow為圖像傳感器22鏡頭的物理幾何中心。Hc(height of images ensor)表示Ow到地面的垂直高度，即 f為圖像傳感器22的焦距。圖像傳感器22的光學軸52以 表示，此射線與地面的交點為C；點A位于一條平行于地面并通過Ow的射線上。若有一個目標點D位于F點正前方L距離處，且D點在圖像平面的對應點為E。若l=OiE‾,]]>L1＝FC、θ1＝∠AOwC、θ2＝∠COwD＝∠EOwOi且θ3＝∠KOwD＝∠GOwE。可以獲得以下關系式θ1=tan-1(HCL1)---(1)]]>=tan-1(Δp1*(c-y1)f)---(2)]]>
θ2=tan-1(lf)---(3)]]>L=HCtan(θ1+θ2)---(4)]]>l＝pl×Δpl(5)pl=fΔpl×tan((tan-1HCL-θ1))---(6)]]>此處圖像傳感器22焦距f為已知，c取為圖像縱坐標值的一半(240*320的圖像的c值為120)，HC、L1可由實際測量獲得，yl代表一條直路盡頭在圖像中的位置，容易由人眼經由圖像快速判斷而得知；θ1又稱為圖像傳感器22的俯角(Depression Angle；DA)，是一個影響坐標映射的重要參數，式(1)及(2)為兩種簡易圖像校準方法，可無需另外由角度測量儀測量即可通過推導得出θ1。式(3)的l可經圖像處理及式(5)、(6)獲得，其中pl為像素長度(pixel length)，表示圖4的 所占的像素量，Δpl為圖像平面上像素間的間距。式(4)求得的L，即為圖像傳感器22與前方障礙物21的真實距離。
Δpl的測量牽扯到對于圖像傳感器22硬件結構的認識，以CCD攝影機的感光電板為例，其硬件結構如圖5所示。像素分辨率為640*480(px*py)的感光電板負責接收外在的光色彩信號，圖像傳感器22對角線的長度(S)為1/3英寸，因此可由式(7)換算出像素的間距Δpl(厘米)。
Δpl=S×pypx2+py2×1py]]>=13×213×1480=9.77×10-3---(7)]]>另外，Δpl也可由圖像求得，根據式(1)-(4)可得式(8)。
L=HCtan(θ1+θ2)=Hctan(tan-1(HCL1)+tan-1(pl×Δplf))---(8)]]>當圖像傳感器22的焦距f為已知時，pl可由圖4觀察得知，HC、L1、L可經由實際測量而得。接著可求出Δpl。為求得較具代表性的Δpl，不同的pl可對應于不同的Δpl，因此可取多點Δpl以獲得多個Δpl，并求多個Δpl的平均；或可利用多個Δpl及f的聯立方程式求解Δpl。由實驗結果獲得Δpl為8.31×10-3(厘米)，準確率達85％。
(b)測量橫向的距離112若將圖4中KG與DE自圖中抽離出來，其內部幾何關系不變的條件之下，另外參圖6做更清楚的說明。圖6表示DK橫向距離測量的幾何關系圖，圖中的D點若向負Xw方向移動W距離便可得到K點，實際空間坐標位置為(-W，HC，L)。K點在圖像平面上的成像為G點，平面坐標位置為(-w，l)。 表示 的向量； 表示 的向量。可得關系式(9)及(10)。
θ3=cos-1n→·a→|n→||a→|---(9)]]>W＝HCcsc(θ1+θ2)tanθ3=w×HC2+L2f2+l2---(10)]]>(c)測量所述障礙物的高度113圖7說明所述障礙物21以車輛為實施例時的高度測量方法。在一臺車輛所能形成的圖像范圍內，如其所示的方形框，其像素長度ldw(1ength ofdetection window)可由下列式(11)求得。式(11)中的C為圖像橫坐標值的一半，對橫-縱坐標為240*320的圖像而言，C取值為240/2＝120。i為車尾在圖像平面的縱坐標值，此值由下而上依序遞增其坐標值。式(11)的pl′可由式(12)獲得，式中的HV為車輛高度、HC為車輛寬度，L_p為i對映到實際空間點的深度。參照圖8(a)-(d)所示，對不同L_p而言，同一輛車會在圖像上呈現不同的ldw，此時的圖像傳感器22為固定不動的狀態。L_p可由式(13)獲得，θ1為式(1)的圖像傳感器22的俯角，θ2＝∠COwD＝∠EOwOi(參照圖4)。
ldw＝c+pl′-i (11)pl′=fΔpl×tan(θ1+tan-1(HV-HCL_p))---(12)]]>L_p=HCtan(θ1+θ2)---(13)]]>表3為四個實施例，其中HV＝134cm，L1＝1836cm，HC＝129cm，用以證明式(11)-(13)是可行的。另外可觀察得知平均誤差率約在7.21％，也即其準確率達90％以上，可明顯發現式(11)-(13)是可實際應用的。
表3 驗證式(11)-(13)可行度的統計表
步驟12為定位所述圖像傳感器，其包含以下各步驟(參圖9)(a)首先，由掃描線linel由下而上每隔約3-5米作橫向掃描，假設掃描到linel’時找到具有路面邊線特征的點p(位于道路中央分隔線段32上)、p’(位于道路邊線31上)；(b)由p點沿著圖左邊的道路中央分隔線段32朝上下方尋找出所述道路中央分隔線段32(一般為白色線段)的兩端點，如p1、p2，并據以分別形成line3和line2，另p1’、p2’是line3、line2各自與圖右邊道路邊線31的交點；(c)找出p1p2(line4)、p1′p2′(line5)兩射線的交點y1；(d)y1代入式(2)，因此圖像傳感器22的俯角θ1可得；(e)另外根據圖9與式(4)，可推導出式(14)，其中La和La′分別為line3和line2與圖像傳感器22的深度距離；另外參看圖4，θ2、θ2′分別為依據La、La′所定義的不同的∠COwD。
La=Hctan(θ1+θ2)La′=Hctan(θ1+θ2′)---(14)]]>由式(14)中可得式(15)，其中C1為一路面線段的長度。
Hc=C1(1tan(θ1+θ2)-1tan(θ1+θ2′))---(15)]]>θ1(圖像傳感器22的俯角)及Hc(圖像傳感器22到地面的高度)求出后，即表示所述圖像傳感器22已被定位。
由于本發明的障礙物防撞方法及裝置，可由圖像分析直接求得圖像傳感器的俯角與高度，因而即使圖像傳感器的定位因系統載體受撞擊而改變時，其無需經實地測量即可直接自動重新定位。
以上θ1及Hc的自動求得均需事先已知f(攝影機鏡頭的焦距)與Δpl(圖像平面上像素間的間距)兩參數的值，以下另外提出f與Δpl如何經由圖像自動求得的方法。根據式(15)可推導出式(16)，同理由式(16)可演繹出式(17)Hc×(tan(θ1+θ2′)-tan(θ1+θ2)tan(θ1+θ2)×tan(θ1+θ2′))=C1---(16)]]>Hc×(tan(θ1+θ2′′)-tan(θ1+θ2)tan(θ1+θ2)×tan(θ1+θ2′′))=C10---(17)]]>式(16)與(17)中，C1為一路面線段的長度，C10為路面線段的間距，都是已知值。Hc、θ1、θ2、θ2′及θ2″都是f與Δpl的函數。也即現有f與Δpl兩個未知數，并有由f與Δpl兩個未知參數建立的式(16)與(17)兩個恒等式，因此f與Δpl兩參數可得。
步驟13為執行一個障礙物識別流程，其包含以下步驟(參圖10)(a)設定一個掃描線形態131，所述掃描線形態選自以下任一個形態，如圖11(a)-(f)所示，框中所示即為所得的圖像。
形態一單線型掃描線，如圖11(a)。
形態二曲折型掃描線，如圖11(b)，其掃描方式敘述如下兩條邊線33所包圍的范圍是圖像傳感器22位置前方左右共寬約數米的范圍，掃描寬度視需求而定。掃描線40以曲折的形態由圖像底部往上對像素點逐一掃描，每前進約數米的深度距離時作變向掃描，前進的距離也視需求而定。
形態三三條線型掃描線，如圖11(c)，為三條直線型掃描線40的掃描形態，其包含的范圍約為圖像傳感器22所在系統載體24正前方左右共寬1.5倍于所述系統載體24的寬度。
形態四五條線型掃描線，如圖11(d)，其包含的范圍是圖11(c)三條線型掃描線40的再延伸兩條掃描線40。
形態五轉彎型掃描線，如圖11(e)，與圖11(c)的掃描線40最大的不同是本掃描線形態調整加大了左右邊掃描線40的范圍，可作為車輛轉彎時的掃描線形態。
形態六橫向型掃描線，如圖11(f)。
其中若使用形態四，則可檢測到對向、十字路口突然插入及超車后插入，或急停的障礙物。另外，因為可檢測到對向障礙物，因此夜晚時可作為自動調整近遠光燈與調整會車速度的依據，也就是當對向障礙物與系統載體的距離被測量出小于一個設定的距離C13米時，則可調整為近燈照明，反之則可調整為遠燈照明。
(b)提供一個邊緣點鑒定132，詳述如下計算掃描線上相鄰像素在色階上的歐幾里德距離(Euclidean distance)。若所述圖像為彩色圖像，以E(k)表示第k與第k+1個像素之間的歐幾里德距離，則E(k)被定義為(Rk+1-Rk)2+(Gk+1-Gk)2+(Bk+1-Bk)23.]]>若所述E(k)大于C2，則所述第k像素被視為一個邊緣點。其中Rk、Gk、Bk分別表示第k個像素點的紅綠藍三色的色階值，C2為一個臨界常數，可由經驗值設定。若所述圖像為黑白灰階圖像，則E(k)被定義為Grayk+1-Grayk，且若所述E(k)大于C3，則所述第k像素被視為一個邊緣點。其中Grayk表示第k個像素點的灰階色階值，C3為一個臨界常數。
(c)設定一個掃描方式133，所述掃描方式可選自以下任一方式(c.1)檢測區間式的掃描方式由下而上掃描，當找到邊緣點時，會假設所述點是車尾在圖像中的位置而據以設立一個檢測區間，進而分析所述檢測區間內掃描線的像素數據。障礙物21在離圖像傳感器22不同的深度距離時，檢測區間長度ldw會有所不同。圖8(a)-(d)是以一個汽車為例，當汽車在不同深度距離時會有所不同的檢測區間長度ldw。本掃描方式的掃描線終點，以所要識別汽車為例，為圖8(a)圖像中車尾在i＝0時的ldw(即ldw_m)，其中ldw＝ldw_m-i，ldw_m代表當前車車尾的圖像位置在i＝0(即圖像最底部)時所形成的檢測區間長度)。
(c.2)逐步式的掃描方式掃描方式由下而上對圖像像素點逐步作掃描分析，并不設立檢測區間。掃描終點一般是路的終點的圖像位置。
(d)提供兩個布林變數的真假值134，方法如下(d.1)利用障礙物21底部存在陰影的特性。因為立體物會產生陰影，路面的標線等非立體物無法產生陰影，因而所述陰影可作為分辨障礙物21的依據。提供一個布林變數a，則a的真假由式(18)和(19)來決定，若Nshadow_pixelldw≥C4]]>成立，則a為真 (18)若Nshadow_pixelldw<C4]]>成立，則a為假 (19)其中ldw為檢測區間長度。Nshadow_pixel是指符合陰影特征的像素量，通常取所述檢測區間底部約C5×ldw長的像素數據。C4、C5為一個常數值。
另外車輛底部的陰影(shadow-pixel)應該符合下式(20)的關系shadow_pixel=R≤C6×RrGray≤C7×Grayr---(20)]]>式(20)中各符號說明如下，分析彩色圖像時，R分別代表像素數據的紅色的色階值，Rr分別代表灰色道路的紅綠藍的色階值；分析黑白灰階圖像時，Gray代表像素數據的色階值，Grayr代表道路的色階值。而在灰色道路的顏色色階值攫取上，通常是取圖像上較符合灰色特性的像素群，并求所述像素群的顏色平均值，其中C6、C7為一個常數值。另外，可通過所述像素群的顏色平均值進而得以判斷系統載體24所在位置的天候亮度，并作為自動調整車燈亮度的依據，也就是當天候亮度越亮則車燈亮度可調暗，反之當天候亮度越暗則車燈亮度可調亮。
(d.2)利用障礙物21所投射或反射的光具有亮度遞減效應的特性。一般天候較暗時，大多如夜晚時的圖像識別，可以光亮度來判斷出障礙物在圖像中的位置。因光亮度呈多色階分布，若僅通過計算光亮度的分布作為識別的障礙物的依據則消耗計算性能，且找出的位置也并非是精確的障礙物位置。在此提供一個布林變數b，作為判斷是否為所述障礙物21的依據，則b的真假由式(21)來決定，若R≥C8或Gray≥C9成立，則b為真，否則為假 (21)其中R代表分析彩色圖像時，像素群數據的紅色的色階值；Gray代表分析黑白灰階圖像時，像素數據的灰階色階值。通過分析多張彩色或黑白灰階圖像，當像素群的R或Gray等色階值提升或遞減到C8、C9值(臨界常數)時，則一般多是障礙物在圖像中的位置。
(e)判定所述障礙物種類135，其中關于障礙物陰影特性、障礙物投射或反射光的亮度遞減特性的兩個布林變數分別以a、b表示。白天識別與夜間識別的識別法則不同，其中運用白天或夜間識別法則的轉換時間(經過所述轉換時間后則轉換識別法則)是由設置于運算單元內的系統時間決定。所述識別法則包含以下的判別步驟(i)白天識別時若a為真，則障礙物被識別為一汽車、一機車、一腳踏車等路上交通工具，其底部具黑影像素的障礙物；(ii)白天識別時若a為假，則障礙物被識別為一路面標線、一樹影、一護欄、一山壁、一房子、一分隔島、一人等底部不具黑影像素的障礙物；(iii)夜間識別時若b為真，則障礙物被識別為一汽機車、一護欄、一山壁、一房子、一分隔島、一人等立體障礙物；以及(iv)夜間識別時若b為假，則障礙物被識別為一路上標線或無障礙物。
圖13(a)、13(b)和13(c)包含(a)-(q)等17幅子圖，其例示利用判定所述障礙物種類135所述的識別法則所作的識別示意圖。在此使用單線型形態的掃描線作掃描識別，以路上的障礙物為主要所要識別的障礙物目標，驗證障礙物識別法則的可行性，并將所獲得的實驗數據整理于表4。
圖13(a)、13(b)和13(c)中的子圖(a)-(k)為運用于白天時的障礙物識別示意圖，主要是以布林變數a作為識別法則。子圖(1)-(q)為運用于夜間的障礙物識別示意圖，主要是以布林變數b作為識別法則。
圖13(a)、13(b)和13(c)中的子圖(a)-(q)中L1代表單線型掃描線所掃描的范圍；L2代表的是依經驗給定內定的邊界閾值(L1與L2的水平坐標距離在此設為25)，凡是掃描線L1上相鄰像素在色階上的歐幾里德距離大于上述內定的邊界閾值被視為真正的邊界；白天識別時，主要是依據布林變數a作判斷，L3是判斷出屬于汽機車等底部具黑影像素的像素的障礙物的位置，在此將其歸類為o1類障礙物。L4標示的則是底部不具黑影像素的像素，且距離系統載體24最近的真正邊界的位置，如路上標線、樹影、護欄、山壁、房子、分隔島、人等障礙物，在此將其歸類為o2類障礙物。夜間識別時，主要是依據布林變數b作判斷，L5則是汽機車、護欄、山壁、房子、分隔島、人等立體障礙物的位置，所述立體障礙物具發射或反射光源的功能或特性，在此將其歸類為o3類障礙物。
表4白天與夜間時的識別法則與所依據的示意圖
由以上表4與圖13(a)、13(b)和13(c)的子圖(a)-(q)顯示，利用布林變數a、b可精確且穩定地全天候識別多種可能會影響交通安全的障礙物。
但在夜間雨天的情況下仍可能造成識別上的誤判。圖14上的區塊A、B、C，乃是街燈A、剎車燈B、車燈C照射于路面積水(圖未示)后的反射光位置，而區塊A、B、C內像素群的R、G、B色階值大致是以下分布特性區塊AR200-250；G170-220；B70-140區塊BR160-220；G0-20；B0-40區塊CR195-242；G120-230；B120-21因此，若根據式(21)的邏輯判斷，則區塊A、B、C將極有可能被判斷為障礙物，但這與事實是相違背的。
要解決圖14中區塊A、B、C被誤判為障礙物的問題，可在系統載體上裝設一個有強化藍光色階亮度的車燈，隨后的識別流程將可克服路面反光所造成誤判的不良因素，所述夜間雨天識別法則的流程詳述如下(a)掃描線由下而上當掃描到區塊A或B或C時，先將式(21)修正為式(22)作為障礙物識別的法則。
若B≥C11或Gray≥C12成立，則b為真，否則為假 (22)其中B代表分析彩色圖像時，像素數據的藍色的色階值；Gray代表分析黑白灰階圖像時，像素數據的灰階色階值；通過分析多張彩色或黑白灰階圖像，當像素群的R或Gray等色階值提升或遞減到C11、C12值(臨界常數)時，則一般多是障礙物在圖像中的位置。
(a)以圖14為例，區塊A、B將不被視為障礙物。
(b)以圖14為例，區塊B被識別為障礙物。
(c)夜間雨天識別法則是利用一汗染裝設在所述系統載體24的強化藍光色階亮度車燈的燈光，將燈光照射到所述障礙物，若所述障礙物的反射燈光達到一定的藍色光色階值的特性，則可判定為立體障礙物的反光，否則可視為街燈照射于路面積水的反光。路面積水的有無可作為判斷天候是否為雨天的依據。以圖14為例，區塊A被識別為非障礙物，并需據以判斷系統載體所在天候是否為雨天。
(d)以圖14為例，區塊C雖被識別為一個障礙物，但與系統載體并非屬于同一車道，所述障礙物實體C與系統載體上攝影機的真實距離(障礙物距離)，依據幾何原理推論如式(23)所示。
障礙物距離＝圖14中區塊C的距離×(車燈的高度+攝影機的置高)/攝影機的置高 (23)；若區塊C與系統載體為同一個車道，則障礙物距離等于其與圖14中區塊C的距離。
請參看圖9，步驟14為獲取所述系統載體的絕對速度，詳述如下(a)從圖9中的p1點找出之后，p1點為所述道路中央分隔線段32的端點，接著再找出下一張圖像所述p1點的位置。在此假設所述道路中央分隔線段32是一個白色線段。
(b)下一張圖像的p1點通常距離更近，因此可將圖9中的line1掃描線往下依序隔3-5米作橫向掃描，或依圖9中p1p2的斜率往下尋找有白色線段的端點。
(c)對比前后兩張圖像，所述白色線段端點p1的位置變化便可推得其實際移動距離，而這段距離就是圖像傳感器22所在系統載體24移動的距離，若再除以前后張圖像的檢索時間差，可得出所述系統載體24的絕對速度。
另外，所述系統載體24的絕對速度也可經由一模擬數字轉換器直接自所述系統載體24上的速度表取得。
步驟15為獲取所述系統載體與所述障礙物的一個相對距離和一個相對速度，詳述如下識別出所述障礙物21在圖像中的位置后，根據式(1)-(6)便可獲取所述系統載體24與所述障礙物21的相對距離L，如下式(24)所示。
L=Hctan(θ1+tan-1(pl×Δplf))---(24)]]>其中，圖像傳感器22的高度HC、俯角θ1、焦距f、像素之間的間距Δpl為已知，pl可由車輛的圖像位置求得。而所述系統載體24與所述障礙物21的相對速度(Relative Velocity；RV)可根據下式(25)求得。
RV=ΔL(t)Δt---(25)]]>Δt、ΔL(t)各別代表前后張圖像檢索的時間差及車輛被識別出來的距離差。
步驟16為執行一個防撞策略，其包含以下步驟(參看圖12)(a)提供一個等效速度161。所述等效速度大小定義為所述系統載體24的絕對速度和所述系統載體24與所述障礙物21相互逼近的相對速度中的較大的一個；(b)提供一個安全距離(safe distance)162。所述安全距離的大小大約介于所述等效速度的兩千分的一到兩千分的一加上10米之間。一優選實施例中，所述安全距離的定義為以每小時公里為單位的所述等效速度數值大小的一半加上五，且所述安全距離的單位為米；(c)提供一個安全系數(safe coefficient)163。所述安全系數大小定義為所述相對距離與所述安全距離的比值，且所述安全系數的大小位于0和1之間；(d)提供一個報警程度164。所述報警程度大小定義為1減去所述安全系數；(e)發出聲光或產生震動165。根據所述報警程度的大小，用所述報警器25發出聲光或產生震動向所述系統載體24的駕駛員報警，且可以聲光向所述系統載體24周圍的人報警；(f)提供一個圖像中所述障礙物21的外框檢索與顯示166。參圖15，所述外框的寬度為wa；白天時，即為測量出的車輛底部陰影的寬度wb；夜間識別時，即為車輛尾部反射光的寬度wc；所述外框的高度ha為如式(11)所述的ldw。
(g)提供一次絕對速度167，所述次絕對速度的定義為所述系統載體24目前的絕對速度與所述安全系數的乘積；以及(h)提供一個錄像功能168。于一優選實施例中，所述錄像功能可在所述安全系數小于某一經驗常數值時(例如，0.8)才開啟，以記錄危害發生前的情景，而不需長時間開啟錄像功能。
以上所述的實施例雖為汽車，但凡是具有邊緣特征的障礙物均可利用本發明所揭示的方法加以識別，因而本發明所言的障礙物可包含汽車、機車、卡車、貨車、火車、人、狗、護欄、分隔島及房屋等。
以上所述系統載體24是以汽車為例進行說明，但實際的應用卻不限于汽車，即所述系統載體24可為機踏車、卡車、貨車等任一種交通工具。
以上所述的實施例中，凡是可檢索圖像的裝置均可作為所述圖像傳感器22，因而所述圖像傳感器22可為電荷耦合元件(Charge Coupled Device；CCD)或互補式金屬氧化物半導體(CMOS)元件攝影機、數碼相機、單條條狀攝影機、手持式設備上的數碼相機等任一裝置。
本發明的技術內容及技術特點已在上文得以揭示，然而所屬領域技術人員仍可能基于本發明的教示及揭示而作種種不背離本發明精神的替換及修正。因此，本發明的保護范圍應不限于實施例所揭示的內容，而應包括各種不背離本發明的替換及修正，并為前述權利要求所涵蓋。
權利要求
1.一種以視頻感知的障礙物防撞方法，其特征在于可應用于一個系統載體，且一個圖像傳感器被架設于所述系統載體，所述防撞方法包含下列步驟檢索并分析復數個圖像；定位所述圖像傳感器；執行一個障礙物識別流程；獲取所述系統載體的絕對速度；獲取所述系統載體與一個障礙物的一個相對距離和一個相對速度；和執行一個防撞策略。
2.根據權利要求1所述的以視頻感知的障礙物防撞方法，其特征在于所述定位圖像傳感器的步驟為用以獲得所述圖像傳感器的俯角、所述圖像傳感器與地面的距離、所述圖像傳感器鏡頭的焦距和圖像平面上像素間的間距。
3.根據權利要求2所述的以視頻感知的障礙物防撞方法，其特征在于所述圖像傳感器的俯角及所述圖像傳感器與地面的距離的獲得包含以下步驟將一個水平掃描線由下而上每間隔作橫向掃描；識別出具有路面邊線特征的一個特征點；識別出所述特征點所在的一個特征線段的兩個第一端點；將所述兩個第一端點經水平掃描得兩條水平線，所述兩條水平線分別交于另一特征線段于兩個第二端點；識別所述兩個第一端點連線與所述兩個第二端點連線的交點；求出所述圖像傳感器的俯角；和求出所述圖像傳感器到地面的距離。
4.根據權利要求3所述的以視頻感知的障礙物防撞方法，其特征在于所述圖像傳感器的俯角及所述圖像傳感器與地面的距離的獲得進一步包含以下步驟求出所述圖像傳感器鏡頭的焦距；和求出所述圖像平面上像素間的間距。
5.根據權利要求3所述的以視頻感知的障礙物防撞方法，其特征在于所述圖像傳感器的俯角是利用所述圖像上像素的間距、圖像的縱向長度一半的值、圖像傳感器的焦距和所述交點而得。
6.根據權利要求3所述的以視頻感知的障礙物防撞方法，其特征在于圖像傳感器到地面的距離是利用所述圖像傳感器的俯角和所述兩水平線與圖像傳感器的深度距離求得。
7.根據權利要求3所述的以視頻感知的障礙物防撞方法，其特征在于所述圖像傳感器的俯角是根據下式求得θ1=tan-1(Δpl*(c-y1)f)]]>其中，θ1為所述圖像傳感器的俯角；Δpl為所述圖像上像素的間距；c為圖像的縱向長度一半的值；y1為所述交點的位置；和f為所述圖像傳感器的焦距。
8.根據權利要求3所述的以視頻感知的障礙物防撞方法，其特征在于所述圖像傳感器到地面的距離是根據下式求得Hc=C1(1tan(θ1+θ2)-1tan(θ1+θ2′))]]>其中Hc為所述圖像傳感器到地面的距離，C1為一個路面線段的長度值；θ1為所述圖像傳感器的俯角；并且θ2、θ2′分別滿足La=Hctan(θ1+θ2),]]>La′=Hctan(θ1+θ2′),]]>其中La與La′分別為兩條水平線到所述圖像傳感器的深度距離。
9.根據權利要求3所述的以視頻感知的障礙物防撞方法，其特征在于所述攝影機鏡頭的焦距和圖像平面上像素間的間距是根據下面的兩個式求得Hc×(tan(θ1+θ2′)-tan(θ1+θ2)tan(θ1+θ2)×tan(θ1+θ2′))=C1]]>Hc×(tan(θ1+θ2′′)-tan(θ1+θ2)tan(θ1+θ2)×tan(θ1+θ2′′))=C10]]>其中，C1為一個路面線段的長度，C10為路面線段的間距，Hc為所述圖像傳感器到地面的距離，θ1為所述圖像傳感器的俯角，Hc、θ1、θ2、θ2′及θ2″都是f與Δpl的函數，f為所述攝影機鏡頭的焦距，Δpl為圖像平面上像素間的間距，且θ2、θ2′分別滿足La=Hctan(θ1+θ2),]]>La′=Hctan(θ1+θ2′),]]>其中La與La′分別為兩條水平線到所述圖像傳感器的深度距離。
10.根據權利要求1所述的以視頻感知的障礙物防撞方法，其特征在于所述障礙物識別流程包含以下步驟設定一個掃描線形態，所述掃描線形態選自單線型掃描線、曲折型掃描線、三條線型掃描線、五條線型掃描線、轉彎型掃描線和橫向型掃描線；提供一個邊緣點鑒定；設定一個掃描方式，所述掃描方式為檢測區間式或逐步式；提供至少兩個布林變數中的一個，所述兩個布林變數是分別關于障礙物陰影特性、障礙物投射或反射光的亮度遞減特性；判斷所述布林變數的真假值；且判定所述障礙物種類。
11.根據權利要求10所述的以視頻感知的障礙物防撞方法，其特征在于所述邊緣點鑒定包含以下步驟計算所述水平掃描線上的一個像素和其相鄰像素在色階上的一個歐幾里德距離；和若所述歐幾里德距離大于一個臨界常數，則所述像素被視為一個邊緣點。
12.根據權利要求10所述的以視頻感知的障礙物防撞方法，其特征在于關于障礙物陰影特性的布林變數的真假值是由下式判斷若Nshadow_pixelldw≥C4]]>成立，則所述布林變數為真；若Nshadow_pixelldw<C4]]>成立，則所述布林變數為假；其中C4為一個常數值；ldw為檢測區間的長度；和Nshadow_pixel為符合陰影特征的像素量。
13.根據權利要求10所述的以視頻感知的障礙物防撞方法，其特征在于關于障礙物投射或反射光的亮度遞減特性的布林變數的真假值是由下式判斷若R≥C8或Gray≥C9成立，所述布林變數為真，否則為假；其中C8、C9為臨界常數；R代表分析彩色圖像時，像素群數據的紅色的色階值；Gray代表分析黑白圖像時，像素群數據的灰階色階值。
14.根據權利要求10所述的以視頻感知的障礙物防撞方法，其特征在于還包含一個夜間雨天識別法則，其利用裝設于所述系統載體的一個強化藍光色階亮度車燈所發射的燈光照射所述障礙物，依據所述障礙物反射光的藍色光色階值的特性，判斷所述障礙物的種類及天候是否為雨天。
15.根據權利要求14所述的以視頻感知的障礙物防撞方法，其特征在于關于障礙物投射或反射光的亮度遞減特性的布林變數的真假值是由下式判斷若B≥C11或Gray≥C12成立，則所述布林變數為真，否則為假；其中C11、C12為臨界常數；B分別代表分析彩色圖像時，像素群數據的藍色的色階值；Gray代表分析黑白圖像時，像素群數據的灰階色階值。
16.根據權利要求10所述的以視頻感知的障礙物防撞方法，其特征在于還包含一個日間和夜間識別法則轉換步驟，其中日間識別法則是運用障礙物陰影特性的布林變數，夜間識別法則是運用障礙物投射或反射光的亮度遞減特性的布林變數，所述轉換步驟的轉換時間是內定于設置在所述系統載體上的一個運算單元內。
17.根據權利要求10所述的以視頻感知的障礙物防撞方法，其特征在于關于障礙物陰影特性的布林變數真假值若為真，則所述障礙物被識別為一個底部具黑影像素的物體，否則所述障礙物被識別為一個底部不具有黑影像素的物體。
18.根據權利要求10所述的以視頻感知的障礙物防撞方法，其特征在于關于障礙物投射或反射光的亮度遞減特性的布林變數真假值若為真，則所述障礙物被識別為一個立體障礙物，否則所述障礙物被識別為無障礙物。
19.根據權利要求10所述的以視頻感知的障礙物防撞方法，其特征在于還包含一個近遠燈自動切換步驟，其通過計算出的系統載體與對向障礙物的距離是否小于一個特定距離作為依據進行切換。
20.根據權利要求10所述的以視頻感知的障礙物防撞方法，其特征在于還包含一個車燈亮度自動調節步驟，其通過攫取的道路像素并計算其顏色色階平均值，以判斷所述系統載體所在位置的天候亮度，并作為自動調整車燈亮度的依據。
21.根據權利要求1所述的以視頻感知的障礙物防撞方法，其特征在于所述系統載體的絕對速度的獲取包含以下步驟識別一個特征線段的一個端點在一個第一圖像中的位置；識別所述端點在一個第二圖像的位置；和將所述兩個端點的距離除以檢索所述第一和第二圖像的時間差；其中所述第一和第二圖像包含于所述復數個圖像，且第二圖像的檢索遲于所述第一圖像的檢索。
22.根據權利要求1所述的以視頻感知的障礙物防撞方法，其特征在于所述防撞策略包含以下步驟提供一個等效速度，其選自所述絕對速度和所述相對速度的較大的一個；提供一個由等效速度決定的安全距離；提供一個安全系數，其大小定義為所述相對距離與所述安全距離的比值，且所述安全系數的大小位于0和1之間；提供一個報警程度，其大小定義為1減去所述安全系數；根據所述報警程度的大小，以聲光或震動的方式向所述系統載體的駕駛員報警或以聲光向所述系統載體周圍的人報警；提供一個圖像中所述障礙物的外框檢索與顯示；提供一次絕對速度，所述次絕對速度的定義為所述系統載體目前的絕對速度與所述安全系數的乘積；并且提供一項錄像功能。
23.根據權利要求22所述的以視頻感知的障礙物防撞方法，其特征在于所述錄像功能在所述安全系數小于一個經驗常數值時開啟。
24.根據權利要求1所述的以視頻感知的障礙物防撞方法，其特征在于所述系統載體的絕對速度可直接從所述系統載體的速度表取得。
25.根據權利要求1所述的以視頻感知的障礙物防撞方法，其特征在于所述圖像傳感器是選自以下中的一個一個電荷耦合元件攝影機、一個互補式金屬氧化物半導體元件攝影機、一個單條條狀攝影機和一個手持式通訊設備上的攝影機。
26.一種以視頻感知的障礙物防撞裝置，其特征在于應用于系統載體，其包含一個圖像傳感器，其用以檢索復數個圖像得以識別障礙物；和一個運算單元，其包含下列功能(a)分析所述復數個圖像；(b)根據復數個圖像的分析結果執行一個障礙物識別流程，以判斷障礙物是否存在；且(c)執行一個防撞策略。
27.根據權利要求26所述的以視頻感知的障礙物防撞裝置，其特征在于另外包含一個報警器，當所述復數個圖像經分析判定有障礙物時，所述報警器將發出聲光或產生震動。
28.根據權利要求26所述的以視頻感知的障礙物防撞裝置，其特征在于所述圖像傳感器是選自以下中的一個一個電荷耦合元件攝影機、一個互補式金屬氧化物半導體元件攝影機、一個單條條狀攝影機和一個手持式通訊設備上的攝影機。
全文摘要
本發明揭示一種以視頻感知的全天候障礙物防撞裝置及方法，以使得能在白天和晚上進行障礙物識別，且無需經由復雜的模糊規則推論運算即可得到防撞的性能，以供一系統載體的駕駛員作為行車時的依據。所述方法配合一個障礙物、一個系統載體和一個圖像傳感器，其包含下列步驟檢索并分析所述障礙物的復數個圖像；定位所述圖像傳感器；執行一個障礙物識別流程；獲取所述系統載體的絕對速度；獲取所述系統載體與所述障礙物的一個相對距離和一個相對速度；以及執行一個防撞策略。
文檔編號G01C11/04GK1782668SQ200510073059
公開日2006年6月7日 申請日期2005年5月27日 優先權日2004年12月3日
發明者曾俊元 申請人:曾俊元
專業數控銑床產品供應商
20年生產經驗，實力工廠，精工品質，質量有保障
