基于單目視覺和慣性導航單元的實時車道線檢測系統的制作方法
【專利摘要】本發明公開了一種基于單目視覺和慣性導航單元的實時車道線檢測系統，該系統主要包括離線標定和在線投影變化模塊、慣性導航單元模塊、單幀車道線檢測模塊和基于慣性導航單元的多幀車道線關聯校驗模塊，實現對城區環境的路面多車道地實時精確的檢測，該車道線檢測系統，可適應于光照變化、障礙物遮擋、大曲率、虛實線、多車道等不同路況和道路類型，實現多種環境下的車道線穩定且長距離的檢測感知。本系統采用的低成本低功耗的導航設備、圖像采集設備及計算平臺，可廣泛應用于無人駕駛汽車視覺導航、智能車視覺輔助駕駛等領域。
【專利說明】基于單目視覺和慣性導航單元的實時車道線檢測系統
【技術領域】
[0001]本發明屬計算機視覺與智能交通領域，涉及一種城區環境下車道線檢測系統，尤其是一種基于單目視覺和慣性導航單元開發的實時城區多車道車道線檢測系統。
【背景技術】
[0002]智能車輛(Intelligent Vehicle, IV)是一個集環境感知、動態決策與規劃、智能控制與執行等多功能于一體的綜合系統，是衡量一個國家整體科研實力和工業水平的重要標志。作為智能車三大關鍵技術之一的環境感知技術，現階段以主動傳感激光、雷達及結構光為主的傳感系統，已經取得了部分成功的應用，但該類傳感器存在功耗大、體積大、造價昂貴等問題，制約了其在智能車技術研發和應用上的推廣。而被動可見光傳感，即相機，則在功耗、體積、造價方面具有顯著優勢。近年來，大量研究團隊和機構在利用可見光傳感完成交通場景感知方面做出了很多卓有成效的研究，基于視覺的車道和障礙物感知成為該領域的研究熱點。
[0003]常見的基于相機的車道線檢測系統，因為僅利用圖像信息，無法解決在光照突變、障礙物近距離遮擋、車道換道等過程中，相機無法采集到包含足夠車道信息的圖像時而出現的漏檢、誤檢等問題，難以具備長時間長距離穩定運行性能，限制該類系統僅在特定環境下具備應用可能性。因此，如何設計實現一套能盡可能充分利用圖像信息、適應系統的各類外部環境變化和車體姿態變化，能長時間長距離穩定運行，同時又具有低成本、低功耗、高移植性的車道線檢測系統以滿足無人駕駛、汽車輔助駕駛等領域應用需求已成為實時車道檢測的研究熱點之一。
【發明內容】
[0004]本發明的目的在于提供一種基于單目視覺和慣性導航單元的實時車道線檢測系統。
[0005]為了實現上述目的，本發明采取了如下的技術方案:
[0006]基于單目視覺和慣性導航單元的實時城區多車道車道線檢測系統，其特征在于:該實時車道線檢測系統包括離線標定及在線投影變化模塊Ml、慣性導航單元模塊M2、單幀車道線檢測模塊M3、多幀車道線關聯校驗模塊M4 ;離線標定及在線投影變化模塊Ml用于采集圖像信號，并完成相對于車前平面的單應性投影變化，獲取車前圖像俯視圖；慣性導航單元模塊M2用于測量車體相對于初始位置的姿態變化；單幀車道線檢測模塊M3用于進行單幀圖像的車道線檢測；多幀車道線關聯校驗模塊M4用于關聯當前幀和歷史幀車道線數據，對當前檢測結果進行校驗，并提供預測，給出準確的當前時刻多車道檢測可視化結果和參數描述方程。
[0007]所述離線標定及在線投影變化模塊Ml包括進行相機內參和外參的離線標定模塊Mll和平面投影變換模塊M12 ;離線標定模塊Mll利用特征標記點求取相機攝像頭內部屬性參數和相機相對于車體坐標的外部位置參數；平面投影變換模塊M12在線采集RGB圖像，并利用計算得到的相機內部參數和外部參數，將圖像轉變為俯視平面圖(IPM，InversePerspective Mapping),并進行色度空間轉換后獲取灰度圖。
[0008]所述的慣性導航單元模塊M2根據速度傳感器和光纖陀螺測量車體在當前時刻的速度脈沖和轉向角，利用融合濾波輸出的速度、航向和航跡位置推算算法，估計基于該慣性導航單元(INU, Inertial Navigation Unit)定義的局部坐標下的車體位姿,提供了高精度的平滑的連續局部車體位姿估計。
[0009]所述的單幀車道線檢測模塊M3基于車道線部分圖像像素高于路面區域的基本假設提取出可能的車道線信息；利用多條車道線之間的平行性，以及多幀圖像間的關聯，以及歷史幀檢測結果提供的興趣區域，剔除非車道線信息，完成單幀圖像中的車道線檢測。
[0010]所述的多幀車道線關聯校驗模塊M4利用連續的前一時刻和當前時刻兩個感知時刻的車體位姿測量信息，和對應的車道線檢測結果，判斷兩幀結果在空間位置關系上是否符合兩幀車體位姿測量信息描述的變化關系，即將歷史幀檢測結果按照兩幀的車體位姿變化關系變化到當前時刻，得到其在當前車體位姿下的參數形式，再與當前幀車道線檢測結果進行匹配，若符合，則判定當前幀檢測結果可接受，否則，拋棄當前幀結果，以轉換后的歷史幀結果作為當前時刻的檢測結果，并用該最終結果生成下一時刻的預測興趣區域；同時，利用多幀檢測結果和三車道語義模型，完善檢測結果的語義信息，提供車道線的虛實線、車體相對位置等信息。
[0011]通過以上四大模塊，本發明基于單目視覺和慣性導航單元的實時車道線檢測系統實現對城區環境下的路面車道線的檢測，利用車體位姿信息關聯校驗連續多幀車道線檢測結果，完善車道的語義信息描述，并提供下一時刻的興趣區域，實現連續穩定的多車道檢測。
[0012]該系統主要包括離線標定及在線投影變化模塊、慣性導航單元模塊、單幀車道線檢測模塊和基于慣性導航單元的多幀車道線關聯校驗模塊，實現對城區環境的路面多車道進行實時精確的檢測。該車道線檢測系統，可適應于光照變化、障礙物遮擋、大曲率、虛實線、多車道等不同路況和道路類型，實現多種環境下的車道線穩定且長距離的檢測感知。該系統包括如下部分:可見光傳感器為Basler Scout sca640_74gc以太網接口數字相機,配備ComputarSmm定焦手動光圈百萬像素鏡頭；慣性導航單元包括光纖陀螺和速度傳感器；系統計算負載在車載的刀片服務器cPC1-6910上進行；所有模塊間通過千兆以太網，以UDP數據包方式進行通信。系統能夠以每秒IOHZ的頻率穩定提供車載相機前50m (>=50m)范圍內的三車道(左側車道、當前車道、右側車道)的車道線檢測結果，并給出車道線的虛實線屬性，滿足系統的多車道檢測和實時檢測性能要求。系統成本低廉、功耗低，且具有較高的整體移植性，適合批量推廣應用。
[0013]該車道線檢測系統工作原理:離線標定及在線投影變化模塊，利用三線標定法和加州大學標定工具箱完成相機的外參和內參標定，通過Basler Scout sca640_74gc數字相機實時采集當前道路圖像，并依據內外參數進行逆投影變化(Inverse PerspectiveMapping, IPM)，獲取路面的俯視圖像；慣性導航單元模塊，實時獲取光纖陀螺的角度測量，以及速度傳感器的轉向脈沖測量，以濾波融合算法和航跡位置推算算法估計出車輛當前的姿態和位置(相對于系統初始時刻)；單幀車道線檢測模塊，基于車道線的局部高亮特性和平行性約束，并進行圖像空間的幀間關聯，獲取當前幀的車道線檢測結果；多幀車道線關聯校驗模塊，接收單幀車道線檢測模塊結果和慣性導航單元模塊的連續多幀車體位姿測量結果，利用歷史幀及當前幀車道線檢測結果和兩幀對應的車體位姿測量，將歷史幀結果與當前幀結果進行校驗，獲取得到校驗過的最終車道線檢測結果，并將校驗后的結果用于生成下一時刻的預測區域。
[0014]本發明的特點是采用Basler工業相機和光纖陀螺及速度傳感器構成的低成本高精度的車道線檢測系統，實現對城區環境的多車道檢測。
[0015]與已有技術相比，本發明的技術效果體現在:
[0016]1.與傳統的車道線檢測系統相比，本發明充分利用了圖像數據和車體位姿數據信息，利用車體位姿數據與圖像數據的時間對準，完成多幀車道線之間的空間對準，有效解決了在高速轉向、光照突變等極端環境下車道線丟失或短時無車道線觀測時的穩定檢測，極大地提高了系統的適應性。
[0017]2.本發明開發了一套低成本高精度的車體局部位姿測量系統，利用融合濾波和航跡推算原理，剔除觀測測量中的噪聲數據，減小推算累積誤差，提供連續平滑的局部車體定位。
[0018]3.本發明由Basler工業相機、速度傳感器和光纖陀螺構成，具有低成本的特點。【專利附圖】
【附圖說明】
[0019]圖1為本發明的系統硬件關系圖。
[0020]圖2為本發明的軟件系統框架圖。
[0021]圖3為本發明定義的三車道模型圖。
[0022]圖4為本發明的基于慣性導航單元的局部位姿測量系統框架圖。
[0023]圖5為本發明定義的車體模型和航跡推算原理圖。
[0024]圖6為本發明的基于慣性導航單元的局部位姿測量系統的測量精度與差分GPS精度的對比。
[0025]圖7為本發明定義的局部坐標系與車體坐標系關系。
[0026]圖8為本發明采用的線性插值位姿對準算法框圖。
[0027]圖9為本發明的單幀車道線檢測模塊和多幀車道線關聯校驗模塊系統框架圖。
[0028]圖10為本發明的車道線檢測結果顯示圖和對應興趣區域。
[0029]圖11為本發明的單幀車道線檢測和多幀車道線關聯校驗檢測中間結果圖。
[0030]圖12為本發明的單幀車道線檢測部分的車道線平行性篩選規則說明圖。
[0031]圖13為本發明的興趣區域拓展規則說明圖。
【具體實施方式】
[0032]以下結合附圖對本發明作詳細說明。
[0033]參見圖1，基于單目視覺和慣性導航單元的實時城區多車道的傳感配置及安裝在西安交通大學夸父一號智能車的整體硬件連接關系圖如圖所示。系統由如下幾類子系統構成:1.電源系統:由Yamaha發電機提供220V交流電源，從UPS中轉輸出，除傳感器本身需要使用額外電源模塊完成變壓外，其他設備均具有配套獨立的變壓設備；2.傳感系統:單目相機配置為:德產Basler數字相機，型號:SCA640-74gC，;鏡頭為日產Computar百萬像素固定焦距鏡頭，型號:M0814-MP ;慣性導航單元配置為車載速度傳感器和光纖陀螺DSP3000 ；
3.通信系統:當前系統的通信數據包括1.輸入:圖像數據，同步時間戳數據(規劃刀片發送)、同步車體位姿數據(位姿刀片發送);2.輸出:圖像處理結果。除圖像數據外，所有其他的數據均是無連接的UDP數據包。為避免大量圖像數據的傳輸阻塞整體的通信鏈路、加重通信負荷，圖像數據的傳輸采用單獨的通信鏈路，以DLink交換機進行圖像數據的交換，依據不同的網段決定Basler相機與對應刀片服務器的連接，速度傳感器和光纖陀螺的數據以UDP包形式，通過串口發送至位姿模塊刀片服務器，其余UDP包均通過華為24 口交換機S1024R-CN通信；4.計算平臺，所有計算工作均在型號為cPC1-6910的CORE XEON DUAL級處理器刀片服務器運行。
[0034]系統整體安裝在豐田漢蘭達(Toyota，Highlander)SUV原型車上。其中，該單目相機sca640-74gc安裝在車頂,位于車駕駛室上方,并安裝有UV濾光片和防雨罩；速度傳感器為漢蘭達出廠自帶原車傳感器，光纖陀螺DSP3000安裝在車后座中間；刀片cPC1-6910安裝在車主駕駛后方的整體機柜上。
[0035]參見圖2，系統的軟件系統框架整體包括所述的4個主要功能模塊。離線標定及在線投影變化模塊Ml包括進行相機內參和外參的離線標定部分M11，和平面投影變換部分M12;離線標定部分利用特征標記點求取相機攝像頭內部屬性參數，和三線標定法求取攝像機相對于車體坐標的外部位置參數；在線投影變換部分在線采集RGB圖像，并利用計算得到的內部參數和外部參數，將圖像轉變為俯視平面圖(IPM, Inverse PerspectiveMapping)，并進行色度空間轉換后獲取灰度圖。慣性導航單元模塊M2根據速度傳感器和光纖陀螺測量的車體在當前時刻的速度脈沖和轉向角，利用融合濾波估計基于該慣性導航單元(INU, Inertial Navigation Unit)定義的局部坐標下的車體位姿，并配合ICP(iterative closet point)算法融合車體局部位姿和GPS坐標下的全局位姿,提供了高精度的平滑的連續車體位姿估計。單幀車道線檢測模塊M3基于車道線部分圖像像素高于路面區域的基本假設提取出可能的車道線信息；利用多條車道線之間的平行性，以及多幀圖像間的關聯，以及歷史幀檢測結果提供的興趣區域，剔除非車道線信息，完成單幀圖像中的車道線檢測。多幀車道線關聯校驗模塊M4利用連續的前一時刻和當前時刻兩個感知時刻的車體位姿測量信息，和對應的車道線檢測結果，判斷兩幀結果在空間位置關系上是否符合兩幀車體位姿測量信息描述的變化關系，即將歷史幀檢測結果按照兩幀的車體位姿變化關系變化到當前時刻，得到其在當前車體位姿下的參數形式，再與當前幀車道線檢測結果進行匹配，若符合，則判定當前幀檢測結果可接受，否則，拋棄當前幀結果，以轉換后的歷史幀結果作為當前時刻的檢測結果，并用該最終結果生成下一時刻的預測興趣區域；同時，利用多幀檢測結果和三車道車道語義模型，完善檢測結果的語義信息，提供車道線的虛實線、車體相對位置等信息。
[0036]參見圖3，為簡化車道線檢測，本發明需滿足如下基本假設:1)平坦路面假設:該假設保證了 IPM的可行性，同時將INU原本的6D測量(X，y，Z, θ，α，β )簡化為3D測量(x, Y, Θ)，其中(x，y，z)代表了 GPS定義的全局坐標的車體位置測量，Θ代表相機的方向角，α代表俯仰角，β代表滾動角；2)任一兩條車道線保持基本平行，且其車道寬度變化緩慢；3) INU模塊具備滿足車道線檢測的精度；4)車道模型符合假定的3車道模型，LI代表車體當前所在車道的左側車道線，Rl代表當前所在車道的右側車道線，L2和R2以此類推，同時每根車道線具有虛實線屬性。
[0037]參見圖4，位姿測量系統框圖如圖。該慣性導航單元的局部位姿測量系統基于航跡推算算法設計，利用實時的速度和航向推算出載體的局部位姿信息。里程計的原始速度輸出和陀螺的原始航向輸出在位置推算前先進行預處理，消除速度和航向的測量誤差，從而提高航跡推算的精度。
[0038]參見圖5,航跡推算(Dead Reckoning)原理如圖所示。航跡推算利用車載傳感器提供的速度和姿態信息，根據載體前一時刻的位置來推算當前時刻的位置。航跡推算定位完全依靠載體內部傳感器輸出的信息進行位置推算，是一種完全獨立的局部定位系統。假設車體在二維平面內運動，速度傳感器讀取的是車體前輪轉速信息，選取車體坐標系原點位于車體后軸中心，車轉彎時后輪速度是前輪速度沿車體方向的分量。由傳感器信息可以讀取車前輪轉角S。考慮車前輪轉角后，速度輸出在車體坐標系下分解為:
[0039]1；/) =[i;/)sinc> vn cosd'j^
[0040]車體實時位置信息根據前后兩幀的速度傳感器和陀螺航向角求均值后實時累加積分獲得。[k_l，k]時間內相對位移表示為:ADk=ATtkU (VlrfCos a J^vkCOS a k)/2,航向角相對變化量為:Λ Θ k= Θ k- Θ k_1D其中由獲得前后兩幀數據的時間差得到，航向角Θ由陀螺實時給出，vk，VkH由速度傳感器給出，前輪偏角Qk-P ak由偏角傳感器給出。航跡推算公式為:
【權利要求】
1.一種基于單目視覺和慣性導航單元的實時車道線檢測系統，其特征在于:該實時車道線檢測系統包括離線標定及在線投影變化模塊Ml、慣性導航單元模塊M2、單幀車道線檢測模塊M3以及多幀車道線關聯校驗模塊M4 ； 離線標定及在線投影變化模塊Ml用于采集圖像信號，并完成相對于車前平面的單應性投影變化，獲取車前圖像俯視圖； 慣性導航單元模塊M2用于測量車體相對于初始位置的姿態變化； 單幀車道線檢測模塊M3用于進行單幀圖像的車道線檢測； 多幀車道線關聯校驗模塊M4用于關聯當前幀和歷史幀車道線數據，對當前檢測結果進行校驗，給出準確的當前時刻多車道檢測可視化結果和參數描述方程，并提供預測。
2.根據權利要求1所述一種基于單目視覺和慣性導航單元的實時車道線檢測系統，其特征在于:所述離線標定及在線投影變化模塊Ml包括進行相機內參和外參的離線標定模塊Mll和平面投影變換模塊M12 ;離線標定模塊Mll利用特征標記點求取相機攝像頭內部屬性參數和相機相對于車體坐標的外部位置參數；平面投影變換模塊M12在線采集RGB圖像，并利用計算得到的相機內部參數和外部參數，將圖像轉變為俯視平面圖，并進行色度空間轉換后獲取灰度圖。
3.根據權利要求1所述一種基于單目視覺和慣性導航單元的實時車道線檢測系統，其特征在于:所述慣性導航單元模塊M2根據速度傳感器和光纖陀螺測量的車體在當前時刻的速度脈沖和轉向角，利用融合濾波輸出的速度、航向和航跡位置推算算法，估計慣性導航單元定義的局部坐標下的平滑的連續局部車體位姿。
4.根據權利要求1所述一種基于單目視覺和慣性導航單元的實時車道線檢測系統，其特征在于:所述單幀車道線檢測模塊M3基于車道線部分圖像像素高于路面區域的基本假設提取出可能的車道線信息；利用多條車道線之間的平行性，以及多幀圖像間的關聯，以及歷史幀檢測結果提供的興趣區域，剔除非車道線信息，完成單幀圖像中的車道線檢測。
5.根據權利要求1所述一種基于單目視覺和慣性導航單元的實時車道線檢測系統，其特征在于:所述多幀車道線關聯校驗模塊M4利用連續的前一時刻和當前時刻兩個感知時刻的車體位姿測量信息，和對應的車道線檢測結果，判斷兩幀結果在空間位置關系上是否符合兩幀車體位姿測量信息描述的變化關系，即將歷史幀檢測結果按照兩幀的車體位姿變化關系變化到當前時刻，得到其在當前車體位姿下的參數形式，再與當前幀車道線檢測結果進行匹配，若符合，則判定當前幀檢測結果可接受，否則，拋棄當前幀結果，以轉換后的歷史幀結果作為當前時刻的檢測結果，并用該最終結果生成下一時刻的預測興趣區域；同時，利用多幀檢測結果和三車道語義模型，完善檢測結果的語義信息，提供車道線的虛實線、車體相對位置信息。
【文檔編號】G01C21/28GK103940434SQ201410129551
【公開日】2014年7月23日 申請日期:2014年4月1日 優先權日:2014年4月1日
【發明者】薛建儒, 崔迪瀟, 沈雅清, 宋曄, 張耿, 杜少毅 申請人:西安交通大學
專業數控銑床產品供應商
20年生產經驗，實力工廠，精工品質，質量有保障
