国产自产21区,亚洲97,免费毛片网,国产啪视频,青青青国产在线观看,国产毛片一区二区三区精品

專利名稱：生成景物的混合圖象的方法
技術領域：
本發明總地涉及用于產生三維圖像的系統，具體涉及能夠捕獲景物中的圖像并且可以判定到景物中的目標以及目標的各個部分的距離。
本申請是申請號為02154383.6的專利申請的分案申請，而02154383.6又是申請號為96196420.0的專利申請的分案申請。
背景技術：
已知有各種技術可以用于產生景物的三維圖像，即包括景深信息或距離信息的圖像。典型的方法是飛行時間測量法，相位檢測法和三角測量法。這些技術通常需要，例如用激光束對圖像進行掃描，逐點地獲取景深數據。然而，在許多應用中期望同時獲得整幅圖像的景深信息或距離信息。
美國專利5,200,793，在此引用作為參考，描述了一種距離檢測的陣列攝象機，包括一個光源和一個CCD或其它檢測器陣列。光電調制器調制由光源發出的目標景物的照明光線以及由景物反射回到檢測器陣列的光線，這樣，照明光線和檢測到的光線具有相同的調制模式。當調制頻率發生變化時，計算機分析陣列中每個象素上的光強變化，以便判定從攝象機到由象素成象的景物部分的距離。
S.Christie等，在Measurement Science and Technology 6(1995年9月)中的第1301-1308頁中，該文獻在此引用作為參考，描述了一種二維測距傳感器系統。該系統包括照明感興趣景物的激光器和獲取景物圖像的門控增強CCD攝象機。激光器經調制產生預期長度的照明脈沖，攝象機經門選通控制使其在相同長度的時間內接收來自景物的光線。攝象機門選通脈沖與照明脈沖同步，或者延遲一些。在門選通脈沖期間，CCD陣列的每個象素接收到的累計光強是攝象機到由象素成象的景物部分的距離的函數，計算機分析整個陣列接收到的光強，由此生成距離信息。
距離門選通攝象機在本領域是熟知的。這種攝象機通常包括一個與用于照明景物的脈沖光源或頻閃光源一起使用的門選通檢測器陣列。例如，可以通過與門選通照明裝置耦合來控制陣列的門選通，例如由Imco Electro-optics Ltd.，Essex，U.K.制造的增強透鏡系統，或者利用本領域中公知的其它方法。檢測器陣列的門選通定時相對于光源有一定的延時，這樣只能捕獲到距攝象機的距離處于期望范圍內的目標。攝象機不能判定在一定范圍內的各種目標或不同位置。
發明概述本發明的目的是提供一種改進的測距攝象機，它可以基本上同時地從景物中的各個象素獲得景深信息。
在本發明的一些方面中，測距攝象機同時產生景物的亮度圖像和距離圖像，兩種圖像是相互配準的。
在本發明的一個方面中，測距攝象機產生景物的三維圖像。
在本發明的其它方面中，測距攝象機輸出與攝象機到景物中的一個或多個目標的距離有關的信息。該距離信息可以用來過濾和/或進一步處理攝象機獲取的圖像，或者作為攝象機自身的反饋信息，使之為了進一步的選擇和/或更高的精度而調節其距離-檢測功能。
在本發明的優選實施方案中，測距攝象機包括用于照明感興趣景物的光源和用于檢測由景物中的目標反射回的輻射強度的檢測器陣列，優選的是CCD陣列，在由本發明申請的申請人提交的題為“光學測距攝象機”的第一PCT專利申請中給出了相應的描述，該申請也給予了本申請的受讓人，其內容在此引用作為參考。例如，可以利用機械或液晶光閥調制輻射源，光閥以預定的已知周期阻斷和接通光源。以類似的方式調制反射光，這樣優選地在預定的已知周期內阻斷和接通到達檢測器陣列的光輻射，該周期可以與阻斷和接通輻射光源的時間周期相同，更加優選地是與之不同。然后，處理到達檢測器陣列并在那里被檢測的輻射強度，以便確定從攝象機到景物中的目標的距離。
在本發明的一些優選實施方案中，如上所述，可以利用一個或多個機械或液晶光閥調制輻射光源和反射輻射，還可以以類似的方式使用在本領域中眾知的其它類型輻射調制器。由此，在本發明的一些優選實施方案中，利用一個或多個電光調制器例如，KDP晶體調制器，調制光源輻射或檢測的輻射。另外，在本發明的一些方面，可以通過向光源驅動電路提供適宜的波形來電調制輻射光源。此外，還可以利用本領域眾知的復位/讀出技術調制反射輻射，其中檢測器陣列首先復位，即基本上完全清除陣列的單元中所積累的電荷，然后，經過一段已知的預定延遲，讀出并測量在單元中積累的電荷。
輻射光源優選地包括一個激光器，但還可以包括適宜的其它類型的光源。
在本發明的一些優選實施方案中，測距攝象機可以包括一個遠心光路系統，在由本申請人提交的題為“遠心光學測距攝象機”的第二PCT專利申請中給出了相應的描述，該申請也給予了本申請的受讓人，其內容在此引用作為參考。優選地，反射輻射由適宜的聚集光學裝置接收，由電光調制器調制，例如KDP晶體調制器。更加優選地是光源輻射和反射輻射與公共光軸對準。在一個這樣的優選實施方案中，光源輻射和反射輻射由公用電光調制器調制，而在其它的優選實施方案中，它們分別由不同的調制器調制。
在本發明的優選實施方案中，輻射光源由第一波形調制，反射輻射由第二波形調制。調節第一和第二波形的形狀以及波形間的延遲以便給出檢測器陣列中的各個單元檢測到的光強與攝象機到由象素成象的目標的距離之間的預期的函數關系。
優選地是，調節第一和第二波形的形狀以及波形間的延遲以便定義距離“窗口”，即從攝象機到目標的距離的一定范圍，據此可以確定目標的距離。利用第一和第二波形分別調制輻射光源和反射輻射，攝象機可以只獲得窗口內目標的圖像。通過適當地調節距離窗口，可以簡化對輻射進行檢測以便確定從攝象機到窗口內目標的距離的處理過程，和/或提高其精度。優選地是，還對窗口進行調節以便使攝象機對于與感興趣的景物部分相對應的在距攝象機的一定距離范圍內的目標的動態范圍最大化。
在本發明的優選實施方案中，第一和第二波形應當保證在檢測器陣列的一場或一幀中能夠多次阻斷和接通光源輻射和/或反射輻射。優選地是，第一和第二波形包括多個脈沖，其中第二波形中的每一個脈沖以預定的，通常是恒定的，延遲跟隨第一波形中的相應脈沖。考慮到標準視頻場信號的持續時間為16毫秒，第一和第二波形的脈沖持續時間通常小于1毫秒，能夠在一幀或一場的時間內包含幾十或幾百個這樣的脈沖將是非常好的。這種多脈沖調制功能對于增加由攝象機生成的圖像的信噪比是十分有幫助的。
在本發明的一些優選實施方案中，可以自適應地調節窗口以便獲得一個或多個感興趣目標的圖像。優選地是，通過利用持續時間相對較長的波形調制光源和反射輻射來初始定義第一窗口，它覆蓋一個距攝象機的較大的距離范圍。在這個窗口內獲得感興趣目標的圖像，并判定距至少一個目標的距離。然后定義第二窗口，它至少包含一個目標，優選地覆蓋一個比第一窗口窄的距離范圍。以這種方式，獲取第二幅圖像，降低了非感興趣目標的數目，可以更加精確地確定距至少一個感興趣目標的距離。
優選地是，自適應地調節窗口使之跟蹤至少一個感興趣的目標。隨著攝象機距目標的距離變化，調制波形隨之變化，這樣目標保持在由窗口覆蓋的距離范圍內。
另外，利用探測光束可以初始確定距感興趣目標的距離，例如激光測距儀或本領域眾知的其它類型的測距儀。然后調節窗口使目標處于它所覆蓋的距離范圍內。
在本發明的優選實施方案中，不能獲得距攝象機的距離處于窗口之外的景物部分的圖像，或者說這一部分的圖像與景物中的感興趣目標圖像是分離的。然后，本發明用于，例如，從更遠的背景中分辨出一個或多個感興趣的目標。在一些優選實施方案中，感興趣的目標圖像與其它圖像，例如利用本領域中眾知的技術得到的計算機處理或計算機生成的圖像，合并以便形成預期的混合圖像。
在本發明的一些優選實施方案中，檢測器陣列是二維矩陣陣列，例如CCD陣列，一個或多個光調制器調制到達陣列的反射光線，這樣，不同的調制波形分別對應于陣列的不同行或相鄰行構成的組。以這種方式，不同的距離窗口，即選擇的不同距離范圍，對應于不同行或相鄰行構成的組。每個行或相鄰行組將產生包含關于和與線相交的目標有關的景深信息的景物線圖像。為了產生整幅圖像，包括覆蓋大范圍的景深信息，陣列的視場通常在景物上掃描，獲取并組合多線圖像，如下所述。
在一些優選實施方案中，以CCD陣列為基準安置液晶光閥陣列，以便分別調制到達CCD陣列的每一行或連續相鄰行組的反射光線。優選地是，驅動液晶陣列使得陣列的連續行或連續相鄰行組在連續的時間周期內暴露在反射光下的時間相同。這樣，每個連續行或連續相鄰行組接收景物中的位于連續距離窗口內的目標所反射的光線，并且用來確定攝象機到這種目標的距離。
更加優選地是，驅動液晶陣列使得CCD陣列的第一行，靠近其第一邊緣，接收來自相對地靠近攝象機的第一距離窗口的光線，CCD陣列的最后一行，靠近與第一邊緣相對的第二邊緣，接收來自相對地遠離攝象機的最后距離窗口的光線。陣列的每個連續行，在第一和最后行之間，接收來自連續距離窗口的光線，所有的距離窗口基本上連續地覆蓋了第一和最后距離窗口之間的距離，優選地是以基本相等的間隔。
另外，在本發明的其它優選實施方案中，以CCD陣列為基準適當地安置和操作液晶光閥陣列，以便分別調制到達CCD陣列中的各個象素或相鄰象素組的反射光線，這樣，每個象素或相鄰象素組具有自己的距離窗口。優選地，光閥陣列以自適應方式工作，這樣，每個距離窗口跟蹤距景物中的感興趣目標上的目標點的距離，其圖像由各自的象素或象素組獲得。由此，可以調節與各個象素或象素組對應的距離窗口使之包含并產生距目標點的距離的精確讀數，同時減少圖像干擾。
在本發明的一些優選實施方案中，其中每個象素具有自己的距離窗口，相鄰象素組組織在一起以“超-象素”方式工作。每個這樣的超-象素包括，例如，三乘三的九個象素，由景物基本上沿公共光軸反射回來的光線在其上成象。光閥陣列的工作方式如下，每九個象素接收沿著公共光軸來自各個距離窗口的光線。以這種方式，可以捕獲景物的完整圖像，包括以預期的距離分辨率得到的景深信息，盡管犧牲了橫向分辨率。任意大小的超-象素，例如1*2象素，2*2象素或4*4象素，可以用來在距離和橫向分辨率之間實現最佳的折衷。
應當注意的是，盡管參照液晶光閥陣列描述了上述實施方案，但在本發明的其它優選實施方案中，可以把其它類型的光調制陣列由于該目的，例如，門選通可尋址微通道陣列，或者電光或聲光調制器陣列。
在本發明的一些優選實施方案中，其中不同的距離窗口順序地對應于檢測器陣列的不同行，如上所述，每一行形成景物部分的線圖像，陣列的視場以“推-掃”(“push-broom”)模式掃描景物。換句話說，攝象機優選地相對于景物橫向移動，使得每一行形成的線圖像以基本上垂直于行的縱向的方向掃描景物。攝象機沿著連續的平行線從檢測器陣列的每一行獲得線圖像序列。
另外，攝象機的視場可以進行掃描，或者景物中的目標可以相對于攝象機橫向移動，以便起到相同的效果。
優選地是，由攝象機完成的圖像獲取與檢測器陣列對景物的傳輸或者掃描同步，這樣在攝象機獲取的圖像序列中的任意位置上由陣列的任意行(除第一行之外)成象的景物部分基本上與在序列中的前一位置由陣列的前一行成象的景物部分相同，除了處于不同的距離窗口之外。以這種方式，可以獲得景物的完整三維圖像，因為對于景物中的每一目標點，反射光的強度都是在很寬的距離范圍內作為距攝象機的距離的函數而測量的。
在本發明的其它優選實施方案中，攝象機包括掃描光學裝置，它可以聚焦和調制景物的線圖像，這樣，可以依次地把線圖像投射到檢測器陣列的每一行上。由此，存在一個與陣列的每一行對應的連續距離窗口，該窗口由線圖像駐留在行上的持續時間定義。到與線圖像相交的景物目標的距離，位于一個連續距離窗口內，由上述的方法確定。掃描光學裝置可以包括高速光-機械掃描儀，聲光或電光調制器，或者本領中眾知的其它類型掃描儀。
在本發明的一些優選實施方案中，攝象機可以包括三個具有輔助彩色濾光片的檢測器陣列，優選的是本領域眾知的紅，綠和藍三種顏色，由此可以獲得景物的彩色圖像。另外，攝象機可以只包括一個或兩個具有本領域眾知的且安裝于其上的一個或多個條形或顆粒形彩色濾光片的檢測器陣列，以便獲取彩色圖像。由此，關于陣列中的每個象素，可以獲得圖像亮度信息，顏色信息和景深信息。
在本發明的一些優選實施方案中，可以把維亮度和/或彩色圖像與三維距離圖像(即每個象素的距離信息)相互配準，并疊加起來為攝象機使用者生成和表示出景深圖像。可以利用任何本領域中眾知的方法產生這種景深圖像，例如在二維照片上畫出等距離線，或者利用偽彩色指示單色圖像中的距離，或者利用計算機生成的等角投影的方法。
在本發明的一些優選實施方案中，攝象機安裝在移動平臺上，例如飛機上，以便獲得飛機飛行時所經過的大地的地形圖像，或者安裝在海運平臺上，或者在水下或者在水面上，或者安裝在空運平臺上。優選地是，攝象機工作在“推-掃”模式，如上所述攝象機對圖像的獲取與移動平臺對地的速度同步。攝象機獲取的圖像優選地用來測繪平臺下的特征和目標，還可以用來計算該特征和目標的三維容量。在本發明的其它優選實施方案中，攝象機安裝在機器人上或與機器人有關的裝置上，該裝置在預期的任務中利用攝象機提供的三維圖像信息指引其行動。
另外，在本發明的一些優選實施方案中，攝象機可以用于生產過程的質量保證或質量控制，例如確定制品工件的多種尺寸并驗證它是否符合標準。類似地，通過測量存儲在容器中的體材料或商品的外形輪廓，其體積是已知的或利用攝象機可以測量的，可以確定材料或商品的體積。
在本發明的其它優選實施方案中，攝象機通常用在模塊掃描儀中，用于獲取感興趣目標的三維圖像。優選地是，圖像是彩色圖像。在一個這樣的優選實施方案中，這些三維圖像與系統一起用于快速三維模型建模，如本領域中眾知的，以便復制感興趣目標的一個或多個三維拷貝或模型，包括表面顏色的復制。
在本發明的其它優選實施方案中，攝象機安裝在車輛上，用于避撞系統，例如通過識別潛在的障礙物并判斷出車輛與障礙物間的距離。
在本發明的其它優選實施方案中，上述的測距攝象機與內窺鏡一起使用，以便獲得患者體內的感興趣區域的圖像。
在本發明的另一個優選實施方案中，攝象機與盲人使用的傳感器矩陣相連。例如，傳感器矩陣可以包括多個壓在盲人皮膚上的探針，例如在他或她的前額上，其中每個探針施加到皮膚上的壓力比例于盲人與由攝象機觀察到的在景物中的相應點上的目標之間的距離。優選地是，盲人控制攝象機的距離窗口，這樣，由探針施加的壓力范圍對應于預期的距盲人的距離范圍。
因此根據本發明的優選實施方案，提供了一種裝置，用于生成指示距景物目標的距離的圖像，包括輻射調制光源，具有第一調制功能，并將光輻射指向景物；檢測器，檢測景物反射回來的，經第二調制功能調制的光輻射，并響應于檢測到的調制光輻射，生成與距景物區域的距離相應的信號；處理器，接收來自檢測器的信號并根據信號形成圖像，該圖像具有指示目標與設備間的距離的光強值分布；和控制器，改變第一和第二調制功能中的至少一個，以便響應處理器形成的圖像的光強值分布。
此外，根據本發明的優選實施方案，提供了一種裝置，用于生成指示距景物目標的距離的圖像，包括輻射調制光源，具有第一調制功能，并將光輻射指向景物；檢測器，包括一個具有第二調制功能的檢測器調制器，和一個檢測器陣列，該陣列包括數個檢測器單元，其中檢測器檢測景物中的數個平行空間區域反射回來的光輻射，并響應于檢測到的光輻射，生成與距景物該區域的距離相應的信號；和處理器，用于形成圖像，該圖像至少包括所述數個空間區域中的一些并具有指示目標與設備間的距離的光強值分布；其中，數個空間區域中的每一個都具有相對于設備的由檢測器調制器確定的距離邊界，和其中，數個空間區域中的至少一個具有與至少一個其它空間區域的邊界不同的距離邊界。
根據本發明的優選實施方案，還提供了一種系統，用于生成指示距景物目標的距離的分布圖像，包括用于生成上述圖像的裝置，該裝置形成景物的數個連續圖像，數個圖像中至少有一個包括一個或多個沒有包含在至少一個其它圖像中的景物區域；和圖像處理器，它把數個圖像合并成分布圖像，用以指示到景物目標的距離。
根據本發明的優選實施方案，還提供了一種裝置，用于生成指示距景物目標的距離的圖像，包括輻射調制光源，將光輻射指向景物；遠心光學裝置，接收和準直由景物反射的光輻射；調制器，調制校準的光輻射；檢測器，檢測由調制的準光輻射形成的圖像；和處理器，響應于檢測到的圖像的光強分布，形成具有指示目標與設備間距離的光強值分布的圖像，其中，光源和檢測器是軸線對準的，和其中，對景物反射的校準光輻射進行調制的調制器不對光源直接指向景物的光輻射進行調制。
根據本發明的優選實施方案，還提供了一種裝置，用于生成指示距景物目標距離的圖像，包括輻射調制光源，具有第一調制功能，并將光輻射指向景物；第一檢測器，檢測景物反射回來的經第二調制功能調制的光輻射，并響應于檢測到的調制光輻射，生成與到景物區域的距離相對應的信號；第二檢測器，與第一檢測器軸線對準，檢測景物反射回來的未經第二調制功能調制的光輻射，并響應于檢測到的光輻射，生成與景物區域反射回來的光強相對應的信號；處理器，接收來自第一和第二檢測器的信號并根據信號生成圖像，該圖像具有指示目標與設備間的距離的光強值分布。
根據本發明的優選實施方案，還提供了一種指引機器人的系統，包括一個能夠生成指示距景物目標距離的圖像的裝置，如上所述，和一個機器人，它利用導引裝置指示的距目標的距離，按照景物中的目標行動。
根據本發明的另一個優選實施方案，還提供了一種判定工件尺寸的系統，包括一個生成工件圖像的裝置，用以指示距工件區域的距離，和一個利用圖像和指示距離來判定工件尺寸的計算機。優選地，計算機比較工件尺寸和標準尺寸。另外，計算機還根據確定的尺寸來確定工件的體積。
根據本發明的另一個優選實施方案，還提供了生成工件三維模型的系統，它包括判定工件尺寸的系統，如上所述，以及快速建模裝置，該裝置接收尺寸判定系統確定的尺寸，并根據尺寸生成三維模型。優選地是，快速建模裝置從產生工件圖像的裝置接收圖像信息的圖象信息，更加優選地是包括顏色信息，并將圖像信息施加到三維模型的表面。
根據本發明的優選實施方案，還提供了一種車輛導引系統，它包括產生圖像的裝置，該圖像指示出與沿著其運動方向、在其前方的景物中的目標之間的距離，如上所述，以及一個處理器，該處理器利用圖像和示出的距離來識別景物中的危險。
根據本發明的優選實施方案，還提供了內窺鏡成象系統，它包括具有用于插入目標體內的遠端和用于連接光學裝置的近端的內窺鏡，和生成圖像的裝置，如上所述，該裝置與內窺鏡的近端相連，以便導引光輻射通過內窺鏡進入體內，并檢測那里反射的光輻射。
根據本發明的優選實施方案，還提供了產生景物觸知(tactile)圖像的系統，它包括產生包含景物中的多個目標點距離信息在內的景物圖像的測距攝像機，如上所述，和與目標體表面相接觸的觸知探頭的可尋址矩陣，每個探頭根據與景物中的多個目標點中的各個目標點間的距離向表面施加一定的壓力。
根據本發明的優選實施方案，還提供了調制電子流的微通道陣列裝置，包括微通道板，利用它可以對電子進行加速；和數個鄰近微通道板的可切換電極，每個電極在板的相應位置上調制電子的加速度。
優選地是，微通道陣列包括光電陰極，它接收經微通道板加速的電子并產生響應電子的光子，其中電極包括鍍在光電陰極上的導電透光材料。
根據本發明的優選實施方案，還提供了生成景物圖像的攝像機系統，包括光電陽極，它響應由景物入射到其上的光輻射、產生電子流；微通道陣列裝置，如上所述，它響應電子流、調制和產生光子；和檢測器，接收光子并產生相應的景物圖像。
根據本發明的優選實施方案，還提供了一種產生指示景物目標距離的圖像的方法，包括根據第一調制功能調制輻射光源射出的光輻射，并將輻射指向景物；根據第二調制功能調制景物反射回的光輻射；檢測反射光輻射、并響應于檢測到的光輻射而產生與距景物區域的距離相對應的信號；形成具有亮度值分布的、指示景物目標距離的圖像；和響應于圖像的亮度值分布，改變第一和第二調制功能中的至少一個。
此外，根據本發明的優選實施方案，還提供了一種產生指示景物目標距離的圖像的方法，包括根據第一調制功能調制輻射光源射出的光輻射，并將光輻射指向景物；在景物中界定數個平行空間部分，每個部分都具有距離邊界；檢測每個平行空間部分反射回的光輻射、并響應于檢測到的光輻射產生對應于景物區域距離的信號；形成具有亮度值分布的、指示景物目標距離的圖像，其中，對數個空間部分的界定包括對數個部分中的每一個的距離邊界的界定，和其中，數個空間部分中至少有一個的距離邊界與至少一個其它的空間部分的距離邊界不同。
根據本發明的優選實施方案，還提供了一種生成指示景物目標距離的擴展圖像的方法，包括根據上述的方法，生成景物的第一幅圖像；相對于景物，橫向掃描空間部分；以生成第一幅圖像相同的方式生成第二幅圖像；和配準并合并第一幅圖像和第二幅圖像，產生擴展圖像。
根據本發明的優選實施方案，還提供了一種生成包括疊加在獨立獲得的背景圖像上的感興趣目標在內的復合圖像的方法，包括生成第一幅包括感興趣目標在內的景物圖像，第一幅圖像指示出景物目標距離；判定由第一幅圖像指示出的、距目標的距離；界定包括距至少一個目標的距離在內的距離范圍；從第一幅圖像中去除距離范圍之外的目標，從而形成濾波圖像；和把濾波圖像疊加在背景圖像上。
根據本發明的優選實施方案，還提供了一種生成景物復合圖像的方法，包括插入到復合圖像預定區域的預定的嵌入圖像，方法包括在景物中標識區域；生成包括標識區域在內的第一幅圖像，第一幅圖像指示出景物目標距離；判定第一幅圖像中的區域邊界的位置和到區域的距離，如第一幅圖像所示；
根據到區域的距離，調節嵌入圖像的比例使之配合區域邊界；和把調節后的嵌入圖像疊加到第一幅圖像中的區域，形成復合圖像。
優選地是，該方法還包括在第一幅圖像中識別感興趣目標，其中距感興趣目標的距離小于距區域的距離；對第一幅圖像進行濾波，以便形成感興趣目標的濾波圖像；把感興趣目標的濾波圖像疊加到區域內的嵌入圖像上。
通過下述的優選實施方案詳述，并結合附圖將更加全面地理解本發明。
附圖簡述

圖1是根據本發明優選實施方案的光學測距攝象機簡圖；圖2A是根據本發明優選實施方案的遠心光學測距攝象機簡圖；圖2B是根據本發明的替換優選實施方案的遠心光學測距攝象機簡圖；圖2C是根據本發明優選實施方案的包括兩個檢測器陣列的另一種光學測距攝象機簡圖；圖3是根據本發明優選實施方案，顯示出示例了與圖1或圖2B的攝象機一起使用的調制方案的波形簡圖；圖4是根據本發明優選實施方案，由測距攝象機成象的景物簡圖；圖5是根據本發明優選實施方案，通過將圖3所示的波形施加到圖1或圖2B中的攝像機而獲得的距離相關圖像濾波函數的簡圖；圖6A是根據本發明的另一個優選實施方案，示例了與圖1或圖2B中的攝像機一起使用的、替代調制方案的波形的簡圖；圖6B是通過將圖6A所示的波形施加到圖1或圖2B中的攝像機而獲得的距離相關圖像濾波函數的簡圖；圖7是根據本發明的優選實施方案，自適應光學測距攝像機系統的簡圖；圖8A是根據本發明的優選實施方案，生成復合視頻圖像的光學測距攝像機系統的簡圖；圖8B是圖8A的系統生成的視頻圖像的簡圖；圖9是根據本發明的另一個優選實施方案，生成復合視頻圖像的光學測距攝像機系統的簡圖；圖10是根據本發明的優選實施方案，光學測距線成像攝像機的簡圖；圖11是根據本發明的優選實施方案，優選地在圖10的攝像機中使用的、光閥陣列的剖面簡圖；圖12A是根據本發明的優選實施方案，示例了與圖10中的攝像機一起使用的、調制方案的波形的簡圖；圖12B是根據本發明的優選實施方案，通過將圖11A所示的波形施加到圖10中的攝像機而獲得的距離相關圖像濾波函數序列的簡圖；圖13是根據本發明的優選實施方案，利用圖10的線成像攝像機的地形成像系統簡圖；圖14是根據本發明的另一個優選實施方案，利用圖10的線成像攝像機的圖像掃描系統簡圖；圖15是根據本發明的另一個優選實施方案，光學測距線成像攝像機的簡圖；圖16是根據本發明的優選實施方案，與圖10的線成像攝像機中的檢測器陣列一起使用的、彩色帶狀濾波器的簡圖；圖17A是根據本發明的另一個優選實施方案，彩色測距攝像機的簡圖；圖17B是根據本發明的優選實施方案，在圖17A的攝像機中用來產生多距離窗口的檢測器的部分簡圖；優選實施方案詳述現參照圖1，該圖根據本發明的優選實施方案示例了光學測距攝像機20，如在此引用作為參考的、上面提到的第二個PCT申請所述。攝像機20包括檢測器陣列22，優選地是CCD陣列，例如EastmanKodak，Rochester，New York制造的KAF 0400 CCD陣列，EG&GReticon，Sunnyvale，California制造的HS 0512J CCD陣列。CCD22產生的信號由視頻處理器24處理，該處理器優選地產生由攝像機成象的景物26的三維數字圖像，或維視頻圖像，它指示出感興趣目標的距離，下面將詳細討論。
攝像機20還包括光學組件28，它對從景物26接收到的光線進行調制。組件28包括入射光圈30、匯聚透鏡32、光調制器34、聚焦透鏡36和出射光圈38。優選地是，光圈30和匯聚透鏡32構成遠心光學系統，由此，透鏡32將從景物26接收到的光線瞄準調制器34。光調制器34優選地包括電光調制器，例如KDP晶體或本領域眾知的其它適宜材料，另外還可以包括本領域眾知的其它類型的光調制器，例如聲光調制器、液晶光閥或高速機械光閥。應當清除的是，為了簡化說明，這里只是簡略地示出了組件28，實際上攝像機20包括額外的透鏡和/或其它本領域眾知的光學元件。
攝像機20還包括光源40，優選地包括大功率激光二極管，例如Opto Power Corporation，City of Industry，California制造的OPC-1003-813激光二極管，和本領域眾知的適用光學元件，以便利用激光二極管產生基本均勻的景物照明。另外，光源40可以包括任何其它類型的激光器或非相干光源，例如頻閃燈。驅動電路42為光源40提供輸入功率。光調制器44，可以是與調制器34相同的類型，與光源40共同調制對景物26的照明。另外，驅動電路42還向光源提供經適當調制的輸入功率，以便在不需要額外調制器44的條件下對景物照明進行調制。
控制器46通過控制調制器44和/或電路42來調節對景物26的照明調制，以及通過控制調制器34來調制由景物反射回來的、入射到陣列22上的光輻射。優選地是，控制器46與視頻處理器24通信，這樣可以自適應地調制照明和反射光輻射，下面將詳細描述。
圖2A展示了本發明的替代優選實施方案，包括遠心光學測距攝像機50，如在此引用作為參考的第二PCT申請所述。攝像機50包括檢測器陣列22、光學組件28和光源40。攝像機50通常與攝像機20相似，但是其主要差別是在于在攝像機50中公共調制器52對光源40射出的照明光和從景物26反射回到陣列22上的光輻射均進行調制。優選地，調制器52包括KDP晶體，或者任何其它適宜類型的調制器，如上所述。光源40射出的照明光經投射透鏡54準直后，通過合束器58平行對準光軸56。
調制器52可以用來向照明光和反射光輻射提供公共調制波形。然而在本發明的優選實施方案中，調制器52由控制器46驅動提供多種波形，優選地是提供給照明光的第一波形和提供給反射光輻射的第二波形，下面將詳細描述。
應當理解的是，當分別施加第一和第二波形時，通常調制器52將不加區分地透射照明光和反射光輻射。優選地是，由此，視頻處理器24控制陣列22，以便使陣列只響應調制器52根據第二波形而透射的光輻射并產生信號。這樣，例如在陣列22包含CCD陣列的本發明優選實施方案中，如上所述，視頻處理器24優選地與第二波形同步地啟動陣列的電子光閥，如本領域所眾知的。類似地，驅動電路42優選地與第一波形同步地驅動光源40。
圖2B展示了本發明的另一個優選實施方案，包括遠心光學測距攝像機59。攝像機59與示于圖2A的攝像機50相似，只是攝像機59包括對景物26的照明光進行調制的調制器44，該調制器與調制反射光輻射的調制器52是獨立的。這樣，施加給攝像機20的調制波形將等價地施加給遠心攝像機59，并具有相似的結果，下面將詳細描述。
圖2C展示了本發明的另一個優選實施方案，包括具有兩個檢測器陣列22和65的遠心光學測距攝像機64。檢測器陣列22接收景物26反射回來的、并經過調制器52調制的光輻射，與圖2B和上述的其它優選實施方案中描述的檢測器陣列基本類似。然而，陣列65接收景物26反射回來的、在景物反射后未經調制的光輻射。利用分束器66，陣列65與陣列22平行對準。由此，成象透鏡67和出射光圈68在陣列65上形成了景物26的非調制圖像，該圖像優選地基本上與形成在陣列22上的(調制)圖像配準。
如在上面的攝像機59中提到的，施加給攝像機20的調制波形將等價地施加給遠心攝像機64，對于陣列22接收的圖像具有相似的結果。下面還將描述陣列65接收的非調制圖像的用途。
盡管圖1、2A、2B和2C所示的優選實施方案包括遠心成象單元，應當理解的是本發明的原理可以類似地用來制作非遠心光學測距攝像機，如上述的第一PCT申請所顯示和描述的。
圖3簡略地示例了用于驅動圖1所示的調制器44和34以便分別調制景物26的照明光和其反射光輻射的波形60和62。優選地波形均為所示的矩形脈沖。當每個波形處于高值時，各自的調制器允許光線通過。當每個波形處于低值時，調制器阻斷光線。優選地是，波形60和62保持使各自的調制器導通的高值的持續周期為T，其中調制器34的導通時間相對于調制器44滯后時間τ。
盡管圖3的波形是矩形脈沖，還可以使用其它的波形，下面將描述這樣的例子。應當理解的是圖3的脈沖形狀僅僅是為了說明的簡化而理想化的，但是為實現本發明，這樣的理想化脈沖形狀并不是必需的。
圖4是利用圖1所示的攝像機20對景物70進行成象的簡圖，其中攝像機受圖3所示的波形控制。景物70包含數個目標，包括第一目標72、第二目標74和第三目標76，距攝像機20的距離分別為D1、D2和D3。當目標72、74和76由攝像機20內的光源40照明時，它們通常向攝像機反射回光線，該光線經光學組件28匯聚并聚焦到檢測器陣列22上。假定調制器34和44工作在CW模式，即始終保持導通狀態，各個目標反射回的光線將在檢測器陣列的一個或多個單元上產生各自的、基本恒定的照射光，各個目標的圖像聚焦在檢測器陣列上。照射光的亮度通常是、尤其是各個目標距攝像機的距離以及目標輻射光譜的函數。響應于這些基本恒定的照射光，檢測器陣列22的單元產生各自的原始信號值S1、S2和S3。
然而，當調制器34和44由波形62和60驅動時，由于光源40射出的光線到達各個目標并返回攝像機20所需的的傳輸時間不同，響應于目標72、74和76反射的光線、由陣列22產生的信號與原始信號不同。傳輸時間通常用ti＝2Di/c表示，其中c是光速，下標i是指景物70中的第i個目標。如圖3所示，對T和τ的一種選擇界定了一個距離窗口78，分別由最小和最大距離Dmin和Dmax界定，其中Dmin＝(τ-T)c/2，Dmax＝(τ+T)c/2，除非τ＜T，這種情況下Dmin＝0。當調制器34和44都如所示的方式工作時，來自窗口78外部的目標，例如目標76的光將因為D3＞Dmax而被調制器舍棄，因此陣列22將不會產生響應于這種目標的具體信號。
此外，如圖5所示，由陣列22響應于窗口78內部的目標，例如目標72或74，而生成的信號Ii的強度與目標距攝像機的距離基本上呈線性關系。分別響應于目標72和74的信號I1和I2通過下面的公式而歸一化Ii＝Ii/Siτf(1)Ii‾=Ii/Siτf---(1)]]>其中Ii是第i個目標產生的非歸一化信號，f是對陣列22進行采樣而使用的適宜的場頻率或幀頻率。
當保持調制器34和44瞬時開啟時，利用檢測器陣列22獲得原始信號值Si如上所述。另外，如圖2C所示，攝像機64中的檢測器陣列65可以用于獲取這些原始信號。對照射到陣列22上的光線進行調制，如上所述，以便獲得距離信息，而照射到陣列65上的光線基本上未進行調制(除了對光源40進行調制的情況之外)。這樣，可以同時獲得距離響應信號Ii和原始信號Si。
然而，在本發明的一些優選實施方案中，其中T和τ基本上小于場或幀周期1/f，圖3所示的波形可以在單場或單幀內順序地重復多次。這種情況下，非歸一化信號通常將比例于單場或單幀內波形的重復次數而增加，通常這種增加將提高攝像機捕獲的圖像的信噪比。如本領域眾知的，如果N是波形在單場內重復的次數，信噪比的提高通常在N的均方根和N之間的范圍內，這取決于噪聲是源噪聲為主還是電路噪聲為主。因為T和τ通常均小于1毫秒，波形可以優選地在持續時間大約為16毫秒的單個視頻場內重復1000次(或更多)，使信噪比提高因子為30或更高。
歸一化信號對距攝像機20的距離的線性函數依賴關系是改變照明波形60與反射光輻射調制波形62間的疊蓋范圍的結果，在對波形60進行有效地延時2Di/c之后，該延時時間是由照明光源40射出的光線到達各個目標后再返回攝像機所必需的。該函數在目標位于距離Di＝τc/2處時具有最大值，還具有比例于T的寬度(Dmax-Dmin)。這樣可以根據響應于目標而產生的歸一化信號判定攝像機20距窗口78內目標的距離。由窗口中心附近的目標72產生的歸一化信號I1將大于位于距攝像機更遠處的目標74產生的信號I2。
盡管如上所述波形60和62具有相等的持續時間T，這些波形可以分別具有不同的持續時間T60和T62。例如，可以延長T60或T62以便產生更強的信號I1和I2。結果，然而，歸一化信號對目標距離的函數關系將不再是圖5所示的三角形，而是梯形，這樣窗口中心部分的距離差異將無法區分。因此，在本發明的優選實施方案中，波形60和62的持續時間是相同的。這種判定目標距離的方法還描述于上述的、在此引用作為參考的PCT專利申請。如這些PCT專利申請所述，其它調制波形可以類似地用于驅動調制器34和44，但是參照圖3所示的矩形脈沖波形，可以十分容易地解釋歸一化信號與目標距離的一般依賴關系和在此描述的攝像機20的應用。
還應理解的是，盡管波形60和62顯示為理想的矩形，但是在實際應用中，光源提供的波形以及調制器34和44調制后的反射光輻射通常將分別具有有限的上升時間和有限的下降時間，例如下圖6A所示。結果，響應函數的拐角將是圓滑的，而不是圖5所示的銳角。然而，在使用其它非理想波形時，可以同樣地應用本發明的原理。
從上述討論還應理解的是，窗口78的中心位置可以通過改變τ來控制，窗口的寬度可以通過改變T來控制。優選地是，當在景物中識別感興趣目標時，或者自動地或者按照攝像機操作人的命令通過控制器46自適應地控制τ，以便使感興趣目標保持在窗口中心附近，在該位置上目標產生的歸一化信號將達到最大值。
此外，T優選地由控制器46控制，以便限制窗口78的寬度使其只包括包含感興趣目標在內的、一定的目標距離范圍。如圖5所示，通過增加歸一化信號與距離間的依賴關系的斜率，對T的限制可以用來提高目標距離判定的精度，這樣處于不同距離上的目標在歸一化信號上的差異將增大。通過從陣列22獲得的圖像中去除非感興趣目標，例如圖4中的目標76，限制T還可以用于減少圖像的“聚集”。
在本發明的一些優選實施方案中，τ和T受控制器46的控制以便優化目標的動態范圍和攝像機的距離檢測。例如，當景物包含幾個距攝象機距離不同的感興趣的目標時，τ和T可被控制以將窗口的中心移到距攝象機最遠的目標處附近。如本領域眾知的，由目標反射回的光線在陣列22上產生的輻照度通常按照攝像機距目標的距離的三次或四次冪減少。由此，響應于最遠處信號而產生的(非歸一化)信號通常將是最弱的信號，將窗口中心移到最遠目標處將有助于使信號的動態范圍最大。類似地，如果一個目標的反射率低于另一個目標或所有目標，可以把低反射率目標作為窗口中心以便增強信號的動態范圍。
圖6A是示例了替代優選實施方案的時序圖，其中波形60用于調制照明光，波形62用于調制反射光輻射，它們一般是比圖3中的理想矩形脈沖更接近于實際調制波形的梯形脈沖。此外，波形60的持續時間T60基本上比波形62的持續時間T62長。
圖6B簡單地示例了當攝像機20根據圖6A的波形工作時，從目標72、74和76接收到的歸一化信號強度Ii，如圖4所示。距離小于Dmin的目標的歸一化信號基本上為零，如上所述。對于距離大于Dmid直到Dmax的目標，例如在距離D3處的目標76，歸一化信號基本上為一。Dmid在很大程度上取決于T62以及波形60和62的上升時間。Dmax在很大程度上取決于時間τ和T60之和。優選地是，Dmax大于攝像機與景物中的、最遠處的主要目標間的距離。另外，Dmax的選取應保證Dmax＞c/f，其中如前面所標注的，c是光速，f是攝像機20的場或幀速率，這樣所有距離大于Dmid的目標將產生基本上等于1的歸一化信號。
由此，在Dmin和Dmid之間的感興趣距離范圍內，歸一化信號是單調遞增函數，據此，根據本發明的原理可以分別判定目標72和74的距離D1和D2。優選地忽略距離范圍之外的目標。通過調節T62可以增加或減少該范圍。應當理解的是，對于感興趣距離范圍內的目標，歸一化信號的每一個值對應唯一的目標，這與圖5所示的函數不同，其中位于0和1之間的歸一化信號的確定值對應著兩個不同的目標距離。在圖5所示的方案中，必需采用其它方法將這兩個距離相互區分開，例如對采樣不同的距離窗口而獲得的結果進行比較。
圖7展示了本發明優選實施方案，其中攝像機20從景物70內的距離窗口獲取三維圖像信息，其中窗口的中心距離及其寬度是自適應受控的。優選地是，首先，調制器34和44工作于CW模式時，攝像機20接收二維圖像數據，如上所述。圖形數據由圖像分析儀80接收，該儀器識別景物70內的目標并通過操作臺82和視頻顯示器84向操作人顯示視頻圖像。圖像分析儀80和操作臺82優選地包括一臺或多臺用于圖像處理的數字計算機，如本領域所眾知的。優選地通過使用跟蹤球、鼠標或其它本領域眾知的定點輸入裝置，通過操作臺82，向圖像分析儀80和/或獨立的系統控制器86指示目標，操作人可以識別出景物70中的至少一個目標，例如目標72。
一旦識別出感興趣目標，系統控制器86拾取關于目標72的初始距離范圍讀數。如圖7所示，通過將本領域眾知的距離測距儀88，例如激光距離測距儀，瞄準目標72并接收距離范圍讀數來獲取這種初始距離范圍讀數。系統控制器86利用初始距離范圍讀數判定τ和T的適宜值，以便產生預期的距離窗口，優選地是以目標72的距離為中心。
在本發明的另一個優選實施方案中，不必使用距離測距儀88，系統控制器86就可以獲取初始距離范圍讀數。優選地，利用控制器46控制調制器34和44，以便通過使用較大的T值，產生以目標72的估計距離為中心的寬窗口口。如果估計目標72的距離不是很方便，τ值可以在一定的范圍內掃描以便在不同的距離上產生多個窗口口，直到找到初始距離范圍為止。此后，優選地降低T值，以便使窗口口更加接近于包括目標72和任何其它感興趣目標在內的距離范圍，這樣能夠以優化的精度和減少的圖像干擾判定這些目標的距離，如上所述。
盡管在上述的優選實施方案中，通過操作人以交互方式初始識別感興趣目標，而在本發明的其它優選實施方案中，圖像分析儀80根據程序化的圖像特征可以自動地識別感興趣目標。例如，采用圖像分析方法和/或本領域眾知的自動目標識別方法，可以對圖像分析儀進行編程使其可以識別出車輛、人或建筑物。這些識別標記傳遞給系統控制器86，系統控制器控制距離測距儀88和/或攝像機20跟蹤并判定到識別目標的距離。
然而，至少識別一個感興趣目標，并獲得其初始距離范圍，此后圖像分析儀80優選地繼續跟蹤目標及其距攝像機20的距離。系統控制器86自適應地調節τ和T，以便使窗口口78處于預定的寬度，并基本上以目標為中心。
圖8A和8B簡略地示例了本發明的優選實施方案，其中攝像機20與本領域眾知的圖像處理器90一起使用，以便生成預期的復合圖像。
復合圖像通常用于娛樂業，例如新聞廣播，人為地將感興趣目標，通常是利用視頻攝像機其圖象的人物，插入到獨立獲取的背景的前面。人物或其它感興趣目標的圖像背景通常必需是已知的，具有特定顏色的，通常為藍色。在獲得人物或其它感興趣目標的圖像之后，進行色調-鍵控，即識別出圖像中的具有特定顏色的所有象素，然后獨立獲得的背景圖像逐象素地替換色彩-標識象素。這種色調鍵控方法要求人物或其它感興趣目標后面的預定顏色背景是固定的，以及人物或其它感興趣目標基本上不包括任何預定的色彩。
然而，如圖8A所示，攝像機20可以有選擇地獲取窗口口96內的人物92和94的圖像，而把距離較遠的建筑物98排除在獲得的圖像之外。優選地是，調節τ和T使得陣列22產生的、響應于人物92和94的圖像的歸一化信號基本相等，人物94距攝像機20的距離遠于人物92。這種歸一化信號的等值有助于更加精確地判斷人物94的距離，還有助于產生更加宜于觀看的圖像，這是因為更加清楚地重建了人物92和94。
如圖8B所示，圖像處理器90從攝像機20接收獨立獲得的圖像，并把它與背景100復合，從而在顯示器102上產生所需的、合并視頻圖像，或者，類似地，記錄和/或傳輸這種合并視頻圖像。不需要固定的背景或色調-鍵控。背景100可以是真實的、獨立獲取的圖像，或者是合成的計算機生成圖像，或者是真實圖像和人造圖像的結合體。
圖9簡略地示例了另一個本發明的優選實施方案，其中攝像機20和圖像處理器90與廣告板104一起用來產生復合圖像，其中所需的圖片，例如廣告信息，人工地放置在廣告板上的圖像中。這種優選實施方案優選地用在國際體育廣播中，例如在不同的國家中產生針對特定聽眾的廣告。
由此，如圖所示，攝像機20捕獲包括目標106和廣告板104在內的圖像，并分別判定距目標和廣告板的距離，如上所述。另外，圖像處理器90還利用本領域眾知的圖像分析方法，識別出廣告板104的邊界并判定廣告板相對于攝像機20的位置和方向。邊界108優選地包括易識別特征，例如反射帶，紅外反射材料帶或紅外LED行或者其它燈組成的行。另外，廣告板104可以是色調-鍵控的，以便于圖像處理器90精確地判定位置和方向。然后，在對圖像或消息的大小和視角進行適當地調節之后，圖像處理器把所需的圖像或消息插入從攝像機20接收到的圖像中的廣告板104中。目標106的圖像疊加在廣告板中的圖像或消息上。
圖10是根據本發明另一個優選實施方案的測距、線成象攝像機110的簡略表示圖。攝像機110的使用方式可以類似與本領域眾知的線性陣列成象裝置，例如線陣列CCD攝像機和掃描儀。這種裝置通常產生目標或景物的窄線部分圖像(無景深信息)。裝置的視場光學地或機械地在目標或景物上掃描，并把多個產生的圖像合并成單個二維圖像。正如下面所述，優選地是，視場掃描、線成象攝像機110掃描目標或圖像，以便生成包括三維信息在內的圖像。
如圖10所示，攝像機110包括檢測器陣列112，優選地是與攝像機20中的陣列22相似的CCD陣列。陣列112包括數個檢測單元的平行行114。視頻處理器116為陣列112提供驅動信號，并從那里接收圖像響應視頻信號。類似于攝像機20，線成象攝像機110顯示為對景物26進行成象，景物由驅動電路42通過調制器44驅動的光源40照明。
攝像機110中的光學組件118包括匯聚透鏡120、線光閥陣列122和成象透鏡124。光閥陣列122包括數個長而窄的光閥單元130、132、134、...136，并優選地安裝在基本上與檢測器陣列112所在的平面平行的平面上，單元130-136的指向基本平行于行114。控制器126利用集成切換網絡128控制線光閥陣列122，該網絡優選地在控制器126的控制下以預定的順序開啟各個光閥單元130-136。另外，控制器126還控制驅動電路42和調制器44，如上面參照攝像機20中的控制器46所描述的，并控制和接收來自視頻處理器116的數據。
優選地是，光閥陣列122是液晶光閥陣列，或者是門選通微通道單元陣列，或者是電光或聲光調制單元陣列。
例如，圖11示例了本發明的優選實施方案，其中光閥陣列122包括門選通微通道單元陣列，以部分剖面圖的形式顯示。陣列122包括鍍在第一玻璃板138上的光陽極板137、微通道板139、和鍍在第二玻璃板145上的光陰極板143，集成切換網絡128疊加在光陰極板上。光陽極137和光陰極143可以包括任何本領域眾知的適宜材料，例如磷光體。切換網絡128優選地包括數個導電、透光電極，例如鍍在光陰極143表面上的ITO條(銦錫氧化物)。應當理解的是，盡管為了示例的清楚，圖中所示的玻璃板138和145以及微通道板139都是分離的，而在實際應用中，這些單元通常是緊壓在一起的，位于一個真空模中，如本領域所眾知的。
微通道板139優選地與本領域眾知的傳統微通道板類似，其差別在于組成光閥單元130、132、134、...136的、板內的不同微通道組在相應電極的控制下可以獨立地切換或選通。電極通過網絡128獨立地、可切換地與負高壓源相連，優選地是在-200VDC左右，這是本領域眾知的。
光閥陣列122的操作，如圖11所示，將通過下例得到理解。打在光陽極137上的電子在微通道板139的附近產生光電子。當對應于單元130的一個電極147與負高壓相連時，在單元130附近區域產生的光電子通過由單元130組成的板139中的微通道而得到加速，在微通道中還會產生二次電子，如本領域眾知的。然后，這些電子通過電極147，打到光陰極143上，由此，在單元130附近的陰極區域產生光子。假定其余的電極141未與負高壓相連，這種過程將基本上不會在任何一個其它單元132、 134、...136上發生。由此，光閥單元130充分地開啟，而其余光閥單元充分地閉合。光閥單元132、134、...136優選地以類似的順序、隨著單元130而順序地開啟。
匯聚透鏡120把景物26反射回的光線映射在光閥陣列122上，該陣列以下述的方式調制光線。然后，成象透鏡124把來自光閥陣列的調制光線聚焦在檢測器陣列112上。優選地是，光學組件118是這樣構造和對準的，即光閥陣列122中的每個單元130-136成象在檢測器陣列112的一行114上，或者成象在相鄰行組114上，這取決于單元130-136相對于行114的數目和尺寸。盡管在圖10中，成象透鏡124以近似于單位放大的比例將光閥陣列122映射到檢測器陣列112上，應當理解的是通過適當地選擇和對準成象透鏡124可以選取任何適宜的放大比例，這取決于光閥陣列122、檢測器陣列112與它們各自的單元130-136和行114的相對尺寸。此外，如果光閥陣列122和光閥單元130-136的尺寸可以小得與檢測器陣列112和行114的尺寸相匹配，光閥陣列122可以直接安置在檢測器陣列112附近，并直接接觸與其耦合，這樣，就不必插入成象透鏡124，簡化了光學組件118。
圖12A是時序圖，根據本發明的優選實施方案，它簡略地示例了施加給攝像機110中的調制器44和光閥陣列122的切換和調制脈沖140。調制器44和光閥單元122在持續時間為T的矩形脈沖波形的作用下初始開啟，允許光線從中通過。當調制器44和單元130關閉時，基本上相同的調制波形施加給單元132。當單元132關閉時，單元134開啟，沿著陣列122以這樣的順序進行下去直到最后一個單元136開啟。如上所述，當每個光閥單元130-136開啟時，檢測器陣列112的相應行114或行組就暴露在景物26反射回的光線之下。
如圖12B所示，示于圖12A的調制圖案140產生一系列連續的、相互疊蓋的、由光閥單元130-136限定的距離窗口142。檢測器陣列112的每一行114或行組只接收景物26中的、位于由相應光閥單元130-136定義的窗口口內部的目標反射回的光線。如上面參照圖3、4和5或者6A和6B所描述的，可以確定窗口口142的寬度和各自的中心距離，以及歸一化信號強度。距離窗口142間的相互疊蓋可以用來解決距離模糊的問題，例如根據圖5的方案，當感興趣目標只包含在單一距離窗口內時，就能遇到上述問題。
應當理解的是，調制圖案140和最后的窗口口142是以示例的方式顯示在這里的，利用可以類似地使用任何適宜的調制圖案。例如，施加到調制器44上的調制波形可以類似于圖6A所示的、并參照圖形進行了描述的波形60。施加到光閥單元130-136的波形可以類似于圖6A所示的波形62，并相應地按照圖12A所示的方式使用。在這種情況下，可以定義一系列相互疊蓋的距離窗口，類似于圖6B所示的距離窗口。
此外，應當理解的是施加給連續光閥單元的調制脈沖在時間上可以是疊蓋的，這樣相應的距離窗口與它們各自的相鄰窗口具有更大的疊蓋。另外，可以在調制脈沖間引入一定的延時，以便使距離窗口分離開。此外，施加給連續光閥單元130-136的波形不必都具有相同的持續時間，但是，例如其持續時間可以沿著陣列、從一個單元到另一個單元地逐漸增加，這樣在距攝像機110較遠的距離上，距離窗口較寬。
應當理解的是，線成象攝像機110捕獲的各幀圖像包括圖像段陣列。各個圖像段基本上與其相鄰段橫向接觸，捕獲不同距離窗口內的目標。由此，在兩個圖像段邊界上的目標通常在兩個圖像段內具有不同的歸一化亮度值，或者是在兩個圖像段中的一個上出現，而在另一個上不出現。由此，在本發明的優選實施方案中，如通過與傳統的、本領域眾知的線陣列成象裝置相比較而在前面提到的，圖像段光學或機械地掃描過景物，這樣至少在一圖像段中可以捕獲到景物中的感興趣目標，該圖像段具有包含感興趣目標的距離窗口。
圖13簡略地示例了在用于三維勘測成象的機載系統146中線成象攝像機110的使用。系統146包括攝像機110，它安裝得相對于飛機148是下視的，其指向應保證光閥單元130-136的長度方向與飛機的航向基本垂直。攝像機110捕獲景物150的圖像，它通常包括建筑物152和154、植物156和地形特征158。
如圖13所示，陣列122中的各個光閥單元130、132、134、...136定義了各自的圖像段160、162、164、...166。優選地，圖像段具有基本相同的角寬度、或圖像段厚度，由陣列122中的光閥單元的高度定義，還具有景深基本相同的距離窗口，例如，如圖12B所示。為了示例的清晰，圖13只包括了少量的圖像段，盡管在實際應用中可以使用任意數目的圖像段，直至達到陣列122中的行114的數目。
當飛機148飛過景物150時，圖像段160-166以“推-掃”(“push-broom”)模式掃描過景物，這樣各個圖像段將逐行地捕獲位于各個距離窗口內部的景物目標的、完整的二維圖像。對于位于任意圖像段窗口口內的目標距攝像機110的距離，例如圖像段166中的建筑152，可以利用其歸一化信號強度而精確地確定，如上所述。如果需要，可以自適應地調節距離窗口以便適應景物中的高度變化，例如地形特征158的坡度。優選地是，飛機148的高度和對地速度是已知的、可控制的，更優選地是恒定的，這樣從攝像機110接收線圖形的圖像處理器170可以把線圖形和距離信息一起組合成景物150的完整三維圖像。
更優選地是，檢測器陣列112的掃描速率與對地速度同步，這樣，例如在攝像機110捕獲的一場或一幀中的圖像段160所捕獲的景物面積由后續場或幀中的圖像段162捕獲。由此，視頻處理器194和輔助圖像采集系統可以方便而精確地對準多個圖像段和相應的景深窗口口。
在本發明的一些優選實施方案中，攝像機110獲取的線圖像和距離信息用在三維照相測量法中，以便判定圖像特征的橫向尺寸和高度，例如建筑物152和154，和地形特征158。這些尺寸和高度可以用在精確的地形圖和大地勘測中。類似地，它們可以用來計算特征的體積，例如建筑物152，通常很難從傳統的照片和視頻圖像推導出。
應當理解的是，盡管圖13顯示了安裝在飛機148上的攝像機110，還可以描述其它類似的本發明優選實施方案，其中攝像機安裝在其它形式的機載平臺上，或者在太空或海洋平臺上。例如，攝像機可以安裝在海面船只或海下船只上以便測量水下或海底特征。
圖14簡略地顯示了本發明的替代優選實施方案，其中攝像機110以固定的方式安裝，并產生景物172的多個包括目標174、176和178的距離信息在內的線圖像段160-166。安裝在轉軸182上的反射鏡180在景物172上掃描線圖像，這樣類似于參照圖13而在上面描述的方式，圖像處理器170可以獲取景物的完整三維圖像。優選地，轉軸182由檢流計、多邊形掃描儀或本領域眾知的其它裝置轉動。
圖15仍顯示了本發明的另一個優選實施方案，其中線成象攝像機190可以快速地獲取景物26的三維圖像。攝像機190包括含有多個行193的檢測器陣列192，優選地是CCD陣列，類似于攝像機110中的陣列112，和與陣列192耦合的、類似于視頻處理器116的視頻處理器194。
如上面優選實施方案所述，驅動電路42驅動光源40為景物26照明，而調制器44根據所需的調制波形交替地開啟和關閉照明光束196的通路。柱形透鏡198聚焦光束196，以便在景物26上產生狹窄的線照明200，其中照明線200的長軸垂直于圖15的平面并且基本上平行于陣列192中的行193。掃描馬達204，例如本領域眾知的檢流計裝置，轉動掃描反射鏡202，使照明線200垂直地掃描過景物26。例如，利用由伺服馬達適當地轉動的多邊形反射鏡也可以類似地實現這種掃描。
景物26反射回的光線經過光學組件210的匯聚和掃描，最后聚焦在陣列192上。組件210包括入射光圈212、匯聚透鏡214、光調制器216、聚焦透鏡218和出射光圈220。調制器216優選地包括聲光晶體，它在控制器222的驅動下使從景物26接收到的圖像光束224發生偏轉，以便使光束垂直地掃描過陣列192。應當理解的是圖像光束224包括與照明線200相似的窄線反射光。
控制器222還控制和接收來自視頻處理器194的圖像數據，如參照圖10示出的控制器126所作的描述，并控制驅動器42、調制器44和檢流計204。
優選地是，當照明光束196垂直掃描過景物26時，調制器44反復地開啟、閉合，這樣照明線200可以照明水平段序列。對于每個這樣的段，調制器216優選地使圖像光束224順序地掃描過陣列192中的所有行193，從最頂端的行開始，到最低端的行結束。由此，圖像光束224以基本相同的駐留時間順序地駐留在各個類193上，該駐留時間在功能上等于圖3和12A所示的調制波形的持續時間T。類似地，如圖12A所示，光束224到達各個行193的時間相對于照明光束196有一定的延時，該延時基本上等于在陣列的前一行上的累計駐留時間。
應當理解的是，對于由照明線200在調制器44開啟時所處的位置界定的、景物26的每個段，攝像機190形成包括距離信息在內的、景物的線圖像。段內的距離信息被捕獲在連續的距離窗口內，每個窗口對應于陣列192的不同行193。當馬達204和反射鏡202使光束196掃描過全部景物26時，攝像機190形成全部景物的完整三維圖像。
在本發明的優選實施方案中，攝像機190以推掃模式掃描景物，例如通過把攝像機固定在飛機148上，以替換圖13中所示的攝像機110，或者把攝像機固定在一些其它適宜類型的平臺上。在這種情況下，不需要馬達204，因為照明線200可以隨著飛機的移動對景物進行掃描。然而，因為在攝像機190的單場或幀中獲取的所有距離窗口處于同一圖像段內(與攝像機110不同)，可以簡化把攝像機產生的各個線圖像記錄到復合三維圖像中的過程。反射鏡202優選地可以用光束混合器替換，例如圖2所示的光束混合器58，這樣可以對準光束混合器196和和反射光束224。
上述的本發明優選實施方案通常可以用來產生單色或彩色圖像。利用可見光、紅外光或紫外光照明感興趣目標，采用適當的光學裝置、調制器和檢測器控制和接收光輻射，就可以產生單色圖像。
此外，本發明的原理可以通過使用其它類型的光輻射來類似地產生三維圖像。例如，利用聲學傳感器和/或輻射器陣列，例如本領域眾知的麥克風或壓電晶體，可以產生聲學圖像，例如聲納或超聲波圖像，并且根據本發明可以判斷圖像中目標的景深信息。對于海下聲學成象，可以優選地使用本領域眾知的聲學透鏡，代替圖1和2A-C中的光學透鏡32和36。
圖16示例了根據本發明的優選實施方案，為了在攝像機110中產生彩色圖像而對檢測器陣列112做的修改。陣列112上覆蓋了彩色條形濾波器230，包括多個條形232，每個條形基本上覆蓋陣列112的單個、獨立列，且垂直于行114。條形232交替地透過各種顏色的光線，優選的順序是紅、綠、藍、綠、紅、綠、等等，如本領域眾知的。由此，陣列112中的行114中的相鄰的象素交替地暴露在紅、綠或藍光之下(優選地是，照明光源40產生的光線是白光)。來自鄰近象素的信號優選地合并在一起產生局部亮度和色調信息。
由此，攝像機110產生的多個線圖像中的每一個通常除亮度信息和景深信息之外，還包括彩色信息。然后，例如，如參照圖13或圖14所作的描述，優選地對這些彩色線圖像進行掃描和合并，最后產生三維彩色圖像。
類似地，圖1的攝像機20中的、或者圖2A的攝像機50中的、或者圖2B的攝像機59中的檢測器陣列22可以包括圖16所示的彩色條形濾波器或者本領域眾知的彩色鑲嵌濾光鏡。另外，具有適當的分色鏡的三個CCD檢測器陣列，例如本領域眾知的二向色棱鏡組件，可以用來替換攝像機20、攝像機50、攝像機59或下述的攝像機240中的陣列22，以便產生RGBD(紅-綠-藍-景深)圖像，即包括景深信息的彩色圖像。
此外，在本發明的優選實施方案中，任何上述的光學測距攝像機產生產生的三維圖像信息融合在一起，并用來增強攝像機獲取的二維亮度圖像。類似地，二維亮度圖像可以用來銳化或增強三維圖像。應當理解的是二維和三維圖像本質上是相互對應的，因為它們都來自同一檢測器陣列。由此，例如，利用本領域眾知的圖像濾波法，可以把二維和三維圖像中的圖像信息合并在一起，以便銳化或平滑圖像中的邊緣，和/或校正鄰近該邊緣的圖像顏色。
圖17A簡略地示例了針對象素的測距攝像機240，根據本發明的另一個優選實施方案。攝像機240包括檢測器矩陣陣列241，它包括數個與圖10所示的、攝像機110中的陣列112類似的檢測器單元242。攝像機240還包括光學組件243，它包括液晶光閥陣列244，以及透鏡120和124，與攝像機110中的一樣。示于圖17A的、攝像機240的其它元件在結構和功能上基本上與攝像機110中的類似。
光閥陣列244包括數個光閥單元246。適當地對準組件243，并把它安置在檢測器陣列142附近，這樣每個光閥單元246將分別調制由景物26反射的、到達陣列241中的每個檢測器單元242或相鄰檢測器單元組的光線。光閥陣列244受控制器126控制，這樣不同的光閥單元246可以在相同或不同的時刻開啟和關閉。由此，每個檢測器單元242或單元組具有其各自的距離窗口，這取決于對相應的光閥單元所作的調制。
光閥陣列244可以優選地工作在自適應狀態，這樣，每個距離窗口可以跟蹤景物26中的點目標距離，其圖像由各自的檢測器單元242或單元組獲取。可以調節每個這樣的距離窗口使其包含和產生點目標距離的精確讀數，同時降低圖像的干擾。
如圖17B所示，在使用攝像機240的本發明優選實施方案中，陣列241中的相鄰檢測器單元242組組織在一起，以“超象素”250的形式共同工作。每個這樣的超象素可以包括，例如，3×3的九象素組，景物26反射回的光線通過光學組件243，基本上沿著公共軸成象在超象素上。光閥陣列244的工作方式如下，超象素250中的每九個單元沿著公共軸接收來自不同距離窗口的光線。在圖17B中，這些窗口編號為W1到W9，并且對應于光閥單元246以及順序開啟和閉合的九個檢測器單元，根據圖12A所示的調制波形。
以這種方式，在攝像機240的單場或幀內可以以期望的距離分辨率，獲得包括景深信息在內的、景物的完整圖像，盡管犧牲了橫向分辨率。任何期望尺寸的超象素，例如，1×2象素、2×2象素或4×4象素，可以用來實現景物目標距離的最佳收斂。
在本發明的一些優選實施方案中，上述的測距攝像機，例如攝像機20，安裝或者連接在機器人上，該機器人在預定的任務，利用攝像機提供的三維圖像信息導引其行動。
在本發明的其它優選實施方案中，攝像機20、50或110用于制造過程的質量保障或質量控制，例如，判定生產工件的多種尺寸以及確認尺寸是否符合標準。類似地，通過測量體材料的外輪廓，可以確定材料的體積。存儲在容器中的物品的體積可以以類似的方法判定，容器的尺寸也是已知的或者可以利用攝像機進行測量。
在本發明的其它優選實施方案中，攝像機20、50或110用在模塊掃描儀中，以便獲取感興趣目標的三維圖像。優選地是，圖像是彩色圖像。在一個這樣的實施方案中，這些三維圖像與本領域眾知的、用于快速三維原型建模的系統一起用來重建包括顏色重建在內的、感興趣目標的一個或多個三維副本或模型。
在本發明的其它優選實施方案中，例如，攝像機20安裝在汽車上，用于避撞系統。優選地是，攝像機20作為圖像分析系統的一部分，該系統識別出可能的危險物體，并利用攝像機的輸出信息判定車輛距危險物體的距離。
在本發明的其它優選實施方案中，上述的測距攝像機，例如攝像機20或50，與內窺鏡一起使用，以便獲取患者體內的感興趣區域的三維圖像。
在本發明的其它優選實施方案中，攝像機20或攝像機50與供盲人使用的傳感器矩陣相連。傳感器矩陣包括多個可以壓靠在盲人皮膚上的探針，例如他或她的前額上，其中各個探針施加到皮膚上的壓力比例于由攝像機獲取的、景物中相應點上的目標與人之間的距離。優選地是，盲人控制攝像機的距離窗口，這樣，探針施加的壓力范圍對應于預期的、與人之間的距離范圍。
應當理解的是上述的優選實施方案是以示例的方式說明的，發明的全部范圍只受權利要求的限制。
權利要求
1.一種生成混合景物圖像的方法，包括在混合圖像中的選定區域內插入的預定插入圖像，該方法包括標記景物中的區域；生成包括標記區域的第一幅景物圖像，所述第一幅圖像指示景物中距目標的距離；確定第一幅圖像中的區域邊界的位置和與區域間的距離，如第一幅圖像所示；根據與區域間的距離，調節插入圖像的比例使之與區域邊界吻合；和把調節后的插入圖像疊加在第一幅圖像的區域上，形成混合圖像。
2.根據權利要求1的方法，包括識別第一幅圖像中的感興趣目標，其中距感興趣目標的距離小于距區域的距離；濾波第一幅圖像，形成感興趣目標的濾波圖像；和把感興趣目標的濾波圖像疊加在區域中的插入圖像上。
3.根據權利要求1或2的方法，其中產生第一幅圖像包括根據一個第一調節函數調節由發光源發出的光線，并且將所述光線對準一個景物；根據一個第二調節函數調節由景物反射的光線；檢測所述反射光線，產生對應于景物區域距離的信號以響應被檢測到的光線；形成一幅具有表示距景物目標距離的亮度值分布的圖像；和改變第一和第二調節函數中的至少一個調節函數，響應圖像的亮度值分布。
4.根據權利要求3的方法，其中改變至少一個調節函數包括延遲與第一調節函數關聯的第二調節函數。
5.根據權利要求3的方法，其中第一和第二調節函數包括脈沖，和改變至少一個調節函數包括改變至少一個脈沖寬度。
6.根據權利要求5的方法，其中第一調節函數脈沖寬度基本上大于第二調節函數脈沖寬度。
7.根據權利要求3的方法，還包括識別景物中的至少一個感興趣目標；和用圖像的亮度值分布來確定距目標的距離。
8.根據權利要求7的方法，其中改變至少一個調節函數包括響應距至少一個目標的距離來改變調節函數。
9.根據權利要求7的方法，其中響應距至少一個目標的距離來改變調節函數包括確定包括距至少一個目標距離的距離范圍；和調整調節函數以便檢測反射光線，包括檢測從位于距離范圍內的一個或多個景物區域發出的光線。
10.根據權利要求9的方法，其中識別至少一個感興趣目標包括在至少一個目標上確定多個點，并且其中確定距離范圍包括確定多個本地范圍，每一個本地范圍包括多個點中的相應一個點。
11.根據權利要求9的方法，其中調整調節函數包括調整函數，使從位于確定的距離范圍外的目標和景物區域發出的光線不被檢測到。
12.根據權利要求9的方法，其中調整調節函數包括調整函數，使從位于確定的距離范圍外的目標和景物區域發出的光線有基本恒定的亮度值分布。
13.根據權利要求9的方法，還包括形成一個第一幅二維圖像，所述圖像包括從位于距離范圍內的一個或多個景物區域發出的被檢測到的光線，將所述第一幅二維圖像和一個第二幅分開獲得的或合成產生的圖像混合，形成一個混合圖像。
14.根據權利要求13的方法，還包括在該第一幅二維圖像中確定一個選定區域的位置，其中混合該第一幅二維圖像和一個第二幅分開獲得的圖像包括將第二幅圖像插入到該選定區域。
15.根據權利要求14的方法，其中在該選定區域插入第二幅圖像包括調節該第二幅圖像的比例使其與選定區域相吻合。
16.根據權利要求3的方法，其中檢測反射光線包括在基本上不相同的相應距離處檢測從景物中的兩個感興趣目標發出的光線，和其中改變調節函數中的至少一個調節函數包括改變該調節函數，使兩個目標具有基本相同的亮度值。
17.根據權利要求1或2的方法，其中產生第一幅圖像包括根據一個第一調節函數調節從發光源發出的光線，并且將所述光線對準一個景物；在該景物中確定多個平行空間段，每一個所述段具有距離邊界；檢測從每一個平行空間段反射的光線并且產生響應于距景物區域距離的信號，響應被檢測的光線；和形成一個具有表示距景物中目標距離的亮度值分布的圖像，其中確定多個空間段包括確定每一個空間段的距離邊界，和其中多個空間段中的至少一個空間段的距離邊界是不同于至少另一個空間段的距離邊界。
18.根據權利要求17的方法，其中多個空間段中的一個第一空間段的距離邊界疊加在與其鄰近的一個第二空間段的距離邊界上。
19.根據權利要求17的方法，其中確定具有距離邊界的多個空間段包括根據一個相應的調節函數來調節從每一個空間段反射的光線。
20.根據權利要求17的方法，其中檢測光線包括積累且讀出響應光線產生的光電子，并且其中確定多個空間段包括在積累且讀出光電子電荷之前的相應已知預先確定時間間隔上清除響應從每一個段發出的光線產生的光電子電荷。
21.根據權利要求17的方法，其中將光線對準景物包括產生一行光線，并且經過景物掃描該行。
22.根據權利要求17的方法，其中確定多個空間段包括確定相互鄰近的空間段陣列，其中陣列內的至少一個空間段有不同于至少另一個空間段的距離邊界和其中形成一個圖像包括合并陣列內的空間段，產生一個具有距離邊界的延伸段，其距離邊界基本上等于陣列內的空間段的相應距離邊界的聯合。
23.一種用于生成一幅表示距景物中目標距離的伸長圖像的方法，該方法包括根據權利要求17生成一個第一幅景物圖像；隨后掃描與景物關聯的空間段；以生成第一幅圖像相同的方式生成一個第二幅景物圖像；和記錄并將所述第一幅圖像和所述第二幅圖像合并，生成伸長的圖像。
24.根據權利要求3或權利要求17的方法，形成一個具有表示距目標距離的亮度值分布的圖像包括使所述亮度值分布規格化。
25.根據權利要求24的方法，其中使所述亮度值分布規格化包括為改變目標的輻射能力糾正該分布。
26.根據權利要求24的方法，其中使所述亮度值分布規格化包括為不同的目標距離糾正該分布。
27.根據權利要求3或權利要求17的方法，其中檢測光線包括根據顏色過濾該光線，并且其中形成一幅圖像包括形成一幅彩色圖像。
28.一種確定距部分景物的距離的方法，該方法包括用多個相同的持續能量脈沖照明景物，以便檢測器接收從該部分放出的能量，在多個被隔開的第一時間周期期間產生所述脈沖；確定接收到的能量的一部分，該能量位于多個相同的、隔開的、持續的第二時間周期；和根據已確定部分的值查明距部分景物的距離，其中多個第一時間周期和第二時間周期并不一致。
29.根據權利要求28的方法，其中多個第一和第二時間周期并不一致，因為它們彼此是時間移動器。
30.根據權利要求28的方法，其中第一時間周期被多個第三時間周期隔開，第二時間周期被多個第四時間周期隔開，并且第一和第二時間周期在長度上分別不同于第三和第四時間周期。
31.一種確定距部分景物的距離的方法，包括利用數個相同的連續能量脈沖照明景物，以便檢測器接收到部分景物發出的能量，所述脈沖在數個被隔開的第一時間周期內產生；確定在一個第二時間周期內接收到的部分能量；和根據確定部分的值，確定距部分景物的距離，所述的值在和一個距離范圍相對應的范圍內，其中該范圍內的最低值不是零。
32.一種產生包括第一幅圖像部分和背景圖像的混合圖像的方法，第一幅圖像部分包括在給定距離范圍內的單元，混合圖像部分中的背景圖像不包括所述單元，該方法包括利用權利要求28-31中任一權利要求的方法，確定距離范圍內的單元；形成所述單元的圖像；和合并所述單元圖像和所述背景圖像，形成混合圖像。
全文摘要
生成指示景物目標距離的圖像的裝置，包括調制輻射光源(40)，具有第一調制功能(60)并將光輻射導向景物；檢測器(22)，檢測景物反射回的、經過第二調制功能(62)調制的光輻射，并且根據檢測到的調制光輻射產生對應于景物區域距離的信號；處理器(24)，接收來自檢測器的信號，并依據此信號形成能夠指示攝像機與目標間距離的、具有亮度值分布的圖像；控制器(46)，根據處理器形成的圖像亮度值分布調節第一和第二調制功能中的至少一個。
文檔編號G01S17/89GK1844852SQ200610007078
公開日2006年10月11日 申請日期1996年6月20日 優先權日1995年6月22日
發明者G·雅哈, G·I·伊丹 申請人:3Dv系統有限公司