專利名稱：測距裝置、三維計測方法以及光源裝置的制作方法
技術領域：
本發明涉及一種能對被拍攝體的三維信息進行攝影的測距裝置(能測定距離圖像的三維照相機)
在此，把照相機的光學中心作為原點，把照相機的光軸方向設定為Z軸，在水平方向上設定X軸，在垂直方向上設定Y軸，把從光源看上去的著眼點方向與X軸所成的角設定為φ，把從照相機看上去的著眼點方向與X軸所成的角設定為θ，把光源位置設為(0，-D)即把基線長設為D，這樣一來，就能根據三角測量的原理，利用Z＝Dtanθtanφ/(tanθ-tanφ) (1)進行計算。為了獲得角度φ，利用光源52a、52b，投射給定的光圖像。
作為光源52a、52b，例如縱向配置如圖22(a)所示的氙閃光燈等閃光光源57、58，使用向左右錯開后方反射板59、60的方向的閃光光源。圖22(b)是圖22(a)的俯視圖。光源52a、52b分別在范圍A、B內輻射光。
圖23是表示由這樣的光源52a、52b所輻射的光圖像的圖。在圖23中，在圖中的箭頭方向表示把光投射到假定的屏幕Y上時的亮度。即，由各光源52a、52b所投射的光具有中心軸上最亮，而越靠近周邊越暗的特性。具有這種特性是因為把半圓筒形的反射板59、60設置在閃光光源57、58的背后。而且，因為反射板59、60 的方向錯位，所以各光源52a、52b的投光范圍部分重疊。
圖24是表示圖23的H方向的投射光角度φ與光強之間關系的圖。所謂的H方向是指在包含光源中心和透鏡中心的多個面中的任意的面S與假定的屏幕Y之間的交叉線方向。在圖24的α部分，由光源52a、52b所投射的光圖像，一個右側相對明亮，另一個左側相對明亮。但是，光圖像的亮度在高度方向(Y軸方向)上也不相同。
圖25是表示圖24的α部分的2種投射光的光強比與投射光角度φ之間關系的圖。如圖25所示，在α部分中，光強比與角度φ之間的關系是1對1對應的。
為了進行距離測定，預先在離開光源給定的距離并且垂直豎立的平面上交替投射兩種光圖像，從利用照相機1對其反射光進行攝象而獲得的結果，對每個Y坐標(對應CCD上的Y坐標)取得如圖25那樣的光強比與投射光角度之間的關系數據。所謂每個Y坐標是指包含光源中心和透鏡中心的多個面中的每一個面。而且，如果配置光源52a、52b，使連接照相機51的透鏡中心和光源52a、52b的線段與CCD攝像面的X軸平行，則通過使用由每個Y坐標所決定的光強比與投射光角度的關系數據，就能正確地進行距離計算。
當把圖21的點P作為著眼點時，通過使用從照射兩種光圖像時的攝像圖像所得的點P的亮度與對應點P的Y坐標的圖25的關系，來計測從光源看上去的點P的角度φ。而且，從照相機看上去的點P的角度θ，由在圖像中的位置(即點P的像素坐標值)與照相機參量(焦點距離、透鏡系的光學中心位置)決定。而且，根據式(1)，從這兩個角度φ、θ和光源位置與照相機光學中心位置之間的距離(基線長)D就可以計算出距離。
這樣，如圖24的α部分那樣，如果有生成按投射方向單調增加并單調減少那樣的光源，就能簡單地對被拍攝體進行三維計測。
但是，如果按照現有的構成，則存在以下問題即雖然使用氙閃光燈作為光源，但由于氙閃光燈只有5000次左右的發光壽命，所以當長期使用測距裝置時，就需要頻繁地進行閃光燈更換等維修工作。而且，由于閃光燈的發光量穩定度只有百分之幾，也不可能獲得更高的測量精度。
而且，還存在以下問題即雖然也有如LED(發光二極管)等壽命較長的光源，但由于每個LED的發光量較小，所以單獨使用時發光量不足，不能進行穩定的三維計測。
而且，按照現有的構成，由于投射的光圖像是由發射板的形狀決定的，所以原則上只能生成一組光圖像。
為了實現以上所述目的，本發明1的測距裝置通過對被拍攝體進行光投射并接收其反射光，來測定所述被拍攝體的三維位置，包括設有多個光源的光源陣列部；通過對所述光源陣列部中各光源的發光狀態進行控制，來使所述光源陣列部至少投射兩種光圖像的光源控制部。
如果根據本發明1，則由于是從光源陣列部所具有的多個光源來投射光圖像的，所以即使在每一個光源的光量較小的情況下，從整體上來說也能把足夠的光量照射到被拍攝體上，從而能實施穩定的三維計測。而且，由于是通過對光源陣列部各光源的發光狀態進行控制來生成光圖像的，所以無需機械裝置，利用電氣性能就能生成任意的光圖像。
在本發明2中，使所述本發明1測距裝置的光源為LED。
如果根據本發明2，則由于LED具有光量小但壽命較長的特征，所以通過利用LED來構成光源陣列部，就能實現能夠長期使用的測距裝置。
在本發明3中，使所述本發明1測距裝置的光源陣列部的各光源呈點陣狀或蜂巢狀配置。
在本發明4中，使所述本發明1測距裝置的光源陣列部的各光源在曲面上配置。
在本發明5中，使所述本發明1測距裝置的光源陣列部的各光源在平面上配置，并且使其光軸呈放射狀。
在本發明6中，使所述本發明1測距裝置的光源陣列部的光圖像投光范圍在光圖像形成方向上被分割為多個范圍，把與所分割的各范圍相關的光源群排列設在與光圖像形成方向垂直的方向上。
在本發明7中，使所述本發明1測距裝置的光源控制部按照每個光源的位置來控制各光源的發光強度并生成光圖像。
在本發明8中，使所述本發明1測距裝置的光源控制部按照每個光源的位置來控制各光源的發光時間并生成光圖像。
在本發明9中，使所述本發明7或8測距裝置的光源控制部在投射兩種光圖像時，對設置在所述光源陣列部端點附近的光源的發光強度或發光時間進行修正，從而使能進行三維位置測定的空間范圍進一步增大。
在本發明10中，設置多個所述本發明1測距裝置的光源陣列部，并使所設置的所述多個光源陣列部的光投射方向互不相同。
在本發明11中，所述本發明1的測距裝置具有根據反射光圖像來進行三維計測的三維計測部，所述三維計測部預先儲存近似所述光源陣列部所投射的兩種光圖像的光強比為一定的空間軌跡的計算公式參數，并從投射所述兩種光圖像時的各個反射光圖像來求出著眼象素的亮度比，根據所求出的著眼象素的亮度比和所儲存的空間軌跡的參數來進行三維計測。
在本發明12中，所述本發明1的測距裝置具有根據反射光圖像來進行三維計測的三維計測部，所述三維計測部就不同的進深值來預先儲存多幅在進深值一定的平面上表示從所述光源陣列部投射的兩種光圖像的光強比的亮度比圖像，從投射所述兩種光圖像時的各個反射光圖像來求出著眼象素的亮度比，比較所求出的著眼象素亮度比和所述各亮度比圖像的所述著眼象素坐標附近的光強比來進行三維計測。
在本發明13中，所述本發明1的測距裝置具有根據反射光圖像來進行三維計測的三維計測部，所述三維計測部就不同的進深值來預先儲存多幅在進深值一定的平面上表示從所述光源陣列部投射的兩種光圖像的光強比的亮度比圖像，在所述亮度比圖像中設定代表點，并根據所述多幅亮度比圖像以及對應各個亮度比圖像的進深值來決定各代表點的光強比和進深值的關系式的參數，從投射所述兩種光圖像時的各個反射光圖像來求出著眼象素的光強比，使用著眼象素的坐標值、所述著眼象素的光強比、和所述各代表點的光強比和進深值的關系式的參數來進行三維計測。
而且，本發明14的三維計測方法，是向被拍攝體至少投射兩種光圖像，并根據其反射光圖像來測定所述被拍攝體的三維位置；就所述兩種光圖像，預先儲存近似其光強比為一定的空間軌跡的計算公式參數，并從投射所述兩種光圖像時的各個反射光圖像中求出著眼象素的亮度比，根據所求出的著眼象素的亮度比和所儲存的空間軌跡的參數來進行三維計測。
而且，本發明15的三維計測方法，是向被拍攝體至少投射兩種光圖像，并根據其反射光圖像來測定所述被拍攝體的三維位置；就不同的進深值來預先儲存多幅在進深值一定的平面上表示所述兩種光圖像的光強比的亮度比圖像，從投射所述兩種光圖像時的各個反射光圖像來求出著眼象素的亮度比，比較所求出的著眼象素亮度比和所述各亮度比圖像的所述著眼象素坐標附近的光強比來進行三維計測。
而且，本發明16的三維計測方法，是向被拍攝體至少投射兩種光圖像，并根據其反射光圖像來測定所述被拍攝體的三維位置；就不同的進深值來預先儲存多幅在進深值一定的平面上表示所述兩種光圖像的光強比的亮度比圖像，在所述亮度比圖像中設定代表點，根據所述多幅亮度比圖像以及對應各個亮度比圖像的進深值來決定各代表點的光強比和進深值的關系式的參數，從投射所述兩種光圖像時的各個反射光圖像來求出著眼象素的光強比，使用著眼象素的坐標值、所述著眼象素的光強比、和所述各代表點的光強比和進深值的關系式的參數來進行三維計測。
而且，本發明17的測距裝置通過對被拍攝體進行光投射并接收其反射光，來測定所述被拍攝體的三維位置，包括至少投射兩種光圖像的光投射部；通過使由所述光投射部投射的光圖像組發生變化，來改變計測范圍或計測精度的投射光圖像控制部。
如果根據本發明17，則通過使由所述光投射部投射的光圖像組發生變化，就能控制計測范圍或計測精度，從而能實現各種各樣的測定模式。
在本發明18中，使所述本發明17的測距裝置的光投射部包括排列有多個光源的光源陣列部；通過對所述光源陣列部中各光源的發光狀態進行控制，來使所述光源陣列部投射光圖像的光源控制部；使所述投射光圖像控制部向所述光源控制部發出指示，指示使所述光源陣列部投射的光圖像組的種類。
在本發明19中，使所述本發明17的測距裝置的投射光圖像控制部具有投射具有通常投光范圍的第一光圖像組的通常測定模式；向多個方向投射投光范圍比所述第一光圖像組窄的第二光圖像組的精密測定模式。
在本發明20中，使所述本發明17的測距裝置的投射光圖像控制部具有在計測開始時投射具有相對較寬的投光范圍的第一光圖像組，而在其后針對所述相對較寬的投光范圍中的特定區域投射具有相對較窄的投光范圍的第二光圖像組的測定模式。
而且，本發明21的光源裝置，其構成是排列有多個光源，能通過對各光源的發光狀態進行控制來投射給定的光圖像，并且，把各光源配置在平面上，并使其光軸呈放射狀。
而且，本發明22的光源裝置，其構成是排列有多個光源，能通過對各光源的發光狀態進行控制來投射給定的光圖像，并且，光圖像的投光范圍在光圖像形成方向上被分割為多個范圍，把與所分割的各范圍相關的光源群排列設有在與光圖像形成方向垂直的方向上。
圖1是表示本發明實施例1的測距裝置構成的框圖。
圖2是表示光源陣列部構成一例的圖，圖2(a)是剖面圖，圖2(b)、圖2(c)是俯視圖。
圖3是表示光源陣列部一例的外觀圖。
圖4(a)、圖4(b)是表示對光源的發光強度進行控制從而生成的兩種光圖像的圖。
圖5是表示光圖像切換時間的圖。
圖6(a)、圖6(b)是表示對光源的發光時間進行控制從而生成的兩種光圖像的圖。
圖7是用于說明本發明實施例的三維計測方法的圖，是表示照相機y坐標一定的平面上的光源陣列部、照相機以及被拍照體的位置關系的圖。
圖8是表示近似光強比為一定的空間軌跡的曲線的圖。
圖9是用于說明本發明實施例三維計測方法的圖，是表示預先準備的亮度比圖像的圖。
圖10是表示計算出亮度比圖像的著眼象素附近平均亮度比的圖。
圖11是表示亮度比的差(ρm-ρ0)與各亮度比圖像進深值之間關系的曲線圖。
圖12是表示本實施例三維計測方法的其他例子的圖。
圖13是表示在三維計測中使用的代表點的圖。
圖14是用于距離計算的有限要素模型的圖。
圖15是就光源陣列發光光量的修正進行說明的圖。
圖16是表示通過實驗測定而獲得的光圖像與亮度比之間關系的曲線圖。
圖17是表示本發明實施例2的測距裝置構成的框圖。
圖18表示本發明實施例2中的對計測范圍進行控制的一個例子，其中，圖18(a)是對計測范圍的大小進行切換的情況，圖18(b)是對計測范圍的位置進行切換的情況。
圖19是本發明實施例2測定模式的一個例子。
圖20是表示有機EL元件構造的圖。
圖21是表示以往測距裝置構成的圖。
圖22是表示圖21的光源構成一例的圖。
圖23是表示圖21的構成的投射光分布的圖。
圖24是表示圖21構成的光圖像和計測范圍的曲線圖。
圖25是表示從圖24的曲線圖所獲得的投射光角度與光強比之間關系的圖。
下面，簡要說明附圖符號。
11-光源陣列部，12-光源控制部，13-距離計算部(三維計測部)，14-投射光圖像控制部，20-光投射部。
在圖1所示的構成中，從光源陣列部11投射如圖23所示的兩種光圖像，用照相機1對來自被拍攝體的反射光進行攝像，計測被拍攝體的三維位置。
圖2是表示光源陣列部11構成一例的圖，其中，圖2(a)是剖面圖，圖2(b)、圖2(c)是俯視圖。在圖2所示的光源陣列部11中，使用紅外LED(發光二極管)作為光源。如圖2(a)所示，把多個LED設置在圓筒面或球面等曲面上。其理由在于LED單體的光輻射范圍(輻射角度)約為20度左右，不能在較廣的范圍內進行光投射，所以要使各LED的光軸為放射狀態。
而且，或如圖2(b)所示，將LED呈點陣狀排列設有在平面上，或如圖2(c)所示，將LED呈蜂巢狀排列設有在平面上。在圖2(c)的情況下，由于每單位面積的LED個數比圖2(b)要多，能增大同一面積情況下的光量，所以能進一步縮小光源陣列部11的尺寸。作為光源的排列狀態，此外還可以考慮同心圓形狀。
圖3(a)是表示本發明人試驗制作的光源陣列部11一例的外觀立體圖。在圖3(a)中，把200個LED呈蜂巢狀排列設有在作為曲面的圓筒面上。
圖3(b)是表示本發明人試驗制作的作為光源裝置的光源陣列部11其他例子的外觀圖，圖3(c)是其剖面圖。在圖3(c)中，將各LED設置在平面上并使其光軸呈放射狀。這樣就能通過把LED安裝為近似平板狀態來縮小光源陣列部11的縱深方向的尺寸。
而且，在圖3(a)中，是把LED沿光圖像形成方向(在圖中為寬度方向)排成一列設置。與此相對，在圖3(b)中的構成是把投射光圖像的范圍分割為左側和右側兩個范圍，使水平方向各列的LED對應所分割的某一投光范圍。換言之，把與所分割的各范圍相關的光源群(在圖中為G1、G2)在與光圖像形成方向垂直的方向上排列設有。通過這種構成，就能把光源陣列部11寬度方向尺寸小型化為原尺寸的大約1/2。與圖3(a)相比，其構成更接近點光源。
并且，在圖3(b)中，使LED群G1、G2分別由3列構成，每隔3列改變一次LED的放射方向，但也可以每隔1列就改變一次LED的放射方向，也可以每隔3列以外的多數列改變一次LED的放射方向。
而且，雖然在圖3(b)中是把光圖像投光范圍分割為兩個，但也可以分割為3個以上，也可以縱向排列與各范圍相關的光源群。此時，通過增加分割數就能進一步縮小光源陣列部11寬度方向的尺寸。但是由于縱向尺寸反而增大，所以如圖15(a)所示那樣的光強分布可能會向圖像的縱向變動。但是，只要該變動的程度是在利用下面要說明的計算方法就能較精確地近似光強圖像的范圍內，就可以作為實際光源來加以利用。
圖4(a)、圖4(b)是表示使用光源陣列部11生成的兩種光圖像的圖。光源控制部12通過按照該LED的位置控制光源陣列部11的各LED的發光強度(亮度)，來生成光圖像。在此，通過對給與光源LED的電壓(即流動在LED中的電流)進行控制，就能控制其發光強度。圖4(a)所示的光圖像A為按照列序號使LED的光量單調增加的圖像，而圖4(b)所示的光圖像B為按照列序號使LED的光量單調減小的圖像。
如圖5所示，光源控制部12結合照相機1的曝光時間來依次交替切換圖4所示的光圖像A和光圖像B。據此，就能從照相機1交替獲得投射光圖像A時的反射光圖像和投射光圖像B時的反射光圖像。即，把與圖24所示的α部分相同的光圖像投射到被拍攝體上，交替獲得其拍攝結果。
并且，雖然在此為了拍攝動畫圖像而連續交替投射兩種光圖像A和B，但在拍攝靜止圖像時，只要投射光圖像A和B各一次，用照相機1拍攝兩幅圖像就可以了。
而且，雖然在以上所述例子中，為了控制LED的光量而控制LED自身的亮度，但光源控制部12也可以通過按照該LED的位置控制各LED的發光時間，來生成光圖像。此時，可以使流動在LED中的電流為一定，可以只控制照相機曝光時間內的各LED的發光時間。
圖6(a)、圖6(b)是表示通過對光源的發光時間進行控制而生成的兩種光圖像的圖。圖中(a)所示的光圖像A為按照列序號使LED的發光時間單調增加的圖像，而(b)所示的光圖像B為按照列序號使LED的發光時間單調減小的圖像。在照相機1的曝光時間內，光的投射時間越長，則總計的光量越大，所以能夠生成光圖像。
當LED自身具有熱量時，或由于LED驅動電路的溫度特性而使流動在LED中的電流隨時間變化時，其亮度發生變化。此時，在控制發光強度時，在所生成的光圖像上可能會產生誤差。但是，當流動在LED中的電流為一定，改變發光時間來控制光量時，由于LED驅動電路穩定，也能抑制LED自身的發熱，所以光圖像形狀自身幾乎不發生變化。因此，在使用反射光強度比的本三維測定方式中，其影響幾乎不存在。而且，由于發光強度一定，改變發光時間，所以即使各個LED的性能出現偏差，也能正確地設定光量比。而且，雖然利用LED中的電流來控制光量時，其控制電路是模擬電路，但由于利用數字電路能很容易地實現發光時間控制，所以能提高發光控制的精度。即，通過利用發光時間控制來控制各LED的光量，就能生成精度高、穩定性好的光圖像。
下面，說明根據所獲得的反射光圖像來進行三維計測的方法。它相當于圖1的距離計算部13所進行的處理內容。
在此，雖然在本實施例中也可以使用現有技術中說明的計算方法，但現有技術的三維計算是在光源為點光源的前提下使用的方法。因此，如本實施例這樣，當使用LED陣列為光源時，由于光源自身具有大小，所以如果原封不動地使用現有方法，可能會產生誤差。為此，在此詳細說明即使在光源自身具有大小的情況下，也能防止產生誤差并正確地進行三維計測的方法。
圖7是表示照相機y坐標一定(y1)的平面上的光源陣列部11、照相機1以及被拍照體的位置關系的圖。如圖7所示，利用曲線群F表示從投射光圖像A、B拍攝到的各圖像中求出的亮度比的值為ρ(光強比)的一定的位置(ρ＝ρ0，ρ1，ρ2，ρ3，ρ4)。在此，在使用測距裝置之前，預先求解與這些曲線近似的方程式f(ρ，x，z)＝0。
方程式f的求解方法如下。在圖7中，在照相機1的前面，在各種各樣的距離位置(Z＝z0，z1，…)上設置Z坐標一定的平面(作為前面平行面而設置的平面)，使光源陣列部11照射光圖像A、B，用照相機1拍攝該圖像。
下面，如圖8所示，按照對應光圖像A、B的圖像的每一個像素來求亮度比的值，對于同一y坐標值y0，可把連接亮度比值ρ相同的點的曲線(圖8中的點線)應用于回歸曲線。在此，也可以不套用回歸曲線，使用直線的折線。針對圖像的各y坐標預先求解象這樣把ρ作為參數的回歸曲線式子。即，為了準備進行三維計算，預先儲存與光強比ρ為一定的空間軌跡近似的計算式的參變量。
下面，根據所拍攝的圖像數據來實施實際的三維計算。
現在，設定所著眼的像素的坐標為(x1，y1)。對坐標(x1，y1)，計算投射光圖像A、B時的圖像的亮度比值。如果將該亮度比設定為ρ1，則在y＝y1的平面上選擇滿足ρ＝ρ1等亮度比曲線(圖7中的曲線f1)。此時，所選擇的曲線f0與通過CCD上的著眼點(x1，y1)和照相機的透鏡中心的直線1的交點C成為所求的三維位置。
這樣，針對各像素，從2幅圖像中求其亮度比，對所著眼的像素，根據其亮度比來決定其對應的等亮度比曲線。而且，通過求出該等亮度比曲線與直線1的交點，就能對所拍攝圖像的各像素實施三維測定。
而且，把y項也輸入到等亮度比曲線的近似方程式f中，作為f(ρ，x，y，z)＝0，在三維立體空間上應用回歸曲線，從亮度比值ρ就能直接決定用于三維計算的曲線f。此時，有時也存在圖7的直線1與曲線f沒有焦點的情況，但在這種情況下，例如也可以把直線1與曲線f的距離最近的點的平均值或投影在ZX平面上時的交點作為其交點來求出。
下面，說明進行三維計測的其他方法。
如圖9所示，在照相機1的前面設置Z值(進深值)一定(Z0)的平面，把光圖像A、B投射到該平面上，利用照相機1對各個圖像進行拍攝。而且，求出各像素的亮度比的值，預先把表示其亮度比的圖像作為亮度比圖像C0來儲存。同樣，對于不同的進深值Z1～Z5，分別儲存亮度比圖像C1～C5。
下面，根據所拍攝的圖像數據來實際進行三維計測。
現在，設定所著眼的像素(著眼象素)的坐標為(x1，y1)。對坐標(x1，y1)，設定投射光圖像A、B時的圖像的亮度比值為ρ0。此時，如圖10所示，在預先準備的各亮度比圖像Ci(i＝0～5)中，求出亮度比的平均值ρm。而且，通過比較所著眼的像素的亮度比ρ0與該坐標附近的亮度比平均值ρm來進行三維位置計測。
圖11是表示亮度比的差(ρm-ρ0)與各亮度比圖像進深值之間關系的曲線圖。如圖11所示，把假定(ρm-ρ0)為0的位置，即在所著眼的像素(x1，y1)計測的亮度比ρ0與該坐標附近的亮度比平均值ρm相等的亮度比圖像的Z值Zm，作為該著眼像素(x1，y1)的進深值來求出。此時，不需要預先求回歸曲線，利用單純的計算就能實現三維計測。
圖12是表示本實施例三維計測方法的其他例子的圖。在圖12中，100是預先儲存有關多個進深值的亮度比圖像的存儲器，S11是進深值計算用參數計算步驟，S12是根據光圖像A和光圖像B來計算光強比圖像的光強比計算步驟，S13是進深值計算步驟，S14是三維坐標值計算步驟。把存儲器100設置在圖1構成的距離計算部13上，利用該距離計算部13實施各步驟S11～S14。
與圖9所示的所述三維計測方法相同，存儲器100預先儲存有關多個進深值的亮度比圖像。
下面，就三維坐標值中進深值Z的計算進行說明。如圖13所示，進深值Z的計算是使用呈矩形狀設置在亮度比圖像中的節點(代表點)的光強比ρ與進深值Z的關系式，利用插值計算來對各像素進行計算的。即，在圖13中，使用通過節點與Z軸平行的直線(節線)上的光強比ρ與進深值Z的關系式，利用插值計算來決定節線間的光強比ρ與進深值Z的關系。
下面，就節線的光強比ρ與進深值Z的關系式的計算方法(即校準方法)進行說明。
節線的光強比ρ與進深值Z的關系是通過應用光強比的空間分布模型，針對以多個距離值配置的平面上的光強比來求出的。據此，就能明確光強比ρ與進深值Z的關系，從而能計算出進深值。
圖14表示用于距離計算的有限要素模型。圖中，x、y是像素坐標值，Z是進深值(三維坐標值)。作為由垂直于xy面的4條節線構成的4角柱來定義要素。在該模型中，根據xyz三維空間的光強比ρ的分布求出距離Z。即，可以觀測ρ(x、y、Z)，對其求出Z。
在本實施例中，在各節線上，作為〖算式1〗，把光強比ρ與距離Z的關系用三元方程式模型化。在上式中ρ是光強比，p＝(a，b，c，d)t是參數向量。如圖13所示，通過在二維平面上設置節線，相對于參數向量p的任意變化，能夠進行保持一定精度的距離計測。即，如果把節線設得較密，則雖然增加了計算量但能提高進深值的計測精度，反之，如果把節線設得較疏，則雖然進深值的計測精度下降了但能降低計算量。
在節線間的像素坐標值中，由節線的參數向量p0～p3的線形插值來決定參數向量p，并設置〖算式2〗。在此，是〖算式3〗，s，t是有關x方向、y方向的線形重合。決定各節線的參數向量p0、p1、p2、p3，使有關預先儲存的多個平面的距離誤差在各要素內為最小，即，使〖算式4〗最小化。在此，如圖14所示，W表示用4條節線包圍的要素的底面區域，n是設置在Z方向的平面的數量。從使式(4)最小化的條件、〖算式5〗變成〖算式6〗。對此進行整理，就能得到〖算式7〗。以上所述的是有關局部要素的聯立方程式。關于由多個要素構成的整個系統，對局部要素的聯立方程式進行加法運算來決定整個系統的聯立方程式，通過對其求解，就能全部求出各節線的參數a、b、c、d。
對于寬640像素、高480像素的亮度比圖像，如果把節線間隔設定為縱橫10像素，則成為配置65×49＝3185個節線。由于各節線具有a、b、c、d這4個參數，所以通過解3185×4＝12740元的聯立方程式，就能決定有關輸入圖像的各像素的進深值(Z)計算中所需要的參數。
在進深值計算用參數計算步驟S11中，對于預先儲存在存儲器100中的多幅較正用亮度比圖像，通過實施所述計算來決定進深值計算所需的參數。
在光強比計算步驟S12中，對于輸入圖像(光圖像A、光圖像B)，計算每個像素的光強比ρ。
在進深值計算步驟S13中，使用著眼像素的坐標值x、y與著眼像素的光強比ρ和附近4條節線的參數，利用對式(2)、(3)的計算，算出各像素的進深值Z。
在三維坐標值計算步驟S14中，從像素坐標值x、y和進深值Z計算剩余的三維坐標值X、Y。使用攝像系的幾何學特性(每個像素的視角、透鏡偏差)來進行從圖像坐標值x、y和進深值Z向三維坐標值X、Y的變換。
并且，通過對輸入的光圖像A、B和用于校正用光強度比計算的多幅圖像加上低通濾波器，就能降低圖像中所包含的干擾的影響。而且，即使給進深值加上低通濾波器或中間濾波器，也能獲得相同的效果。
并且，如果縮短節點的間隔，則計算時使用的參數數量增加，但距離測定精度提高，反之，如果增大節點的間隔，則參數數量減少，但距離測定精度下降，根據現在的實驗結果可知，對于縱向480個像素、橫向640個像素的圖像，即使把節點間隔擴大到縱橫50像素的間隔，距離測定精度也幾乎不下降。
利用以上這樣的三維計算，即使在光源不是點光源而是如本實施例的光源陣列部11那樣，具有給定大小的情況下，也能正確地進行三維計測。當然，即使在使用點光源的情況下，也可以利用在此所表示的三維計測方法。而且，不用說，即使是對使用光源陣列以外的、具有給定大小的光源的裝置，在此所示的方法也同樣是有效的。
圖15(a)是表示向設在照相機前方的平行面上投射如圖4所示的光圖像A、B時的亮度比分布的曲線圖。而圖15(b)表示光圖像A時的光源陣列部11的各LED的發光強度。
由圖15(a)可知，作為亮度比的變化單調減小(或單調增加)的部分，即用于三維計測的范圍局限于圖像光照射范圍中的α部分。這是因為在圖像光的照射范圍的端點附近，光源陣列部11的光量降低，光量變化開始呈非線性。即，各LED的輻射角度相互重合，利用它們相互相加來實現光圖像均勻的光量變化，但在陣列的端點附近，能進行有效相加的LED個數減少，所以光量相對地降低。而且，還有一個原因是當用照相機1拍攝時，在圖像周圍，由于透鏡周邊減光而使受光量減少。
由于這樣的原因，能用于三維計測的范圍就被限定在比圖像光的照射范圍更窄的范圍內。因此，在這里，使用如圖15(c)所示的修正系數對各LED的光量進行修正。
具體地說，就是把如圖15(c)所示的修正系數乘以對應如圖15(b)所示的光圖像的光量控制值之后的值作為新的光量控制值。不改變兩種光圖像的光量比，而把光源陣列部11端點附近的光源光量與中心部的光源光量進行比較，以給定的比率使其增大，控制光源陣列部11端部的光量下降，并擴大如圖15(a)所示的α部分的范圍。即，如果對設在光源陣列部11端點附近的光源的發光強度進行修正，由于亮度較大的空間范圍增大，而且亮度比單調變化的空間范圍增大，所以能進行三維空間位置計測的空間范圍就會增大。
圖16是表示本發明人通過實驗測定而獲得的光圖像與亮度比之間關系的曲線圖。圖中，(a)是修正前的數據，(b)是修正后的數據。如以上所述的那樣，通過進行修正，在修正前，如圖16(a)所示，峰值點與端部附近最小點之間的亮度差d1較大，其周邊部呈不能進行計測的狀態，但在修正后，如圖16(b)所示，能一面使亮度比保持與圖16(a)相同，一面降低峰值點與端部附近最小點之間的亮度差d2，并能擴大可進行計測的范圍。
并且，除了發光強度之外，當通過控制發光時間來生成光圖像時，通過把如圖15(c)所示的修正系數乘以該發光時間，也能取得同樣的效果。實施例2圖17是表示本發明實施例2的測距裝置構成的框圖。圖中，對與圖1共同的構成要素，使用與圖1相同的符號。在圖17的構成中，還設有所述投射光圖像控制部14，它向光源控制部12發指示，指示使所述光源陣列部11投射的光圖像組的種類。利用光源陣列部11以及光源控制部12構成光投射部20。
本實施例的特征是投射光圖像控制部14通過改變所投射的光圖像組，就能改變計測范圍和計測精度。并且，本實施例的基本動作與實施例1相同，投射如圖4所示的兩種光圖像，利用照相機1對來自被拍攝體的反射光進行攝象，計測被拍攝體的三維位置。三維計測方法也與實施例1同樣實現。投射光圖像控制部14按照向光源控制部12指示的光圖像組的種類，把三維計測所需的計算參數信息提供給距離計算部。
圖18表示對計測范圍進行控制的一個例子。圖18(a)對計測范圍的大小進行切換。即，①的情況與實施例1相同，在光源陣列部11的整個光投射范圍內改變光強，獲得其結果的計測范圍AR①變得最大。對此，②的情況是只在光投射范圍的近似中心的一部分范圍內改變光強，因此，AR②變窄。但在②的情況下，雖然計測范圍變窄，但在測定范圍內的光強變化比①的情況要大，所以其計算精度也比①的情況提高了。
而且，圖18(b)是對計測范圍的位置進行切換的情況。即，③的情況下，光圖像投射范圍靠近左側的一部分成為AR③，④的情況下，靠近右側的一部分成為AR④。即，在照相機的視野范圍內，能任意移動計測范圍。換言之，這也就是相當于能夠改變計測方向。
使用光源陣列部11的情況下，通過對提供給各光源的供給電壓進行控制，利用電子性能極容易生成圖18所示的任意的光圖像。據此，就能夠使測距裝置具有各種各樣的測定模式。
圖19是測定模式的一個例子。如圖19(a)所示，將計測范圍分割為多個(在圖中為7個)，對各計測范圍，投射如圖18(b)所示的光圖像，如依次進行三維計測并合成這些結果，就能在整個照相機的視野范圍內進行高精度的三維計測。即，與投射具有圖18(a)的①那樣的通常的投光范圍的第一光圖像組的通常測定模式不同，如圖19(a)所示，能設置向多個方向投射投光范圍比該第一光圖像組窄的第二光圖像組的精密測定模式。
而且，也可以如圖19(b)所示的那樣，首先，在計測初始時，在整個照相機的視野范圍內投射光圖像，進行三維計測；然后，從所獲得的圖像數據中特定出有興趣的部分，對該特定的區域投射具有較窄投光范圍的第二光圖像組，進行高精度的計測。使之具有進行這種智能動作的測定模式也是可能的。
如以上所述，根據本實施例就能依靠電子性能來改變進行三維計測的范圍和方向。而且，還能根據需要對三維計測的精度進行控制。
而且，在本實施例中，雖然是使用光源陣列部來生成任意的光圖像，但，例如也可以用電反射鏡等掃描點光源那樣的構成來生成任意的光圖像。即，如果使反射鏡掃描時的光源的光強隨時間可變，也能得到同樣的效果。而且，即使使用動畫重放用的投影儀也能生成同樣的光圖像。即，只要使投影儀表示的圖像成為圖18所示那樣的光圖像就可以實現。
而且，在本實施例中，也可以設置多個光源陣列部，使各光源陣列部的光投射方向相互不同。據此，就能把光圖像投射到更廣的空間范圍。
此外，雖然在本實施例中，是按時間分割來生成多個光圖像A、B的，但通過使用波長相互不同的光源也能同時照射兩種光圖像。此時，例如也可以在光源陣列部11中，均一混合設置兩種波長不同光源，使用兩種波長的光源分別生成光圖像A、B。但是，在這種情況下，在照相機一側，就需要濾波器等用來選擇波長的機構。而且，即使使用能輸出多種波長的光的光源，也能夠實現同樣的構成。
而且，即使使用LED以外的其他光源構成本發明的光源陣列部，例如使用有機EL(場致發光)元件等也能實現同樣的構成效果。
圖20是表示有機EL顯示器一個像素構造的圖。如圖20所示，有機EL元件由陽極和陰極夾入有機薄膜的結構來形成，如果給其提供直流電壓，則從陽極注入空穴，從陰極注入電子，在有機薄膜中發生空穴與電子的再結合，此時產生的能量對有機材料進行激發，產生有機材料固有色的發光。由于至少一方電極(此時為陽極)是透明的，所以從有機材料放射出的光就輸出到外部。
把如圖20所示的元件作為RGB各象素，通過二維配置形成有機EL顯示器。這是與圖3所示的光源陣列部相同的結構，因此，能生成本實施例所示那樣的光圖像。此時，如果給各象素配置微型透鏡，則光的擴散變窄，能更有效地進行光的投射。
而且，通過增大單一元件的結構，也可以制作出面發光的光源。此時，通過按照電極位置來外加不同的電壓，也能獲得如圖15那樣的光分布。
而且，在各實施例中說明的測距裝置能對被拍攝體的三維位置進行測定，所以能夠用于例如使用人的虹膜來進行個人認證的裝置。此時，首先，用測距裝置測定人眼睛的三維位置，使照相機面對該位置正確地進行圖象放大，拍攝較大的人的虹膜圖像。而且，使用所拍攝的虹膜圖像進行認證處理。或者，測距裝置也可以用于被拍攝體的立體形狀數據的制作。此時，以利用測距裝置測定的進深圖像為基礎，用在三維CG(計算機制圖)中所使用多角表現來表現被拍攝體。據此，就能把被拍攝體的立體形狀作為一般的CG數據來進行處理。
如以上所述的那樣，如果根據本發明，則即使在每一個光源的光量較小的情況下，從整體上來說也能把足夠的光量照射到被拍攝體上，從而能實施穩定的三維計測。而且，無需機械裝置，利用電氣性能就能生成任意的光圖像。 Z＝Xp…(12)算式2p＝(1-s)(1-t)p0+s(1-t)p1+(1-s)tp2+stp3…(13)算式3 ∂J∂p1=2Σk=1nΣW∈x,ysx(1-ty)Xxyt(Xxyp-Zk)=0]]>∂J∂p2=2Σk=1nΣW∈x,y(1-sx)tyXxyt(Xxyp-Zk)=0]]>∂J∂p3=2Σk=1nΣW∈x,ysxtyXxyt(Xxyp-Zk)=0]]>…(16) =Σk=1nΣW∈x,y(1-sx)(1-ty)XxytZkΣk=1nΣW∈x,ysx(1-ty)XxytZkΣk=1nΣW∈x,y(1-sx)tyXxytZkΣk=1nΣW∈x,ysxtyXxytZk----(17)]]>算式權利要求
1.一種測距裝置，通過把光投射到被拍攝體上并接收其反射光，對所述被拍攝體的三維位置進行測定，其特征在于包括排列設有多個光源的光源陣列部；通過對所述光源陣列部各光源的發光狀態進行控制，使所述光源陣列部至少投射兩種光圖像的光源控制部。
2.根據權利要求1所述的測距裝置，其特征在于所述光源是LED。
3.根據權利要求1所述的測距裝置，其特征在于把所述光源陣列部的各光源設置成點陣形狀或方格花紋形狀。
4.根據權利要求1所述的測距裝置，其特征在于把所述光源陣列部的各光源設置在曲面上。
5.根據權利要求1所述的測距裝置，其特征在于把所述光源陣列部的各光源設置在平面上，并使其光軸呈放射狀態。
6.根據權利要求1所述的測距裝置，其特征在于在光圖像形成方向上，把光圖像的投光范圍分割為多個范圍，把有關所分割的各范圍的光源群排列設有在與光圖像形成方向正交的方向上。
7.根據權利要求1所述的測距裝置，其特征在于所述光源控制部按照該光源的位置對各光源的發光強度進行控制，生成光圖像。
8.根據權利要求1所述的測距裝置，其特征在于所述光源控制部按照該光源的位置對各光源的發光時間進行控制，生成光圖像。
9.根據權利要求7或8所述的測距裝置，其特征在于當所述光源控制部投射兩種光圖像時，對設在所述光源陣列部的端部附近的光源的發光強度或發光時間進行修正，使能進行三維位置測定的空間范圍進一步增大。
10.根據權利要求1所述的測距裝置，其特征在于設置多個所述光源陣列部，并使所述多個光源陣列部的光投射方向相互不同。
11.根據權利要求1所述的測距裝置，其特征在于具有根據反射光圖像來進行三維計測的三維計測部；所述三維計測部預先儲存近似所述光源陣列部所投射的兩種光圖像的光強比為一定的空間軌跡的近似計算式的參數，并從投射所述兩種光圖像時的各個反射光圖像求出著眼像素的亮度比，并根據所求出的著眼象素的亮度比和所儲存的空間軌跡的參數來進行三維計測。
12.根據權利要求1所述的測距裝置，其特征在于具有根據反射光圖像來進行三維計測的三維計測部；所述三維計測部在進深值一定的平面上，針對不同的進深值，預先儲存多幅表示由所述光源陣列部所投射的兩種光圖像的光強比的亮度比圖像，并根據投射所述兩種光圖像時的各個反射光圖像，求出著眼象素的亮度比，并比較所求出的著眼象素的亮度比和所述各亮度比圖像的所述著眼象素坐標附近的光強比，以此來進行三維計測。
13.根據權利要求1所述的測距裝置，其特征在于具有根據反射光圖像來進行三維計測的三維計測部；所述三維計測部在進深值一定的平面上，針對不同的進深值，預先儲存多幅表示由所述光源陣列部所投射的兩種光圖像的光強比的亮度比圖像，并在所述亮度比圖像中設定代表點，根據所述多幅亮度比圖像以及對應各個亮度比圖像的進深值來決定各代表點上的光強比和進深值的關系式的參數，并從投射所述兩種光圖像時的各個反射光圖像求出著眼象素的光強比，并使用著眼象素的坐標值、所述著眼象素的光強比、和所述各代表點上的光強比和進深值的關系式的參數，來進行三維計測。
14.一種三維計測方法，向被拍攝體至少投射兩種光圖像，并根據其反射光圖像來測定所述被拍攝體的三維位置，其特征在于預先儲存近似所述兩種光圖像的光強比為一定的空間軌跡的近似計算式的參數；根據投射所述兩種光圖像時的各個反射光圖像求出著眼象素的亮度比；根據所求出的著眼象素的亮度比和所儲存的空間軌跡的參數來進行三維計測。
15.一種三維計測方法，向被拍攝體至少投射兩種光圖像，根據其反射光圖像來測定所述被拍攝體的三維位置，其特征在于在進深值為一定的平面上，針對不同的進深值預先儲存多幅表示所述兩種光圖像的光強比的亮度比圖像；根據投射所述兩種光圖像時的各個反射光圖像，求出著眼象素的亮度比；通過比較所求出的著眼象素亮度比和所述各亮度比圖像的所述著眼象素坐標附近的光強比來進行三維計測。
16.一種三維計測方法，向被拍攝體至少投射兩種光圖像，根據其反射光圖像來測定所述被拍攝體的三維位置，其特征在于在進深值為一定的平面上，針對不同的進深值預先儲存多幅表示所述兩種光圖像的光強比的亮度比圖像；在所述亮度比圖像中設定代表點，根據所述多幅亮度比圖像以及對應各個亮度比圖像的進深值，來決定各代表點上的光強比和進深值的關系式的參數；從投射所述兩種光圖像時的各個反射光圖像，求出著眼象素的光強比；使用著眼象素的坐標值、所述著眼象素的光強比、和所述各代表點上的光強比和進深值的關系式的參數，來進行三維計測。
17.一種測距裝置，通過把光投射到被拍攝體上并接收其反射光，對所述被拍攝體的三維位置進行測定，其特征在于包括至少投射兩種光圖像的光投射部；通過使所述光投射部投射的光圖像組發生變化，來使計測范圍或計測精度為可變的投射光圖像控制部。
18.根據權利要求17所述的測距裝置，其特征在于所述光投射部包括排列設有多個光源的光源陣列部；通過對所述光源陣列部的各光源的發光狀態進行控制，使所述光源陣列部投射光圖像的光源控制部；所述投射光圖像控制部向所述光源控制部發指示，指示使所述光源陣列部投射的光圖像組的種類。
19.根據權利要求17所述的測距裝置，其特征在于所述投射光圖像控制部具有投射具有通常的投光范圍的第一光圖像組的通常測定模式；向多個方向投射投光范圍比所述第一光圖像組窄的第二光圖像組的精密測定模式。
20.根據權利要求17所述的測距裝置，其特征在于所述投射光圖像控制部具有在計測初始時，投射具有相對較寬的投光范圍的第一光圖像組，然后，針對所述相對較寬的投光范圍中的特定區域，投射具有相對較窄投光范圍的第二光圖像組的測定模式。
21.一種光源裝置，排列設有多個光源，其特征在于其構成是通過對各光源的發光狀態進行控制，就能投射給定的光圖像；并且，把各光源設置在平面上，并使其光軸呈放射狀態。
22.一種光源裝置，排列設有多個光源，其特征在于其構成是通過對各光源的發光狀態進行控制，就能投射給定的光圖像；并且，在光圖像形成方向上，把光圖像的投光范圍分割為多個范圍；把有關所分割的各范圍的光源群排列設在與光圖像形成方向正交的方向上。
全文摘要
一種測距裝置,使用排列設有多個如LED那樣的光源的光源陣列部11,把光圖像投射到被拍攝體上。盡管每個LED的光量較小,但作為整個光源陣列部11來說,仍能把足夠的光量照射到被拍攝體上,所以能實現穩定的三維計測。而且,由于是通過對光源陣列部11的各LED的發光狀態進行控制,來生成光圖像的,所以無需機械裝置,利用電氣性能就能生成任意的光圖像。因此,能長期使用并能穩定地進行三維計測。
文檔編號G01S17/87GK1350202SQ0113661
公開日2002年5月22日 申請日期2001年10月22日 優先權日2000年10月20日
發明者魚森謙也, 森村淳, 和田穣二, 吾妻健夫 申請人:松下電器產業株式會社
專業數控銑床產品供應商
20年生產經驗，實力工廠，精工品質，質量有保障
