具有多個光源的運動傳感器裝置制造方法
【專利摘要】本公開的一實施方式的運動傳感器裝置具備圖像傳感器(101)、LED光源(102)、LED光源(103)、LED光源(104)。使用僅使LED光源(102)發光時圖像傳感器(101)取得的圖像、僅使LED光源(103)發光時圖像傳感器(101)取得的圖像、僅使LED光源(104)發光時圖像傳感器(101)取得的圖像，根據被攝體的亮度比來推定到被攝體的距離。
【專利說明】具有多個光源的運動傳感器裝置
【技術領域】
[0001] 本申請涉及具備多個光源的運動傳感器裝置。
【背景技術】
[0002] 專利文獻1公開了如下的技術：從多個光源對靜止或運動中的物體（對象物）分 時地投光，并基于由1個圖像傳感器取得的多個圖像來測定到對象物的距離。
[0003] 非專利文獻1公開了使用近紅外線來檢測人手的手勢接口系統。在非專利文獻1 中記載了如下情況：在人類的肌膚處，與970nm的波長的紅外線相比，870nm的波長的紅外 線的反射率高。
[0004] 【在先技術文獻】
[0005] 【專利文獻】
[0006] 【專利文獻1】日本特開2001-12909號公報 [0007]【非專利文獻】
[0008]【非專利文獻1】竹內麻梨子、加藤邦人、山本和彥，"使用了近紅外肌膚檢測的手勢 接口系統的構筑"，社團法人映像信息媒介學會技術報告，ITETechnicalReportVol. 34， No. 34ME2010-122(Aug. 2010)
【發明內容】
[0009] 【發明要解決的課題】
[0010] 在現有技術中，存在因對象物的位置的不同而測定的距離的精度或靈敏度下降這 樣的問題。本公開的實施方式提供一種能解決該問題的新的運動傳感器裝置。
[0011] 【用于解決課題的方案】
[0012] 本公開的運動傳感器裝置在一方案中，具備：圖像傳感器；第一、第二及第三光 源；以控制所述圖像傳感器及所述第一至第三光源的方式構成的控制部。所述控制部如下 構成：在第一時間，一邊使所述第一光源發光，一邊利用所述圖像傳感器進行第一幀的攝 像，在第二時間，一邊使所述第二光源發光，一邊利用所述圖像傳感器進行第二幀的攝像， 在第三時間，一邊使所述第三光源發光，一邊利用所述圖像傳感器進行第三幀的攝像，基于 從通過所述第一幀的攝像而取得的第一圖像所得到的對象物的亮度與從通過所述第二幀 的攝像而取得的第二圖像所得到的所述對象物的亮度之比，來生成第一推定距離信息，基 于從所述第一圖像得到的所述對象物的亮度與從通過所述第三幀的攝像而取得的第三圖 像所得到的所述對象物的亮度之比，來生成第二推定距離信息，通過將所述第一推定距離 信息和所述第二推定距離信息進行選擇或合成，來得到至所述對象物的距離信息。
[0013] 本公開的另一方案的運動傳感器裝置具備：能夠檢測第一波長的光及與所述第一 波長不同的第二波長的光的圖像傳感器；射出所述第一波長的光的第一及第二光源；射出 所述第二波長的光的第三及第四光源；以控制所述圖像傳感器及所述第一至第四光源的方 式構成的控制部。所述控制部如下構成：在第一時間，一邊使所述第一及第四光源發光，一 邊利用所述圖像傳感器進行第一幀的攝像，在第二時間，一邊使所述第二及第三光源發光， 一邊利用所述圖像傳感器進行第二幀的攝像，根據從通過所述第一幀的攝像而取得的第一 圖像所得到的對象物的所述第一波長的成分的亮度與從通過所述第二幀的攝像而取得的 第二圖像所得到的所述對象物的所述第一波長的成分的亮度之比，來取得第一推定距離信 息，根據從所述第一圖像得到的所述對象物的所述第二波長的成分的亮度與從所述第二圖 像得到的所述對象物的所述第二波長的成分的亮度之比，來取得第二推定距離信息，通過 將所述第一推定距離信息和所述第二推定距離信息進行選擇或合成，來得到至所述對象物 的距離信息。
[0014] 本公開的又一方案的運動傳感器裝置具備：圖像傳感器；第一、第二及第三光源； 以控制所述圖像傳感器及所述第一至第三光源的方式構成的控制部。所述控制部如下構 成：在第一時間，一邊使所述第一光源發光，一邊利用所述圖像傳感器進行第一幀的攝像， 在第二時間，一邊使所述第二光源發光，一邊利用所述圖像傳感器進行第二幀的攝像，在第 三時間，一邊使所述第三光源發光，一邊利用所述圖像傳感器進行第三幀的攝像，在從通過 所述第一幀的攝像而取得的第一圖像所得到的對象物的亮度為第一亮度，從通過所述第二 幀的攝像而取得的第二圖像所得到的所述對象物的亮度為第二亮度，從通過所述第三幀的 攝像而取得的第三圖像所得到的對象物的亮度為第三亮度時，所述控制部基于通過將所述 第一亮度和所述第三亮度進行合成或選擇而得到的第四亮度與所述第二亮度之比，來得到 至所述對象物的距離信息。
[0015] 本公開的再一方案的運動傳感器裝置具備：能夠檢測第一波長的光及與所述第一 波長不同的第二波長的光的圖像傳感器；射出所述第一波長的光的第一及第二光源；射出 所述第二波長的光的第三及第四光源；以控制所述圖像傳感器及所述第一至第四光源的方 式構成的控制部。所述控制部如下構成：在第一時間，一邊使所述第一及第四光源發光，一 邊利用所述圖像傳感器進行第一幀的攝像，在第二時間，一邊使所述第二及第三光源發光， 一邊利用所述圖像傳感器進行第二幀的攝像，在從通過所述第一幀的攝像而取得的第一圖 像所得到的對象物的所述第一波長的成分的亮度為第一亮度，從通過所述第二幀的攝像而 取得的第二圖像所得到的所述對象物的所述第一波長的成分的亮度為第二亮度，從所述第 一圖像得到的所述對象物的所述第二波長的成分的亮度為第三亮度，從所述第二圖像得到 的所述對象物的所述第二波長的成分的亮度為第四亮度時，所述控制部基于通過對所述第 一亮度和所述第二亮度進行選擇或合成而得到的第五亮度與通過對所述第三亮度和所述 第四亮度進行選擇或合成而得到的第六亮度之比，來得到至所述對象物的距離信息。
[0016] 本公開的電子裝置具備：上述的運動傳感器裝置；對通過所述運動傳感器裝置檢 測到的對象物的運動進行響應而使顯示內容變化的顯示器。
[0017] 本公開的集成電路使用于上述的運動傳感器裝置，具備：與所述圖像傳感器及所 述光源連接并控制曝光及發光的時機的時機控制部；對攝像數據進行處理并檢索亮度相對 高的區域的極值檢索部；存儲由所述極值檢索部檢索到的區域的坐標和亮度的坐標存儲 器；從所述坐標存儲器的數據中選出從同一區域以不同的條件拍攝的幀，使用亮度比來算 出推定距離信息的距離算出部。
[0018] 本公開的距離推定方法是上述的運動傳感器裝置進行的距離計算方法，包括：從 攝像幀的數據中選擇性地選出光強度相對高的區域，并算出其坐標和光強度的極值檢索步 驟；算出通過所述極值檢索步驟選出的亮度中的、從以不同的條件拍攝到的幀彼此中選出 的亮度之比的亮度比算出步驟；使用通過所述亮度比算出步驟算出的亮度比和通過所述極 值檢索步驟檢索到的坐標，換算成距離的距離換算步驟。
[0019] 本公開的計算機程序使上述的運動傳感器裝置動作，并使所述運動傳感器裝置執 行：從攝像幀的數據中選擇性地選出光強度相對高的區域，并算出其坐標和光強度的極值 檢索步驟；算出通過所述極值檢索步驟選出的亮度中的、從以不同的條件拍攝到的幀彼此 中選出的亮度之比的亮度比算出步驟；使用通過所述亮度比算出步驟算出的亮度比和通過 所述極值檢索步驟檢索到的坐標，換算成距離的距離換算步驟。
[0020] 【發明效果】
[0021] 本公開的運動傳感器裝置的實施方式能夠抑制距離測定的錯誤的發生。
【專利附圖】
【附圖說明】
[0022] 圖1A是示意性地表示具備2個光源的運動傳感器裝置的截面的圖。
[0023] 圖1B是圖1A的裝置的俯視圖。
[0024] 圖2是表示LED光源的放射角與相對放射強度的關系的坐標圖。
[0025] 圖3是表示LED光源的放射角的圖。
[0026] 圖4A是表示利用從第一LED光源102放射出的光來照射對象物104的情況的圖。
[0027] 圖4B是表示利用從第二LED光源103放射出的光來照射對象物104的情況的圖。
[0028] 圖5是表示攝像數據的1行的像素位置與亮度的關系的坐標圖。
[0029] 圖6是表示某放射角下的亮度比與距離的關系的坐標圖。
[0030] 圖7A是表示利用從第一LED光源102放射出的光來照射稍微移動的對象物104 的情況的圖。
[0031] 圖7B是表示利用從第二LED光源103放射出的光來照射稍微移動的對象物104 的情況的圖。
[0032] 圖8是示意性地表示具備2個光源的運動傳感器裝置的靈敏度區域的圖。
[0033] 圖9A是本公開的實施方式1中的光源裝置和圖像傳感器的配置圖。
[0034] 圖9B是本公開的實施方式1中的光源及圖像傳感器的時間圖。
[0035] 圖10是表示本公開的實施方式1中的低靈敏度區域的圖。
[0036] 圖11是本公開的實施方式1中的運動傳感器裝置的結構圖。
[0037] 圖12是表示本公開的實施方式1中的運動傳感器裝置的結構例的框圖。
[0038] 圖13是本公開的實施方式1中的距離計算次序的流程圖。
[0039] 圖14A是表示本公開的實施方式1的另一配置例的俯視圖。
[0040] 圖14B是表示本公開的實施方式1的又一配置例的俯視圖。
[0041] 圖15A是本公開的實施方式2的光源裝置和圖像傳感器的配置圖。
[0042] 圖15B是本公開的實施方式2的光源及圖像傳感器的時間圖。
[0043] 圖16是表示本公開的實施方式2的低靈敏度區域的圖。
[0044] 圖17是表示本公開的實施方式2的圖像傳感器的靈敏度特性的圖。
[0045] 圖18是表示將本公開的實施方式1的運動傳感器裝置向產品裝入的例子的圖。
【具體實施方式】
[0046] 說明通過本公開的運動傳感器裝置能夠測定到對象物（被攝體）為止的距離的基 本原理。
[0047] 首先，參照圖1A及圖1B。圖1A是示意性地表示運動傳感器裝置的截面的圖，圖 1B是圖1A的俯視圖。
[0048] 圖1A及圖1B所示的裝置具備位于中央的圖像傳感器101和位于圖像傳感器101 的兩側的2個LED光源102、103。在圖示的例子中，圖像傳感器101及LED光源102U03搭 載于1個基板100。圖像傳感器是將多個微細的光檢測單元（光電二極管）排列成行及列 狀的固體攝像元件，典型的是CO)(ChargeCoupledDevice)型或CMOS型。
[0049] 圖1A中不意性地不出從第一光源102發出的光102a和從第二光源103發出的光 103a。該裝置一邊使LED光源102、103交替地點亮，一邊進行攝像，由此能夠測定到計測對 象物體（對象物）為止的距離。需要說明的是，"距離的測定"包括求出從圖像傳感器到對 象物的距離的推定值、或空間內的對象物的位置的推定值的情況。對象物中包含例如人手、 手指、人持有的筆等。對象物可以移動。能夠實時地取得到高速移動的人的指尖為止的距 離、或指尖的位置的推定值的三維運動傳感器裝置可被使用作為包含計算機、標牌終端、智 能手機、游戲設備及家電設備在內的多種電子設備的"輸入器件"。
[0050] 圖2是表示從LED光源102、103分別發出的光的放射圖案（配光特性）的坐標 圖。如圖3所示，坐標圖的橫軸是放射的方向相對于基板100的法線方向N而形成的角度 0。坐標圖的縱軸是相對放射強度。以下，有時將放射的角度0稱為"放射角"。需要說明 的是，相對放射強度的值對應于在從光源向特定角度的方向分離的位置上放置的對象物的 照度（放射照度）。
[0051] 從圖2可知，從LED光源102U03分別發出的放射在角度0為0°時，表示最高的 強度。在圖2的例子中，LED光源102、103表現出其放射強度能夠以IQXc〇S 0來近似的配 光特性。LED光源102U03的配光特性沒有限定為圖2的例子。而且，從LED光源102U03 發出的放射沒有限定為可見光，也可以是紅外線那樣通過人類的視覺無法感覺到的波長域 的電磁波。在本說明書中，為了簡便起見，有時將從光源發出的放射簡稱為"光"。該"光" 的用語沒有限定為可見光，廣泛地包含通過圖像傳感器能夠檢測的電磁波。
[0052] 接著，說明通過上述的裝置測定到對象物為止的距離的方法。
[0053] 首先，參照圖4A及圖4B。圖4A示出利用從第一LED光源102放射的光來照射對 象物104且由對象物104反射的光的一部分向圖像傳感器101入射的情況。另一方面，圖 4B示出利用從第二LED光源103放射的光來照射對象物104且由對象物104反射的光的一 部分向圖像傳感器101入射的情況。對象物104的位置在圖4A及圖4B中實質上相同。
[0054] 根據該裝置，在第一時刻，如圖4A所示，在將LED光源102點亮并將LED光源103 熄滅的狀態下進行基于圖像傳感器101的第一攝像。接著，在第二時刻，如圖4B所示，在將 LED光源103點亮并將LED光源102熄滅的狀態下進行基于圖像傳感器101的第二攝像。第 一及第二攝像的各自的期間（曝光時間）假定為對象物104實質停止的程度那樣充分短。
[0055] 在進行第一攝像時，從LED光源102發出的光的一部分由對象物104反射而向圖 像傳感器101入射，因此能得到與向圖像傳感器101入射的光的強度對應的亮度圖像。同 樣，在進行第二攝像時，從LED光源103發出的光的一部分由對象物104反射而向圖像傳感 器101入射，因此能得到與向圖像傳感器101入射的光的強度對應的亮度圖像。
[0056] 分別基于通過第一及第二攝像而取得的2幀的圖像，能夠求出對象物104的亮度 (亮度分布或亮度圖像）。需要說明的是，本說明書中的"亮度"不是具有[坎/m2]的單位 的心理物理量，而是按照圖像傳感器的各像素而確定的"相對亮度"，相當于光量或放射量。 構成各幀的圖像的各像素具有與受光量對應的"亮度值"。
[0057] 由于對象物104存在大小，因此各圖像中的對象物104的圖像通常由多個像素構 成。對象物104的"亮度"可以根據構成對象物104的圖像的多個像素的亮度值通過各種 方法來決定。可以將對象物104的圖像中的最明亮的"像素"或"像素塊"的亮度作為對象 物104的亮度，也可以將構成對象物104的圖像的全部的像素的平均亮度作為對象物104 的亮度。
[0058] 圖5是分別關于通過上述的方法取得的2幀的圖像，表示橫切對象物104的圖像 的一個水平行的亮度值的坐標圖。橫軸是圖像內的特定的水平行上的像素位置，縱軸是亮 度。坐標圖中的曲線301是LED光源102點亮時的亮度，曲線302是LED光源103點亮時 的亮度。
[0059] 在圖5的例子中，曲線301及曲線302分別具有單峰性的峰值。即，曲線301在某 像素位置處表現出極值303,曲線302在其他的像素位置處表現出極值304。曲線301的極 值303與曲線302的極值304之間的水平方向的坐標間隔由寬度305表示。
[0060] 如前述那樣，在2幀之間，對象物104實質上靜止。因此，曲線301與曲線302之 間存在的差異以LED光源102作成的放射的圖案與LED光源103作成的放射的圖案的不同 為起因。從LED光源102發出的光由對象物104反射而向圖像傳感器101入射所取得的圖 像的亮度與從LED光源103發出的光由對象物104反射而向圖像傳感器101入射所取得的 圖像的亮度的比率依賴于從LED光源102到對象物104的距離與從LED光源103到對象物 104的距離的關系。
[0061] 根據攝影圖像的亮度比，能夠計測物體的距離。圖6是表示從圖像傳感器101起 為45度的角度的方向上的距離與亮度比的關系的一例的坐標圖。圖6的坐標圖在將表現 出圖2的特性的LED光源從圖像傳感器101向左右分離了規定的距離進行配置的情況下， 橫軸表示到對象物為止的相對的距離，縱軸表示亮度比。橫軸的"距離"以圖像傳感器101 與LED光源的距離為基準，"1"的距離是指與圖像傳感器101和LED光源的距離相等的大 小。
[0062] 對象物的亮度（或照度）與從LED光源到對象物的距離的平方成反比例地減衰。 因此，對應于距離而亮度之比發生變化。由于圖2所示的放射特性已知，因此若基于該放射 特性，則能夠進行高精度的距離的檢測或推定。
[0063] 圖6是放射角0為45度時的距離與亮度比的關系的一例，但是關于不同的多個 角度，同樣能夠事先得到距離與亮度比的關系。對象物的角度可以基于通過圖像傳感器取 得的對象物的攝像位置來求出。
[0064] 從圖6可知，在對象物體與圖像傳感器的距離大致從1分離的情況下，根據極值 303與極值304之比能夠計測距離。
[0065] 在上述的例子中，使用對應于放射角而相對放射強度發生變化的光源。然而，該測 定方法也可以使用不具有這樣的特性的光源。若是發出平行光線的光源以外的光源，則光 強度在三維空間內表現出某些配光特性，因此這樣的光源也能夠利用于距離測定。例如，即 使是配光為各向同性的"點光源"，由于對象物上的照度及亮度與距光源的距離的平方成反 比例地減衰，因此也可以稱為在三維空間上具有不同的輻射圖案的光源。
[0066] 接著，參照圖7A及圖7B。這些圖表示對于從圖4A及圖4B所示的位置移動的對象 物104進行攝像的情況。只要能夠進行高速的攝像及距離的推定，則即使對于移動的對象 物，也能夠通過前述的方法進行距離的測定。通過反復進行基于光源102U03的交替的照 明和基于圖像傳感器101的攝像，能夠檢測移動的對象物104的位置。其結果是，能夠檢測 對象物104的位置的變化或運動。
[0067] 本
【發明者】可知，在上述的裝置中，在從2個LED光源102、103分別到對象物104的 距離相等的區域中，距離的測定精度下降。在本說明書中，將這樣的區域稱為"低靈敏度區 域"。而且，在圖6的坐標圖的橫軸所示的距離為1以下時，距離越短而亮度比越上升，因此 僅是亮度比的話，無法判別到對象物體的距離是否處于1以下的"最近距離區域"。
[0068] 圖8是示意性地表示上述的裝置的低靈敏度區域的圖。圖8示出距離過短而產生 的低靈敏度區域504和與距離無關而亮度比接近于1所產生的低靈敏度區域505。
[0069] 根據以下說明的本公開的各實施方式，能夠抑制在上述的低靈敏度區域中計測結 果變得不穩定的情況。
[0070] (實施方式1)
[0071] 對本公開的運動傳感器裝置的第一實施方式進行說明。本實施方式的運動傳感器 裝置具備3個光源。
[0072] 圖9A是不意性地表不具備3個光源（第一光源102、第二光源103、第三光源104) 的運動傳感器裝置中的光源的配置結構例的圖。圖9B是表示該運動傳感器裝置中的光源 和圖像傳感器的控制時機的時間圖。首先，參照圖9A及圖9B，說明根據本實施方式的結構 能夠解決在低靈敏度區域中計測結果變得不穩定的問題的理由。
[0073] 圖9B所示的期間802、803、804分別相當于LED光源102、103、104點亮的期間。第 一曝光期間805、第二曝光期間806、第三曝光期間807分別對應于圖像傳感器101的第一 幀、第二幀、第三幀的攝像。在圖9B的時間圖中，LED光源102、103、104依次點亮，但點亮 的順序可以任意。但是，若將LED光源102的點亮期間設定在3個光源的點亮期間的中央， 則具有能夠抑制以對象物的動作為起因的測定精度的下降這樣的效果。
[0074] 通常的圖像傳感器通過1次的曝光進行1幀的攝像，在將得到的圖像數據向外部 讀出之后進行下一幀的攝像。即，按照各幀來執行圖像數據的讀出動作。根據這樣的圖像 傳感器，在第n幀（n為整數）的曝光結束之后到第n+1的幀的曝光開始之前期間，需要將 通過第n幀的攝像得到的全部的電荷傳送而向外部輸出的動作用的時間。
[0075] 然而，在本實施方式中，如圖9B所示，在第一曝光期間805之后，立即開始第二曝 光期間806。在第一曝光期間805中進行第一幀的攝像而產生的各像素的電荷在第二曝光 期間806開始之前向存儲部轉移并蓄積于該存儲部。而且，在第二曝光期間806之后，立即 開始第三曝光期間807。在第二曝光期間806中進行第二幀的攝像而產生的各像素的電荷 在第三曝光期間807開始之前向另一存儲部轉移并蓄積于該存儲部。然后，在期間Tt讀出 蓄積于上述的存儲部的電荷及在第三曝光期間807產生的電荷的信號，并向外部輸出。
[0076]在本實施方式中，在第一?第三曝光期間的各長度為"Te"時，以通過與 "3XTe+Tt"相等的長度Tf的倒數（1/Tf)所決定的比率來讀出3張幀圖像的數據。
[0077] 時間Tt也依賴于像素數，但是考慮數據傳送比率而設定為例如20毫秒左右的大 小。另一方面，時間Te可設定為1毫秒以下的短期間、例如25微秒。若在短期間內連續執 行3張幀的攝像，則即使在對象物像人的指尖那樣高速移動的情況下，也能夠進行距離計 測。例如在3XTe為75微秒的情況下，即使對象物以1米/秒的速度移動，在第一?第三 攝像中，對象物也僅移動0.075毫米。另一方面，若以通常的幀比率（例如60幀/秒）進 行攝像，則對象物也僅移動50毫米。即使假設進行1000幀/秒的高速度攝影，對象物也僅 移動3毫米。在本實施方式中，由于能夠將從第一幀的開始時刻到第三幀的結束時刻為止 的期間縮短為例如3毫秒以下，因此作為運動傳感器裝置而在各種用途上比較實用。
[0078] 在本實施方式的結構中，可以基于通過第一至第三幀取得的3張圖像中的2張圖 像來算出到對象物的距離。3張圖像中的2張的組合為3種。3種各自的低靈敏度區域的 位置不同。通過利用2種或3種組合的圖像的成對，能夠除去低靈敏度區域。在本實施方 式中，假定主要利用通過第一及第二幀取得的2張圖像、通過第二及第三幀取得的2張圖像 來除去低靈敏度區域的情況。
[0079] 圖10是示意性地表示根據通過第一及第二幀取得的2張圖像來求出距離信息時 的低靈敏度區域、根據通過第二及第三幀取得的2張圖像來求出距離信息時的低靈敏度區 域的圖。在基于通過第一及第二幀取得的2張圖像來算出對象物的距離的情況下，以距光 源102U03各自的距離相等的區域為中心而產生低靈敏度區域605。另一方面，在基于通過 第二及第三幀取得的2張圖像來算出對象物的距離的情況下，以距光源103、104各自的距 離相等的區域為中心而產生低靈敏度區域606。在本實施方式中，由于光源103配置在圖像 傳感器101的附近，因此未產生圖8所示那樣的最近距離的低靈敏度區域504。
[0080] 在充分短的時間內較強的發光條件的基礎上拍攝的幀的亮度大致與反射光的強 度成比例。在此，將映現于第一幀的對象物的亮度稱為"第一亮度"，將映現于第二幀的對象 物的亮度稱為"第二亮度"，將映現于第三幀的對象物的亮度稱為"第三亮度"。根據通過對 象物與各光源的位置關系而確定的角度及距離來決定各亮度。如前述那樣，根據上述的亮 度之比能夠推定對象物的距離。
[0081] 在將第一亮度與第二亮度進行比較時，在低靈敏度區域605,第一亮度與第二亮度 大致相等（亮度比接近于1)，因此距離計測精度下降。在第二亮度比第一亮度大時，能夠推 定為對象物存在于與低靈敏度區域605相比靠右側（接近于光源103的一側）的位置。反 之，在第一亮度比第二亮度大時，可以推定為對象物存在于比低靈敏度區域605靠左側（接 近于光源102的一側）的位置。
[0082] 另一方面，在將第二亮度與第三亮度進行比較時，在低靈敏度區域606中，第二亮 度與第三亮度大致相等（亮度比接近于1)，因此距離計測精度下降。在第二亮度比第三亮 度大時，能夠推定為對象物存在于比低靈敏度區域606靠左側（接近于光源103的一側） 的位置。反之，在第三亮度比第二亮度大時，能夠推定為對象物存在于比低靈敏度區域606 靠右側（接近于光源104的一側）的位置。
[0083]根據以上所述，本實施方式的運動傳感器裝置根據第一亮度與第二亮度之比來求 出第一推定距離信息，根據第二亮度與第三亮度之比來求出第二推定距離信息，通過對第 一推定距離信息和第二推定距離信息進行選擇或合成，由此生成對象物的距離信息。例如， 在第一亮度與第二亮度之比處于預先設定的范圍內時，僅利用第二推定距離信息來求出到 對象物的距離信息，在第二亮度與第三亮度之比處于預先設定的范圍內時，僅利用第一推 定距離信息來求出到對象物的距離信息。在此，"預先設定的范圍"是例如接近于1的規定 的范圍（0.8?1.2等）。2個亮度的"比處于預先設定的范圍內時"也包括不是2個亮度 的"比"而是"差"處于預先設定的范圍內的情況。
[0084] 或者，可以限定為第二亮度比第一亮度大的情況而利用第一推定距離信息，并限 定為第二亮度比第三亮度大的情況而利用第二推定距離信息。一方的亮度是否大于另一方 的亮度例如可以通過兩者之差的絕對值是否大于規定的閾值，或者兩者之比與1的差量是 否大于規定的閾值來進行判斷。通過這樣的控制，即使在對象物位于低靈敏度區域605或 606的情況下，也能夠基于任一推定距離信息來測定對象物的距離。需要說明的是，雖然在 本實施方式中未利用，但是也可以基于第一亮度與第三亮度的比較結果來求出推定距離信 肩、。
[0085] 關于第一推定距離信息及第二推定距離信息這兩者均為高靈敏度的區域，可以進 行一邊加權一邊取得兩者的平均等的合成。通過這樣的處理，能夠除去低靈敏度區域而進 行高靈敏度的距離測定。
[0086] 關于配置在接近于圖像傳感器101的位置上的LED光源103,可以減小光度（放射 強度）或光束（放射束）的值，或將放射角度設定得較窄。因此，作為LED光源104,可以 采用價格低的低輸出的光源。若采用這樣的光源，則能夠抑制部件成本或消耗電力的增加。 即，根據本實施方式，僅通過增設價格相對低的1個LED光源，就能夠實現低靈敏度區域少 的運動傳感器裝置。
[0087] 在本實施方式中，通過使用能夠連續地進行3幀的攝像的稍高價的圖像傳感器， 能夠檢測到以高速移動的對象物為止的距離、或對象物的三維的運動。在假定作為計測對 象的物體的移動速度充分低的情況下，也可以使用通常的1幀曝光的圖像傳感器。
[0088]接著，參照圖11、圖12及圖13,更詳細地說明本實施方式的運動傳感器裝置的結 構及動作。
[0089]圖11是示意性地表示本實施方式的運動傳感器裝置的結構的圖。該裝置具備圖 像傳感器101、在圖像傳感器101的攝像面上形成被攝體像的透鏡系統11〇、3個LED光源 102、103、104、對圖像傳感器101及LED光源102、103、104進行控制的控制部1000。圖像傳 感器101及LED光源102、103、104搭載在基板100上。控制部1000的一部分或全部可以 安裝在基板100上，也可以安裝在其他的基板上。而且，控制部1000的功能的一部分可以 通過放置在分離的位置上的裝置來實現。
[0090]LED光源103配置在圖像傳感器101的附近。以圖像傳感器101為基準時的LED 光源102?104的方向分別設為第一?第三方向，到LED光源102?104的距離分別設為 第一?第三距離。第二方向及第三方向是與第一方向相反的方向。而且，第二距離比第一 及第三距離短。在本實施方式中，第二及第三距離設定為彼此相等。
[0091]LED光源102、103、104均射出相同波長域的光。圖像傳感器101能夠檢測從LED 光源102、103、104射出的光的至少一部分的波長的光。作為LED光源102、103、104,從實用 性的觀點出發，可以優選使用發出近紅外線等不可見光的光源。但是，在工業用等即使射出 可見光也沒有問題的用途中，也可以進行可見光的安裝。作為光源，并不局限于LED光源， 只要是點光源等在三維的強度分布上存在偏斜的光源即可，可以利用任意的結構。在以下 的說明中，LED光源102、103、104射出作為近紅外線的第一波長（例如800nm)的光，圖像 傳感器101能夠檢測該第一波長的光。
[0092] 需要說明的是，在本說明書中，"近紅外區域"是指大致從700nm到2. 5ym的波長 的范圍。而且，"近紅外線"是指具有近紅外區域的波長的光（電磁波）。而且，"射出第一 波長的光"的情況中包括射出包含第一波長在內的寬波長域的光的情況。在本實施方式中， 光源102、103、104無需嚴格地射出相同波長域的光，在能夠進行基于亮度比的距離計測的 范圍內，在波長域可以產生錯動。
[0093] 在本實施方式中，通過光源102、103,能夠穩定地進行從圖像傳感器101的跟前左 側到位于右側整體的區域的對象物為止的距離測定。另一方面，通過光源103、104,能夠穩 定地進行從光源103的跟前右側到位于左側整體的區域的對象物為止的距離測定。這樣， 通過利用基于光源102、103的亮度比和基于光源103、104的亮度比，能夠排除低靈敏度區 域，提高距離檢測的穩定度。
[0094]圖像傳感器101具有以像素單位暫時蓄積電荷的存儲部。因此，不用等待通過第n幀的攝像得到的圖像數據的讀出而能進行第n+1幀的攝像。若增大圖像傳感器101內的 存儲部，則能夠進行3幀以上的連續的曝光。作為圖像傳感器101，可以是按照偶數/奇數 行能夠分別進行曝光的特殊傳感器。需要說明的是，本實施方式的圖像傳感器是CMOS圖像 傳感器或CCD圖像傳感器，但圖像傳感器沒有限定于此。
[0095] 控制部1000在第一時間使第一光源102發光并同時利用圖像傳感器101進行第 一幀的攝像，在第二時間使第二光源103發光并同時利用圖像傳感器101進行第二幀的攝 像，在第三時間使第三光源104發光并同時利用圖像傳感器101進行第三幀的攝像。并且， 控制部1000基于通過第一至第三幀的攝像而取得的多個圖像，得到至對象物104為止的推 定距離信息。
[0096] 圖12是表示本實施方式的運動傳感器裝置的結構例的框圖。
[0097] 攝像裝置1101是單眼透鏡型的攝像裝置，具有圖11的圖像傳感器101及透鏡系 統110。透鏡系統110可以是排列在同一光軸上的多個透鏡的組。光源裝置1102具有圖 11 的光源 102、103、104。
[0098] 本實施方式的控制部1000具有CPU1103和半導體集成電路1104。半導體集成電 路1104具有距離計算塊1105、圖像濾波塊1106。距離計算塊1105具有極值檢索部1107、 時機控制部1108、坐標存儲器1109及距離算出部1110。
[0099] 本實施方式的光源102、103、104均是LED光源，分別具有圖2所示的放射角與相 對放射強度的關系。需要說明的是，在本公開的實施中，各光源102、103、104無需具有根據 放射角而使相對放射強度變化的特性。然而，現實的情況是，大多數的光源具有根據放射角 而變化的相對放射強度，因此在本實施方式中，對這一點進行考慮。
[0100] 在本實施方式中，圖12的時機控制部1108對光源裝置1102輸出LED光源102的 點亮指示信號。而且，時機控制部1108對攝像裝置1101輸出圖像傳感器101的曝光指示 信號。由此，以第一幀取得光源102點亮的狀態下的圖像，向半導體集成電路1104傳送。
[0101] 接著，時機控制部1108對光源裝置1102輸出光源103的點亮指示信號，對攝像裝 置1101輸出圖像傳感器101的曝光指示信號。由此，以第二幀取得光源103點亮時的圖像， 向半導體集成電路1104傳送。
[0102] 接著，時機控制部1108對光源裝置1102輸出光源104的點亮指示信號，對攝像裝 置1101輸出圖像傳感器101的曝光指示信號。由此，以第三幀取得光源104點亮時的圖像， 向半導體集成電路1104傳送。
[0103] 在半導體集成電路1104中，從攝像裝置1101輸出的圖像幀由圖像濾波塊1106處 理。圖像濾波塊1106并非必須，但是在本實施方式中，在圖像處理中通過圖像濾波塊1106 進行噪聲除去濾波等前處理。
[0104] 由圖像濾波塊1106處理后的圖像向距離計算塊1105傳送。在距離計算塊1105 內，利用極值檢索部1107來處理圖像。由極值檢索部1107處理的數據的一例如前述的圖5 所示。在圖5中，示出攝像圖像的規定行上的亮度。需要說明的是，在圖5中，關于2個幀 圖像，示出了同一行上的亮度分布，但是在本實施方式中，關于3個幀圖像，能得到同一行 上的亮度分布。換言之，只要從3個幀圖像中選擇2對的幀圖像，就能得到分別如圖5所示 那樣的2個坐標圖。例如，可以通過第一幀的圖像及第二幀的圖像來制作圖5所示那樣的 坐標圖。同樣，通過第二幀的圖像及第三幀的圖像也能夠制作圖5所示那樣的坐標圖。
[0105] 在極值檢索部1107中，首先檢索進行檢測的物體所存在的區域。檢索方法存在多 個。例如從圖5的亮度301和亮度302中容易檢索出亮度的極值303、304。而且在想要相 對于動作而穩定的極值的情況下，也存在確定亮度為一定的值以上的區域并將其中央值作 為極值的方法。
[0106] 接著，將極值303和304作為來自同一物體的極值而將極值彼此進行配對。這可以 是僅將坐標接近的極值彼此進行配對的簡單的方法，也可以預先根據亮度301與亮度302 相加的值來求出一定亮度以上的區域，并在該范圍內搜索極值。
[0107] 若著眼于圖5的亮度301與亮度302的差量，則存在有雖然沒有差量但存在亮度 等級的區域。這考慮是本裝置的外部存在的系統外的光源引起的緣故，因此考慮作為干擾 要素而排除在外。如果成本允許的話，進行使本系統的光源全部熄滅的狀態下的攝像而減 少干擾要素也能得到同樣的效果。
[0108] 極值檢索部1107輸出檢測到的物體的坐標和極值。坐標可以設為區域306的中 心或重心，也可以是極值303與極值304的中央的坐標。而且，亮度既有直接使用極值303、 304的方法，也有求出區域的積分值的方法。
[0109] 在此，為了簡便起見，對于特定行的一維上的數據進行說明。然而，一維的直線可 以是攝像的水平行以外的軸，也可以二維性地搜索相對亮度等級高的區域的坐標和亮度。
[0110] 由極值檢索部1107輸出的物體的坐標和極值在存儲于坐標存儲器1109之后，向 距離算出部1110傳送。
[0111] 距離算出部1110基于從第一幀圖像得到的亮度與從第二幀圖像得到的亮度之比 來算出距離。首先，根據物體的坐標，來決定物體從圖像傳感器101觀察時處于哪個方位。 該方位可以加入透鏡等光學系統的特性而唯一決定。
[0112] 接著，如果知道物體處于該方位的何種距離處，則能夠推定物體的三維位置。
[0113] 前述的圖6所示那樣的LED光源的配置和放射特性關于各方位能得到。圖6的數 據基于光強度與LED光源和物體的距離的平方成反比例地變弱的情況。而且，為了提高精 度，根據圖2的放射特性來修正在各距離處與LED光源之間產生的角度。只要存在圖6所 示的數據，就能夠通過亮度比來算出物體的距離。
[0114] 圖6的數據可以通過距離算出部1110使用三角函數計算來算出。而且，可以將預 先進行了計算、計測的坐標圖作為表格來具備，并通過根據需要一邊進行增補等一邊進行 參照的方法來計算。
[0115] 距離計算塊1105的結果向CPU1103傳送而被利用作為3D運動信息。
[0116] 在以上的結構中，對于圖像數據能夠以行單位來推進處理。因此，能夠實現以單線 程來完成物體的檢測且等待少的運動傳感器裝置。
[0117] 極值303與極值304的坐標可以不必一致，只要對象物的材質在對象區域內大致 均勻，就能夠使用這些極值303、304作為距離計算的亮度比。著眼于該特性，可以僅以具有 一定程度寬度的計測單位的物體的單位進行。在本實施方式中，先進行極值檢索，對于得到 的極值，進行距離計算。由此，能夠實現計算處理量的削減及高速化。
[0118] 在計測人的五體的狀況時，根據拍攝到的數據中的某1行的數據，以臂、腿、頭這 樣的單位，求出拍攝到的各區域的亮度的極值。因此，與以各像素進行某些距離運算的方式 相比，計算次數飛躍性地減少。
[0119] 到此為止的處理全部可以僅通過CPU和軟件程序進行處理。這種情況的軟件程序 的處理流程圖如圖13所示。該處理包括極值檢索步驟1201、閾值判定步驟1202、亮度比算 出步驟1203、距離換算步驟1204。
[0120] 在極值檢索步驟1201中，從圖像數據之中檢索亮度值相對高的區域、即包含極值 的區域。接著，在閾值判定步驟1202中判定極值檢索步驟1201是否存在應作為追蹄對象 的物體。若亮度或區域尺寸為一定值以下，則看作噪聲而判定為"無物體"進行廢棄。閾值 判定步驟1202雖然不是必須，但通常為了提高魯棒性而是重要的步驟。接著，在閾值判定 步驟1202中判定為物體存在時，將對應的極值彼此配對而建立對應來算出亮度比。接著， 在距離換算步驟1204中使用亮度比和攝像圖像位置來換算成距離。
[0121] 將規定了以上的次序的程序存儲于磁記錄介質或半導體記錄介質等，利用CPU來 執行程序，由此也能夠實現本功能。
[0122] 根據本實施方式，在極值檢索步驟1201中僅掃描1次圖像，能夠選出作為計算對 象的亮度值和坐標，因此通過使用該次序能夠高速地完成計算。
[0123] 本實施方式的運動傳感器裝置能夠應用于各種用途。通過應用于攝像機，能夠高 速地控制活動圖像中的自動聚焦。而且，在近距離處分別識別人的手指，在遠距離處識別身 體或人的五體，從而也可以應用作為姿勢識別用的運動傳感器裝置。
[0124] 需要說明的是，在本實施方式中，光源102、103、104的高度及大小無需相等，也可 以不同。而且，光源102、103、104無需分別由1個LED芯片構成，可以將排列有多個LED芯 片的LED陣列利用作為各光源。而且，雖然未圖示,但是在各光源102、103、104也可以配置 透鏡及濾波器等光學部件。這些事項對于其他的實施方式的光源也同樣。
[0125] 光源102、103、104及圖像傳感器101無需配置在直線上。圖14A、14B是表示光源 102、103、104及圖像傳感器101的另一配置例的俯視圖。光源102、103、104可以如圖14A 所示那樣將一部分的光源（在該例中為光源103)配置在直線外，也可以如圖14B所示那樣 在通過1個光源和圖像傳感器101的直線上不配置其他的光源。
[0126] 在圖14A的例子中，相對于圖像傳感器101而2個光源102、104向彼此相反的方 向分離相同距離地配置，但上述的距離也可以不同。另一方面，在圖14B的例子中，3個光 源102、103、104從圖像傳感器101觀察下沿相互不同的方向配置。若這樣方向不同，則從 圖像傳感器101到各光源102、103、104的距離無需不同，可以彼此相等。
[0127] 如上所述，本實施方式的控制部1000基于通過第一圖像得到的對象物的亮度與 通過第二圖像得到的該對象物的亮度之比來生成第一推定距離信息，并基于通過第二圖像 得到的對象物的亮度與通過第三圖像得到的該對象物的亮度之比來生成第二推定距離信 息。并且，通過將第一及第二推定距離信息進行選擇或合成，由此得到至該對象物的距離信 息。然而，控制部1000也可以不通過這樣的動作而通過其他的動作來得到至對象物的距離 信息。例如，可以將換算成距離之前的多個圖像的亮度信息進行選擇或合成，由此來求出對 象物的距離。
[0128] 具體而言，將第一亮度與第三亮度以預先確定的混合比率混合后的亮度設為第四 亮度，基于第二亮度與第四亮度之比能夠得到至對象物的距離信息。例如，第一亮度為P1， 第三亮度為P3,混合比率為a(0<a< 1)，第四亮度為PlXa+P3X(1-a)。根據第四亮度與 第二亮度P2之比（PlXa+P3X(l-a))/P2,使用已知的亮度比與距離的關系，能夠得到至對 象物的距離信息。在該方法中，可以按照圖像傳感器101的各像素位置來確定亮度的混合 比率a。
[0129] 另外，可以選擇第一亮度及第三亮度中的任一個，將該選擇的亮度設為第四亮度， 通過與上述同樣的方法來算出距離。這相當于上述的混合比率a為0或1的情況。選擇第 一亮度及第三亮度中的哪一個例如基于兩者的亮度之比或差是否處于規定的范圍內來判 斷。
[0130](實施方式2)
[0131] 對本公開的運動傳感器裝置的第二實施方式進行說明。本實施方式的運動傳感器 裝置具備4個光源（第一光源702、第二光源703、第三光源704、第四光源705)。本實施方 式的裝置也具備與參照圖11說明的前述的實施方式中的透鏡系統110及控制部1000同樣 的結構。因此，上述的說明在此不重復進行。
[0132] 圖15A是表示本實施方式的運動傳感器裝置的光源的配置結構的圖。圖15B是表 示該運動傳感器裝置的光源和圖像傳感器的控制時機的時間圖。
[0133] 本實施方式的運動傳感器裝置具備搭載在基板700上的圖像傳感器701、4個LED 光源702、703、704、705。1^0光源702及703以射出第一波長的光的方式構成。1^0光源 704及705以射出第二波長的光的方式構成。圖像傳感器701以至少能夠檢測第一及第二 波長的光的方式構成。
[0134] 第一波長及第二波長可以是任意的波長，但是在以下的說明中，分別設為780nm 及850nm。它們都是近紅外區域的波長。第一及第二波長并不局限于近紅外區域的波長，可 以是例如可見光的波長。從實用性的觀點出發，優選將第一及第二波長設定為近紅外區域 的波長，但是在工業用等即使射出可見光也沒有問題的用途中，也可以進行可見光的安裝。
[0135] 以圖像傳感器701為基準時的光源702?705的方向分別為第一?第四方向，到 光源702?705的距離分別為第一?第四距離。第二方向及第四方向是與第一方向相反的 方向，第三方向是與第一方向相同的方向。而且，第二及第三距離都比第一及第四距離短。 在本實施方式中，第二及第三距離彼此相等，第一及第四距離彼此相等，但也可以不必為這 樣的配置。
[0136] 圖像傳感器701是連續地進行2次的曝光并進行2個幀的攝像的特殊傳感器。在 實施方式1中需要連續進行3次的曝光的特殊傳感器，雖然在原理上有效，但是實際的作成 成為高成本。在本實施方式中，能夠利用更低成本的結構進行距離測定。而且，在本實施方 式中，如后述那樣不僅能夠進行距離測定，而且也能夠進行對象物的材質的判定。
[0137] 圖15B所示的期間812、813、814、815分別相當于1^0光源702、703、704、705點亮 的期間。第一曝光期間816及第二曝光期間817分別對應于圖像傳感器701進行的第一幀 及第二幀的攝像。在圖15B的時間圖中，首先LED光源702、705同時發光，接著LED光源 703、 704同時發光。然而，沒有限定為此例，只要以使射出第一波長的光的LED光源702、703 中的一方與射出第二波長的光的LED光源704、705中的一方同時發光的方式來控制發光即 可。
[0138] 在按照圖15B的時間圖進行攝像的情況下，控制部根據從通過第一幀的攝像而取 得的第一圖像所得到的對象物的第一波長的成分的亮度與從通過第二幀的攝像而取得的 第二圖像所得到的該對象物的第一波長的成分的亮度之比，來取得第一推定距離信息。而 且，根據從第一圖像所得到的該對象物的第二波長的成分的亮度與從第二圖像所得到的該 對象物的第二波長的成分的亮度之比，來取得第二推定距離信息。并且，將第一推定距離信 息和第二推定距離信息進行選擇或合成，由此生成到對象物的距離信息并輸出。
[0139] 圖16是示意性地表示第一推定距離信息及第二推定距離信息的低靈敏度區域的 圖。在僅使用第一推定距離信息的情況下，以距光源702、703的各自的距離相等的區域為 中心而產生低靈敏度區域711。另一方面，在僅使用第二推定距離信息的情況下，以距光源 704、 705的各自的距離相等的區域為中心而產生低靈敏度區域712。在本實施方式中，光源 703、704配置在圖像傳感器101的附近，因此圖8所示那樣的最近距離的低靈敏度區域504 未產生。
[0140] 本實施方式的運動傳感器裝置由于將第一推定距離信息和第二推定距離信息進 行選擇或合成，因此即使對象物存在于低靈敏度區域711、712的情況下，也能夠計測到對 象物的距離。具體而言，控制部在從第一圖像所得到的對象物的第一波長的成分的亮度與 從第二圖像所得到的該對象物的第一波長的成分的亮度之比處于預先設定的范圍內（例 如0. 8?1. 2)時，僅利用第二推定距離信息來求出到對象物的距離信息。另一方面，在從 第一圖像所得到的對象物的第二波長的成分的亮度與從第二圖像所得到的該對象物的第 二波長的成分的亮度之比處于預先設定的范圍內時，僅利用第一推定距離信息來求出到對 象物的所述距離信息。或者可以是，只要在從第二圖像所得到的對象物的第一波長的成分 的亮度比從第一圖像所得到的該對象物的第一波長的成分的亮度大的情況下就利用第一 推定距離信息，只要在從第二圖像所得到的對象物的第二波長的成分的亮度比從第一圖像 所得到的該對象物的第二波長的成分的亮度大的情況下就利用第二推定距離信息。通過這 樣的處理，不局限于對象物的位置而能夠準確地計測到對象物的距離。
[0141] 圖像傳感器701如公知的彩色圖像傳感器那樣也是具有分光靈敏度特性不同的 多個種類的像素的傳感器。彩色圖像傳感器存在各個種類的結構。例如有以R、G、G、B這4 像素為1單位而排列的拜耳陣列的傳感器、利用因波長而透過特性不同的情況以1個像素 能夠取得多個顏色成分的信號電荷的傳感器、利用棱鏡將光按色進行分離并利用多個攝像 器件按照顏色成分進行受光的傳感器等。即便使用上述的任一個彩色圖像傳感器，也能夠 根據顏色成分來形成分光靈敏度特性不同的受光，因此可以利用作為圖像傳感器701。
[0142] 圖17是表示本實施方式的圖像傳感器701的各顏色成分的分光靈敏度特性的一 例的坐標圖。圖17的坐標圖中的橫軸表示波長，縱軸表示靈敏度的相對值。該圖像傳感器 701具有主要檢測光的紅顏色成分的R像素、主要檢測綠顏色成分的G像素、主要檢測藍顏 色成分的B像素。如圖17所示，R像素的分光靈敏度特性901、G像素的分光靈敏度特性902 及B像素的分光靈敏度特性903都是在近紅外區域的波長也具有靈敏度。在此，說明利用 相對于第一波長的光的R像素的靈敏度911及B像素的靈敏度913、相對于第二波長的光的 R像素的靈敏度912及B像素的靈敏度914來求出第一及第二波長的各成分的亮度值的例 子。
[0143] 相對于第一波長的光的R像素的靈敏度911為a，相對于第二波長的R像素的靈敏 度912為b，相對于第一波長的B像素的靈敏度913為c，相對于第二波長的B像素的靈敏 度914為d。而且，向1個幀中的某像素入射的第一波長的成分的光的強度所對應的亮度為 a，第二波長成分的光的強度所對應的亮度為P。于是，1個幀的某像素的亮度中的紅色成 分r及藍色成分b由以下的式（1)表示。
[0144]【數學式1】
【權利要求】
1. 一種運動傳感器裝置，其具備： 圖像傳感器； 第一、第二及第三光源； 以控制所述圖像傳感器及所述第一至第三光源的方式構成的控制部， 所述控制部如下構成： 在第一時間，一邊使所述第一光源發光，一邊利用所述圖像傳感器進行第一幀的攝像， 在第二時間，一邊使所述第二光源發光，一邊利用所述圖像傳感器進行第二幀的攝像， 在第三時間，一邊使所述第三光源發光，一邊利用所述圖像傳感器進行第三幀的攝像， 基于從通過所述第一幀的攝像而取得的第一圖像所得到的對象物的亮度與從通過所 述第二幀的攝像而取得的第二圖像所得到的所述對象物的亮度之比，來生成第一推定距離 信息， 基于從所述第一圖像得到的所述對象物的亮度與從通過所述第三幀的攝像而取得的 第三圖像所得到的所述對象物的亮度之比，來生成第二推定距離信息， 通過將所述第一推定距離信息和所述第二推定距離信息進行選擇或合成，來得到至所 述對象物的距離信息。
2. 根據權利要求1所述的運動傳感器裝置，其中， 所述第一光源配置在從所述圖像傳感器向第一方向分離了第一距離的位置， 所述第二光源配置在從所述圖像傳感器向第二方向分離了第二距離的位置， 所述第三光源配置在從所述圖像傳感器向第三方向分離了第三距離的位置， 所述第二方向及所述第三方向是所述第一方向的相反的方向， 所述第二距離比所述第一距離及所述第三距離短。
3. 根據權利要求2所述的運動傳感器裝置，其中， 所述控制部如下構成： 在從所述第一圖像得到的所述對象物的亮度與從所述第二圖像得到的所述對象物的 亮度之比處于預先設定的范圍內時，僅利用所述第二推定距離信息來得到至所述對象物的 所述距離信息， 在從所述第二圖像得到的所述對象物的亮度與從所述第三圖像得到的所述對象物的 亮度之比處于預先設定的范圍內時，僅利用所述第一推定距離信息來得到至所述對象物的 所述距離信息。
4. 根據權利要求3所述的運動傳感器裝置，其中， 所述控制部如下構成： 僅在從所述第二圖像得到的所述對象物的亮度比從所述第一圖像得到的所述對象物 的亮度大的情況下，利用所述第一推定距離信息來得到至所述對象物的所述距離信息， 僅在從所述第二圖像得到的所述對象物的亮度比從所述第三圖像得到的所述對象物 的亮度大的情況下，利用所述第二推定距離信息來得到至所述對象物的所述距離信息。
5. 根據權利要求1?4中任一項所述的運動傳感器裝置，其中， 所述圖像傳感器以能夠檢測作為近紅外線的第一波長的光的方式構成， 所述第一至第三光源以射出所述第一波長的光的方式構成。
6. -種運動傳感器裝置，其具備： 能夠檢測第一波長的光及與所述第一波長不同的第二波長的光的圖像傳感器； 射出所述第一波長的光的第一及第二光源； 射出所述第二波長的光的第三及第四光源； 以控制所述圖像傳感器及所述第一至第四光源的方式構成的控制部， 所述控制部如下構成： 在第一時間，一邊使所述第一及第四光源發光，一邊利用所述圖像傳感器進行第一幀 的攝像， 在第二時間，一邊使所述第二及第三光源發光，一邊利用所述圖像傳感器進行第二幀 的攝像， 根據從通過所述第一幀的攝像而取得的第一圖像所得到的對象物的所述第一波長的 成分的亮度與從通過所述第二幀的攝像而取得的第二圖像所得到的所述對象物的所述第 一波長的成分的亮度之比，來取得第一推定距離信息， 根據從所述第一圖像得到的所述對象物的所述第二波長的成分的亮度與從所述第二 圖像得到的所述對象物的所述第二波長的成分的亮度之比，來取得第二推定距離信息， 通過將所述第一推定距離信息和所述第二推定距離信息進行選擇或合成，來得到至所 述對象物的距離信息。
7. 根據權利要求6所述的運動傳感器裝置，其中， 所述第一光源配置在從所述圖像傳感器向第一方向分離了第一距離的位置， 所述第二光源配置在從所述圖像傳感器向第二方向分離了第二距離的位置， 所述第三光源配置在從所述圖像傳感器向第三方向分離了第三距離的位置， 所述第四光源配置在從所述圖像傳感器向第四方向分離了第四距離的位置， 所述第二方向及所述第四方向是所述第一方向的相反的方向， 所述第三方向是與所述第一方向相同的方向， 所述第二及第三距離分別比所述第一及第四距離短。
8. 根據權利要求6或7所述的運動傳感器裝置，其中， 所述控制部如下構成： 在從所述第一圖像得到的所述對象物的所述第一波長的成分的亮度與從所述第二圖 像得到的所述對象物的所述第一波長的成分的亮度之比處于預先設定的范圍內時，僅利用 所述第二推定距離信息來得到至所述對象物的所述距離信息， 在從所述第一圖像得到的所述對象物的所述第二波長的成分的亮度與從所述第二圖 像得到的所述對象物的所述第二波長的成分的亮度之比處于預先設定的范圍內時，僅利用 所述第一推定距離信息來得到至所述對象物的所述距離信息。
9. 根據權利要求6?8中任一項所述的運動傳感器裝置，其中， 所述第二光源及所述第三光源通過一體化的單一的光源裝置來實現。
10. 根據權利要求6?9中任一項所述的運動傳感器裝置，其中， 所述第一波長及所述第二波長都是近紅外區域的波長。
11. 根據權利要求6?10中任一項所述的運動傳感器裝置，其中， 所述控制部基于所述第一及第二圖像中的至少一方的所述對象物的所述第一波長的 成分的亮度與所述第二波長的成分的亮度的差異來判定所述對象物的材質。
12. 根據權利要求6?11中任一項所述的運動傳感器裝置，其中， 所述運動傳感器裝置還具備射出與所述第一及第二波長不同的第三波長的光的第五 光源， 所述圖像傳感器還能夠檢測所述第三波長的光， 所述控制部如下構成： 在所述第一及第二時間中的至少一方，還一邊使所述第五光源發光，一邊利用所述圖 像傳感器進行攝像， 基于從所述第一及第二圖像中的至少一方得到的所述對象物的所述第三波長的成分 的亮度與所述第一及第二波長中的至少一方的成分的亮度之差或比，來判定所述對象物的 材質。
13. 根據權利要求12所述的運動傳感器裝置，其中， 所述第五光源與所述第一至第四光源中的一個進行一體化。
14. 一種運動傳感器裝置，其具備： 圖像傳感器； 第一、第二及第三光源； 以控制所述圖像傳感器及所述第一至第三光源的方式構成的控制部， 所述控制部如下構成： 在第一時間，一邊使所述第一光源發光，一邊利用所述圖像傳感器進行第一幀的攝像， 在第二時間，一邊使所述第二光源發光，一邊利用所述圖像傳感器進行第二幀的攝像， 在第三時間，一邊使所述第三光源發光，一邊利用所述圖像傳感器進行第三幀的攝像， 在從通過所述第一幀的攝像而取得的第一圖像所得到的對象物的亮度為第一亮度，從 通過所述第二幀的攝像而取得的第二圖像所得到的所述對象物的亮度為第二亮度，從通過 所述第三幀的攝像而取得的第三圖像所得到的對象物的亮度為第三亮度時， 所述控制部基于通過將所述第一亮度和所述第三亮度進行合成或選擇而得到的第四 亮度與所述第二亮度之比，來得到至所述對象物的距離信息。
15. -種運動傳感器裝置，其具備： 能夠檢測第一波長的光及與所述第一波長不同的第二波長的光的圖像傳感器； 射出所述第一波長的光的第一及第二光源； 射出所述第二波長的光的第三及第四光源； 以控制所述圖像傳感器及所述第一至第四光源的方式構成的控制部， 所述控制部如下構成： 在第一時間，一邊使所述第一及第四光源發光，一邊利用所述圖像傳感器進行第一幀 的攝像， 在第二時間，一邊使所述第二及第三光源發光，一邊利用所述圖像傳感器進行第二幀 的攝像， 在從通過所述第一幀的攝像而取得的第一圖像所得到的對象物的所述第一波長的成 分的亮度為第一亮度，從通過所述第二幀的攝像而取得的第二圖像所得到的所述對象物的 所述第一波長的成分的亮度為第二亮度，從所述第一圖像得到的所述對象物的所述第二波 長的成分的亮度為第三亮度，從所述第二圖像得到的所述對象物的所述第二波長的成分的 亮度為第四亮度時， 所述控制部基于通過對所述第一亮度和所述第二亮度進行選擇或合成而得到的第五 亮度與通過對所述第三亮度和所述第四亮度進行選擇或合成而得到的第六亮度之比，來得 到至所述對象物的距離信息。
16. -種電子裝置，其具備： 權利要求1?15中任一項所述的運動傳感器裝置； 對通過所述運動傳感器裝置檢測到的對象物的運動進行響應而使顯示內容變化的顯 示器。
17. -種集成電路，其使用于權利要求1?15中任一項所述的運動傳感器裝置，具備： 與所述圖像傳感器及所述光源連接并控制曝光及發光的時機的時機控制部； 對攝像數據進行處理并檢索亮度相對高的區域的極值檢索部； 存儲由所述極值檢索部檢索到的區域的坐標和亮度的坐標存儲器； 從所述坐標存儲器的數據中選出從同一區域以不同的條件拍攝的幀，使用亮度比來算 出推定距離信息的距離算出部。
18. -種距離計算方法，其是基于權利要求1?15中任一項所述的運動傳感器裝置進 行的距離計算方法，包括： 從攝像幀的數據中選擇性地選出光強度相對高的區域，并算出其坐標和光強度的極值 檢索步驟； 算出通過所述極值檢索步驟選出的亮度中的、從以不同的條件拍攝到的幀彼此中選出 的亮度之比的亮度比算出步驟； 使用通過所述亮度比算出步驟算出的亮度比和通過所述極值檢索步驟檢索到的坐標， 換算成距離的距離換算步驟。
19. 一種計算機程序，其使權利要求1?15中任一項所述的運動傳感器裝置動作，并使 所述運動傳感器裝置執行： 從攝像幀的數據中選擇性地選出光強度相對高的區域，并算出其坐標和光強度的極值 檢索步驟； 算出通過所述極值檢索步驟選出的亮度中的、從以不同的條件拍攝到的幀彼此中選出 的亮度之比的亮度比算出步驟； 使用通過所述亮度比算出步驟算出的亮度比和通過所述極值檢索步驟檢索到的坐標， 換算成距離的距離換算步驟。
【文檔編號】G01B11/00GK104395694SQ201480001650
【公開日】2015年3月4日 申請日期:2014年4月8日 優先權日:2013年4月26日
【發明者】渕上龍司, 手塚忠則 申請人:松下電器（美國）知識產權公司
專業數控銑床產品供應商
20年生產經驗，實力工廠，精工品質，質量有保障
