用于提供導航信息的方法、移動終端和服務器的制造方法
【專利摘要】提供了一種用于提供導航信息的方法、移動終端和服務器。所述方法包括：產生由相機捕捉的預覽圖像和移動終端的位置信息；將預覽圖像和位置信息發送到服務器；從服務器接收基于預覽圖像和位置信息產生的路線指引信息；向用戶顯示路線指引信息。
【專利說明】用于提供導航信息的方法、移動終端和服務器
【技術領域】
[0001]本發明涉及一種用于提供導航信息的方法。更具體地說，本發明涉及一種用于通過使用增強現實(AR)技術向移動終端提供導航信息的方法。
【背景技術】
[0002]導航接收器接收導航網絡內的由導航發送器(例如，衛星，也被已知為航空器)發送的信號。之后，處理接收到的信號以顯示位置。導航接收器可以是專用裝置，或可以是包括導航功能和其他功能的裝置，諸如用于蜂窩無線系統的移動手持終端。
[0003]全球定位系統(GPS)和全球導航衛星系統(GL0NASS或Glonass)是通常可提供位置信息以及速度和時間信息的衛星導航系統的示例。其他衛星導航系統包括歐洲伽利略系統、印度區域導航衛星系統(IRNSS)和北斗(Compass&Beidou)衛星導航系統。一般來說，這些系統被稱為全球導航衛星系統(GNSS)。
[0004]此外，已知非衛星導航系統。偽衛星導航系統是衛星導航系統的路基替代。還已知其他地面導航系統(諸如遠距離導航(LORAN))以及蜂窩無線網絡接入節點被用作導航發送器的系統和W1-Fi網絡接入點被用作導航發送器的其他系統。
[0005]AR導航暗示幫助用戶容易并自然地識別用戶希望行駛的路線，以識別興趣點(POI)并產生匹配由相機捕捉到的預覽圖像或街景圖像的路線。
[0006]然而，當將現有技術的導航方法不作任何改變地應用于AR導航時，路線指引對象不會準確地匹配預覽圖像，而是好像漂浮在道路上。因此，產生的問題是:可能會出現在復雜的鬧市區中將用戶指引到不正確的道路上的情況。
[0007]因此，需要一種用于在移動終端上向用戶提供穩定且有效的AR導航的設備和方法。例如，當在移動終端上向用戶提供AR導航時，需要一種使用與街景混合的相機預覽的系統。
[0008]以上信息僅被呈現為用于幫助對本公開的理解的背景知識。對于以上信息中的任何是否可被應用為針對本發明的現有技術，沒有做出決定，也沒有做出論斷。
【發明內容】
[0009]本發明的多個方面在于至少解決上述問題和/或缺點并至少提供下述優點。因此，本發明的一方面在于向用戶提供一種使用與街景混合的相機預覽的AR導航系統，從而使用戶能夠在移動終端上體驗穩定且有效的AR導航的使用。
[0010]根據本發明的一方面，提供了一種用于向移動終端提供導航信息的方法。所述方法包括:產生由相機捕捉的預覽圖像和移動終端的位置信息；將預覽圖像和位置信息發送到服務器；從服務器接收基于預覽圖像和位置信息產生的路線指引信息；向用戶顯示路線指引信息。
[0011]根據本發明的另一方面，提供了一種通過服務器提供導航信息的方法。所述方法包括:從移動終端接收由移動終端捕捉的預覽圖像和移動終端的位置信息；將預覽圖像與預存儲的街景圖像進行匹配；基于與匹配的街景圖像相關的位置和方向信息產生路線指引信息；將路線指引信息發送到移動終端。
[0012]根據本發明的另一方面，提供了一種用于導航的移動終端。所述移動終端包括:相機，捕捉預覽圖像；傳感器單元，產生移動終端的位置信息；通信單元，將預覽圖像和位置信息發送到服務器；控制器，控制通信單元從服務器接收基于預覽圖像和位置信息產生的路線指引信息，并控制顯示單元向用戶顯示路線指引信息。
[0013]根據本發明的另一方面，提供了一種向移動終端提供導航信息的服務器。所述服務器包括:通信單元，從移動終端接收由移動終端捕捉的預覽圖像和移動終端的位置信息；存儲器，存儲街景圖像；控制器，從街景圖像中搜索與預覽圖像匹配的街景圖像，基于與匹配的街景圖像相關的位置和方向信息產生路線指引信息，并控制通信單元將路線指引信息發送到移動終端。
[0014]從下面結合附圖公開本發明示例性實施例的詳細描述中，本發明的其它方面、優點和顯著特點將對于本領域技術人員而言變得清楚。
【專利附圖】
【附圖說明】
[0015]從下面結合附圖的描述，本發明的特定示例性實施例的以上和其他方面、特點和優點將更加清楚，其中:
[0016]圖1是示出根據本發明示例性實施例的導航系統的配置的框圖；
[0017]圖2示意地示出根據本發明示例性實施例的移動終端的外觀配置；
[0018]圖3是示出根據本發明第一示例性實施例的指引路線的方法的信號流示圖；
[0019]圖4是用于解釋根據本發明第一示例性實施例的指引路線的方法的示圖；
[0020]圖5是示出根據本發明第二示例性實施例的指引路線的方法的信號流示圖；
[0021]圖6是用于解釋根據本發明第二示例性實施例的指引路線的方法的示圖；
[0022]圖7是示出根據本發明第三示例性實施例的指引路線的方法的信號流示圖；
[0023]圖8是示出根據本發明第四示例性實施例的指引路線的方法的信號流示圖。
[0024]貫穿附圖，相同標號將被理解為表示相同部件、組件和結構。
【具體實施方式】
[0025]提供以下參照附圖的描述以幫助對由權利要求及其等同物限定的本發明的示例性實施例的全面理解。描述包括用于幫助該理解的各種特定細節，但是這些細節應被視為僅僅是示例性的。因此，本領域的普通技術人員將認識到，在不脫離本發明的范圍和精神的情況下，可以對這里描述的實施例進行各種改變和修改。此外，為了清楚和簡潔，可省略對公知功能和結構的描述。
[0026]在下面的描述和權利要求中使用的術語和詞語不限于字面意思，而是僅被發明人使用以實現對本發明的清晰和一致的理解。因此，本領域的技術人員應清楚，以下對本發明的示例性實施例的描述僅被提供用于說明目的，而不是為了限制由權利要求及其等同物限定的本發明的目的。
[0027]應理解，除非上下文另外清楚地指出，否則單數形式包括復數參考。因此，例如，對“組件表面”的參考包括對一個或多個這樣的表面的參考。[0028]雖然在此可使用包括順序編號(諸如第一和第二)的術語來描述各個元件，但是這些元件不應被這些術語限制。僅使用這些術語來區分一個元件與其他元件。例如，在不脫離本發明的權利的范圍的情況下，第一元件可被命名為第二元件，類似地，第二元件可被命名為第一元件。如這里所使用，術語“和/或”包括一個或多個相關列出的項目的任何和所
有組合。
[0029]將理解，當元件被稱為被“連接”或“連結”到另一元件時，該元件可被直接連接或連結到該另一元件，或者可存在中間元件。相反，將理解，當元件被稱為被“直接連接”或“直接連結”到另一元件時，不存在中間元件。
[0030]在此使用的術語僅被用于描述本發明的特定示例性實施例，而不意圖限制本發明。如這里所使用，除非上下文另外清楚地指出，否則單數形式意圖還包括復數形式。在本說明書中，應理解，術語“包含”、“包括”或“具有”意圖指示在說明書中公開的特征、數量、步驟、操作、元件、部件、或其組合的存在，并不意圖排除可以存在或可以添加一個或多個其他特征、數量、步驟、操作、元件、部件、或其組合的可能性。
[0031]除非另外定義，否則在此使用的所有術語(包括技術術語和科學術語)具有與本發明所屬領域的普通技術人員通常理解的相同的意思。諸如在通用字典中定義的術語應被解釋為具有與其在現有技術的上下文中的意思相一致的意思，并且除非在此明確定義，否則將不被解釋為理想化或過于正式的意義。
[0032]圖1是示出根據本發明示例性實施例的導航系統的配置的框圖。
[0033]參照圖1，導航系統包括移動終端100和服務器200。
[0034]移動終端100包括用戶接口 110、第一存儲器120、傳感器單元130、相機140、第一通信單元150、顯示單元160和第一控制器170。
[0035]移動終端100可與外部裝置通信，或可執行與外部裝置相關聯的任務。例如，移動終端100可通過網絡將由相機140捕捉的圖像和/或由傳感器單元130檢測到的位置信息發送到服務器200。網絡不限于該配置，因此可包括局域網(LAN)、無線局域網(WLAN)、廣域網(WAN)、互聯網、小區域網絡(SAN)等中的至少一個。
[0036]移動終端100可以是具有導航功能的光學裝置，并且可以是智能電話、移動電話、導航裝置、視頻游戲平臺、顯示裝置、用于車輛的頭部單元(head unit)、膝上型計算機、平板個人計算機(PC)、個人媒體播放器(PMP )、個人數字助理(PDA)、手持電子書、MP3播放器、數字相機、便攜式游戲平臺等。移動終端100可被實現為具有無線通信功能的便攜式通信終端。
[0037]作為用于接收用戶輸入或向用戶通知信息的裝置的用戶接口 110可包括多個按鈕、麥克風、揚聲器、振動電機、連接器、鍵區等。用戶接口 110的示例不限于該配置。因此，可向用戶接口 110提供光標控制(諸如鼠標、跟蹤球、操縱桿或光標方向鍵)，用于向第一控制器170發送信息/從第一控制器170接收信息，并用于控制顯示單元160的屏幕上的光標的移動。
[0038]可在移動終端100的前表面、側表面或后表面上形成按鈕，按鈕可包括電源/鎖定按鈕(未示出)、音量按鈕(未示出)、菜單按鈕、主屏按鈕、返回按鈕、搜索按鈕等。
[0039]根據第一控制器170的控制，麥克風接收語音或聲音作為輸入，并產生電信號。
[0040]根據第一控制器170的控制,揚聲器可將與各種信號(例如,無線信號、廣播信號、數字音頻文件、數字運動圖像文件和拍攝)對應的聲音輸出到移動終端100的外部。揚聲器可輸出與移動終端100執行的功能對應的聲音。可將一個揚聲器或多個揚聲器布置在移動終端100的合適位置或多個合適位置。
[0041]根據第一控制器170的控制，振動電機可將電信號轉換為機械振動。例如，當振動模式下的移動終端100從另一裝置(未示出)接收到語音呼叫時，移動終端100的振動電機操作。可在移動終端100中安裝一個振動電機或多個振動電機。振動電機可響應于觸摸觸摸屏的用戶的觸摸動作以及在觸摸屏上的觸摸的連續移動而操作。
[0042]連接器可用作用于將移動終端100連接到服務器、外部裝置或電源(未示出)的接口。根據第一控制器170的控制，通過連接到連接器的有線電纜，可將存儲在移動終端100的第一存儲器120中的數據發送到外部裝置或者可從外部裝置接收數據。通過連接到連接器的有線電纜，可通過電源供電或可對電池充電。
[0043]鍵區可從用戶接收鍵輸入以控制移動終端100。鍵區包括安裝在移動終端100上的物理鍵區或在顯示單元(例如，觸摸屏)上顯示的虛擬鍵區。
[0044]傳感器單元130包括用于檢測移動終端100的狀態(例如，位置、方位、方向、移動等)的至少一個傳感器。例如，傳感器單元130可包括用于檢測用戶是否接近移動終端100的接近傳感器、用于檢測移動終端100的運動(例如，移動終端100的旋轉、加速、減速、振動、方向、方位等)的運動/方位/方向傳感器。此外，運動/方位/方向傳感器可包括加速傳感器、重力傳感器、地磁傳感器、陀螺儀傳感器、震動傳感器、全球定位系統(GPS)傳感器、指南針傳感器等。傳感器單元130可檢測移動終端100的狀態，可產生與檢測對應的信號，并可將產生的信號發送到第一控制器170。例如，GPS傳感器從地球軌道中的多個GPS衛星(未示出)中的每個接收無線電波，并可通過使用從每個GPS衛星(未示出)到移動終端100的到達時間(TOA)來計算移動終端100的位置。指南針傳感器計算移動終端100的姿態(attitude)、方位或方向。
[0045]提供第一通信單元150以與服務器或外部裝置直接連接，或經由網絡與服務器或外部裝置連接。第一通信單元150可以是有線或無線通信單元。第一通信單元150有線地或無線地發送來自第一控制器170、第一存儲器120、相機140等的數據。另一方面，第一通信單元150通過線纜從外部通信線接收數據，或者無線地接收在空中傳輸的數據，并將接收的數據傳送到第一控制器170，或者將接收的數據存儲在第一存儲器120中。
[0046]根據移動終端100的性能，第一通信單元150可包括移動通信模塊、無線LAN模塊和短距離通信模塊中的至少一個。第一通信單元150不限于該配置。因此，第一通信單元150的示例可包括集成服務數字網絡(ISDN)卡、調制解調器、LAN卡、紅外端口、藍牙端口、Zigbee端口、無線端口等。
[0047]根據第一控制器170的控制，移動通信模塊允許移動終端100通過使用至少一根天線(未示出)通過移動通信連接到外部裝置。移動通信模塊與具有輸入到移動終端100中的電話號碼或網址的移動電話(未示出)、智能電話(未示出)、平板PC或另一裝置(未示出)之間發送和接收用于交換數據或用于單向發送或接收數據的無線信號，諸如語音呼叫、視頻呼叫、短消息服務(SMS)或多媒體消息服務(MMS)。
[0048]根據第一控制器170的控制，無線LAN模塊可在安裝了無線接入點(AP)(未示出)的地方連接到互聯網。無線LAN模塊支持電氣與電子工程師協會(IEEE)的無線局域網(LAN)標準(IEEE802.llx)。根據第一控制器170的控制，短距離通信模塊使移動終端100能夠與成像裝置(未示出)執行短距離無線通信。短距離通信方案可包括藍牙、紅外數據協會(IrDA)等。
[0049]相機140可包括透鏡系統、驅動單元和圖像傳感器。相機140還可包括閃光燈。相機140將通過透鏡系統輸入(或捕捉)的光信號轉換為電圖像信號或圖像數據，并輸出電圖像信號或圖像數據。用戶可通過相機140捕捉運動圖像或靜止圖像。換言之，相機140形成對象的光圖像，并將形成的光圖像檢測為電信號。
[0050]透鏡系統通過使從外部入射的光會聚來形成對象的圖像。透鏡系統包括至少一個透鏡，并且透鏡可以是凸透鏡、非球面透鏡等。透鏡系統相對于穿過透鏡系統的中心的光軸具有對稱性，并且光軸被定義為中軸。圖像傳感器將由通過透鏡系統入射的外部光形成的光圖像檢測為電圖像信號。
[0051]圖像傳感器包括布置在MXN矩陣的結構中的多個像素，像素可包括光電二極管和至少一個晶體管。像素累積由入射光產生的電荷(即，曝光處理)，根據累積的電荷的電壓表示入射光的照度(即，用于輸出圖像數據的處理)。在處理靜止圖像或包括在運動圖像文件中的一個圖像的情況下，由從像素輸出的一組電壓(即，像素值)形成從圖像傳感器輸出的圖像數據，圖像數據表示一個圖像(即，靜止圖像)。此外，圖像包括MXN個像素。圖像傳感器可以是電荷耦合器件(CXD)圖像傳感器、互補金屬氧化物半導體(CMOS)圖像傳感器
坐寸ο
[0052]驅動單元根據第一控制器170的控制驅動圖像傳感器。根據從第一控制器170接收到的控制信號，驅動單元曝光圖像傳感器的所有像素或僅曝光所有像素中的興趣區域，并使得從像素輸出的圖像數據輸出到第一控制器170。
[0053]第一控制器170逐幀處理從相機單元140接收到的圖像或存儲在第一存儲器120中的圖像，并輸出被轉換為滿足顯示單元160的屏幕的特征(例如，尺寸、圖像質量、分辨率等)的圖像中貞。
[0054]顯示單元160在其屏幕上顯示從第一控制器170輸入的圖像。顯示單元160可通過液晶顯示器(IXD)等來實現。顯示單元160可被配置為觸摸屏。觸摸屏根據第一控制器170的控制顯示圖像。當用戶輸入裝置(例如，手指或觸控筆)觸摸觸摸屏的表面時，觸摸屏根據第一控制器170的控制產生鍵觸摸中斷，并將包括輸入坐標和輸入狀態的用戶輸入信息輸出到第一控制器170。
[0055]觸摸屏可向用戶提供與各種服務(例如，電話呼叫、數據傳輸、廣播和靜止圖像/運動圖像的捕捉)相應的圖形用戶界面。觸摸屏可將與輸入到圖形用戶界面的至少一個觸摸相應的用戶輸入信息發送到第一控制器170。觸摸屏可通過用戶的肢體(例如，包括拇指的手指)或用于實現觸摸的輸入裝置(例如，觸控筆)接收至少一個觸摸來作為輸入。此外，觸摸屏可接收針對至少一個觸摸的一個觸摸的連續移動來作為輸入。觸摸屏可將與輸入觸摸的連續移動相應的用戶輸入信息發送到第一控制器170。
[0056]根據本發明的示例性實施例，觸摸不限于在觸摸屏上的用戶的肢體或用于實現觸摸的輸入裝置的觸摸，而可包括非接觸觸摸(例如，用戶的肢體或用于實現觸摸的輸入裝置與觸摸屏之間的可檢測距離小于或等于預定義的距離，諸如，1mm)。觸摸屏可采用觸摸屏技術，諸如電阻技術、電容技術、紅外技術、聲波技術等。[0057]第一存儲器120可存儲:用于各種功能(諸如導航功能、視頻呼叫功能和游戲功能)的應用；與圖像、用戶信息、文檔、指紋信息/數據、以及將指紋映射到用于提供與應用相關的圖形用戶界面(GUI)的功能的表相關的數據庫；背景圖像(例如，菜單屏幕圖像和待機屏幕圖像)或用于驅動移動終端100的操作程序；由相機捕捉的圖像等。第一存儲器120是可由機器(例如，計算機)讀取的介質或機器可讀介質。術語“機器可讀介質”可被定義為向機器提供數據以使機器能夠執行特定功能的介質。機器可讀介質可以是存儲介質。第一存儲器120可包括非易失性介質和易失性介質。所有這些介質必須是可由物理設備檢測的類型，其中，所述物理設備使由介質傳送的指令被讀取到機器中。第一存儲器120可以是非暫時性計算機可讀存儲介質。
[0058]機器可讀介質不限于該配置。因此，機器可讀介質包括軟盤、柔性盤、硬盤、磁帶、致密只讀存儲器(⑶-ROM)、光盤、穿孔卡、紙制磁帶、隨機存取存儲器(RAM)、可編程只讀存儲器(PROM)、可擦除PROM (EPROM)、閃速EPROM等中的至少一個。
[0059]第一控制器170根據用戶輸入信息執行應用，應用執行根據用戶輸入信息的程序操作。在這種情況下，用戶輸入包括通過鍵區、觸摸屏等的輸入和/或基于相機的輸入。第一控制器170可包括用于信息交換的總線和連接到總線以處理信息的處理器。第一控制器170還可包括連接到總線以存儲處理器所需的信息的隨機存取存儲器(RAM)。RAM可被用于存儲處理器所需的臨時信息。移動終端100還可包括連接到總線以存儲處理器所需的靜態信息的ROM。作為中央處理單元(CPU)的第一控制器170控制移動終端100的整體操作，并用于執行根據本發明示例性實施例的指弓I路線的方法。
[0060]圖2示意地示出根據本發明示例性實施例的移動終端的外觀配置。
[0061]參照圖2，移動終端100包括布置在移動終端100的前表面上的顯示單元160、布置在顯示單元160的上部或布置在前表面的上部的揚聲器111和相機140、布置在顯示單元160的下部的主屏按鈕114。音量按鈕112可被布置在移動終端100的一個側表面上，電源按鈕113可被布置在移動終端100的另一個側表面上。
[0062]移動終端100的第一存儲器120存儲導航應用162和語音識別應用163。移動終端100在顯示單元160的屏幕161上以可執行圖標的形式顯示應用(例如，導航應用、備忘錄應用等)，諸如導航應用162和語音識別應用163。當用戶根據觸摸命令或語音命令執行導航應用162時，移動終端100與服務器200通信，并且在預覽模式的情況下操作相機140。
[0063]移動終端100的第一控制器170包括:視圖選擇器180,用于選擇使用由相機140捕捉的圖像作為實時地圖的預覽模式和使用從服務器200接收到的街景圖像作為地圖的街景模式中的一個模式。此外，移動終端100的第一控制器170包括:虛擬對象合成器190，用于在預覽圖像或街景圖像上顯示路線指引信息。
[0064]服務器200包括第二通信單元210、第二存儲器220和第二控制器240。
[0065]第二通信單元210與移動終端100執行有線或無線通信。
[0066]第二存儲器200包括街景全景數據庫(在下文稱為數據庫)230，數據庫230包括多個不同的位置和映射的街景圖像。數據庫230是地圖數據庫，并存儲通過使用由相機捕捉的城市或街道的實際圖像而產生的三維(3D)實際圖像地圖。術語“3D實際圖像地圖”表示通過在使用車輛或飛機捕捉實際街道之后使用捕捉的實際圖像來實現的3D地圖。在3D實際圖像地圖的情況下，通過安裝在車輛上的立體相機捕捉城市或街道，因此不僅可獲得包括在捕捉的圖像中的每個對象的三維坐標(例如，X軸、y軸和Z軸坐標)，還可獲得與用于捕捉城市或街道的立體相機和每個對象之間的距離相應的深度信息。另一方面，可通過使用飛機捕捉寬范圍的多個二維(2D)圖像、通過提取捕捉的圖像中的兩個相鄰2D圖像重疊的區域中的深度信息、并通過3D映射執行3D建模來實現3D實際圖像地圖。此外，包括在3D實際圖像地圖中的每個對象具有多條3D信息和多條深度信息。例如，表示每個對象的多個像素中的每個像素可具有3D信息和深度信息。因此，3D實際圖像地圖不僅可用于區分特定建筑物的位置，還可用于區分特定建筑物的輪廓(諸如特定建筑物的前表面、后表面和側表面)與其他建筑物的輪廓。此外，3D實際圖像地圖可用于區分特定建筑物的樓層。相反，在現有的2D地圖中，僅使用GPS信息，因此現有2D地圖僅提供關于特定建筑物的位置信息。在這方面，現有2D地圖與3D實際圖像地圖的不同在于，現有2D地圖不能具體地區分特定建筑物的前表面和后表面，或者現有2D地圖不能具體地區分建筑物的樓層。
[0067]第二控制器240包括位置測量單元250。位置測量單元250將從移動終端100接收到的預覽圖像與存儲在數據庫230中的每個街景圖像進行匹配，并產生與匹配的街景圖像相應的路線指引信息。換言之，第二控制器240從存儲在數據庫230中的街景圖像中搜索與預覽圖像匹配的街景圖像。此時，位置測量單元250可通過使用從移動終端100接收到的位置信息提高匹配速度和精度。數據庫230存儲與每個街景圖像相應的包括位置、姿態(或方位、或方向)等的街景信息以及街景圖像。
[0068]第二存儲器220可存儲包括使移動終端100執行用于指引路線的預設方法的指令的程序、程序的更新信息等。第二控制器240可執行用于自動地或根據移動終端100的請求將相關程序發送到移動終端100的控制操作。
[0069]圖3是示出根據本發明第一示例性實施例的指引路線的方法的信號流示圖。
[0070]參照圖3，本發明的第一示例性實施例描述導航應用在預覽模式下操作的示例。
[0071]在步驟310，移動終端100的第一控制器170通過使用相機140產生預覽信息(例如，預覽圖像)，并通過使用傳感器單元130產生位置信息。位置信息可包括一些或所有傳感器值，諸如由GPS傳感器提供的GPS位置、由指南針傳感器提供的方位(或姿態、或方向)以及由陀螺儀傳感器提供的角速度。
[0072]在步驟320，第一控制器170通過使用第一通信單元150將預覽信息和位置信息發送到服務器200。
[0073]在步驟330，第二控制器240將從移動終端100接收到的預覽信息與存儲在數據庫230中的街景信息(例如，街景圖像)進行匹配，并產生與匹配的街景信息相應的路線指引信息。路線指引信息包括匹配的街景信息的部分(例如，位置和方位信息)、表示關于興趣點的信息的興趣點(POI)信息和路線信息(諸如距離、方向、位置等)中的一些或全部。
[0074]在步驟340，服務器200通過使用第二通信單元210將路線指引信息發送到移動終端100。例如，服務器200可通過使用消息與移動終端100通信。在步驟340，服務器200可在路線指引信息中包括指示匹配是否成功的標識符，并可將包括標識符的路線指引信息發送到移動終端100。
[0075]在步驟350，第一控制器170執行預覽指引模式。具體地說，第一控制器170基于路線指引信息產生至少一個虛擬對象，將虛擬對象與預覽圖像進行合成，并通過使用顯示單元160向用戶顯示與預覽圖像合成的虛擬對象。虛擬對象包括第一路線指引對象(諸如箭頭)、表示距離和位置的第二路線指引對象、POI對象等中的至少一個。此時，可二維地或三維地(即，透視地)顯示每個對象。第一控制器170可通過使用包括在路線指引信息中的位置和/或方位信息真實且準確地表現第一路線指引對象和POI對象。當僅通過使用由移動終端100測量的位置信息(GPS位置和方位)來產生第一路線指引對象時，第一路線指引對象不能準確地匹配預覽圖像，而是好像漂浮在道路上。因此，產生的問題是:可能會出現在復雜的鬧市區中將用戶指引到不正確的道路上的情況。路線指引信息包括在車輛在實際道路上行駛時捕捉的街景圖像的位置和方位信息。因此，當使用位置和方位信息時，第一路線指引對象可準確地匹配預覽圖像。類似地，POI對象可準確地匹配地面上的自然特征。第一控制器170可使虛擬對象透明或不透明地覆蓋預覽圖像。根據下面的層結構來描述該配置。第一控制器170可在預覽圖像層上布置3D層，所述3D層具有透明或不透明的虛擬對象與透明背景。
[0076]圖4是用于解釋根據本發明第一示例性實施例的指引路線的方法的示圖。
[0077]參照圖4，示出安裝在車輛前窗的移動終端。
[0078]如圖4中所示，移動終端100的顯示單元160顯示相機140當前正在捕捉的預覽圖像430，并還在預覽圖像430上顯示路線指引信息。路線指引信息被顯示為與預覽圖像430中的道路重疊的方式，并被顯示為與第一路線指引對象440和預覽圖像430的上部重疊的方式，其中，第一路線指引對象440顯示行進路線作為圖像。此外，路線指引信息包括預覽圖像430中的第二路線指引對象450和POI對象460，其中，第二路線指引對象450指示到交叉路口的距離以及在交叉路口處的行進方向，POI對象460表示諸如地面上的自然特征(諸如建筑物、道路、森林等)的層的數量和名字的詳細信息。根據本發明的示例性實施例，POI對象460可通過文字、圖像等來顯示。
[0079]如圖4中所示，通過車輛前窗410，示出包括森林和森林中的道路的周圍環境420，移動終端100的顯示單元160還相同地(或基本相同地)顯示被相機140的視角限制的周圍環境的部分。
[0080]圖5是示出根據本發明第二示例性實施例的指引路線的方法的信號流示圖。
[0081]參照圖5，本發明的第二示例性實施例描述導航應用在街景模式下操作的示例。
[0082]在步驟510，移動終端100的第一控制器170通過使用傳感器單元130產生位置信息。位置信息可包括一些或全部傳感器值(諸如由GPS傳感器提供的GPS位置、由指南針傳感器提供的方位(或姿態、或方向)、由陀螺儀傳感器提供的角速度等)。
[0083]在步驟520，第一控制器170將位置信息發送到服務器200。移動終端100可通過使用第一通信單元150發送位置信息。
[0084]在步驟530，第二控制器240將從移動終端100接收到的位置信息與存儲在數據庫230中的街景信息(例如，街景圖像)進行匹配，并產生與匹配的街景信息相應的路線指引信息。路線指引信息包括匹配的街景信息的部分(例如，街景圖像和方位信息)、表示關于POI的信息的POI信息和路線信息(諸如距離、方向、位置等)中的一些或全部。
[0085]在步驟540，服務器200通過使用第二通信單元210將路線指引信息發送到移動終端100。作為示例，服務器200可通過使用消息與移動終端100通信。在步驟540，服務器200可在消息中包括與路線指引信息一起的指示匹配是否成功的標識符，并可將包括與路線指引信息一起的標識符的消息發送到移動終端100。[0086]在步驟550，第一控制器170執行街景指引模式。具體地說，第一控制器170基于路線指引信息產生至少一個虛擬對象，將虛擬對象與街景圖像進行合成，并通過使用顯示單元160向用戶顯示與街景圖像合成的虛擬對象。虛擬對象包括第一路線指引對象(諸如箭頭)、表示距離和位置的第二路線指引對象、POI對象中的至少一個。此時，可二維地或三維地(即，透視地)顯示每個對象。第一控制器170可使虛擬對象透明或不透明地覆蓋街景圖像。根據下面的層結構來描述該配置。第一控制器170可在街景圖像層上布置3D層，所述3D層具有透明或不透明的虛擬對象與透明背景。
[0087]圖6是用于解釋根據本發明第二示例性實施例的指引路線的方法的示圖。
[0088]參照圖6，在執行導航應用之前，移動終端100的顯示單元160顯示預存儲在服務器200中的街景圖像630和在街景圖像630上顯示的路線指引信息兩者。路線指引信息被顯示為與街景圖像630中的道路重疊的方式，并被顯示為與第一路線指引對象640和街景圖像630的上部重疊的方式，其中，第一路線指引對象640顯示行進路線作為圖像。此外，路線指引信息包括預覽圖像中的第二路線指引對象650和POI對象660，其中，第二路線指弓I對象650指示到交叉路口的距離以及在交叉路口處的行進方向，POI對象660表示諸如地面上的自然特征(諸如建筑物、道路、森林等)的層的數量和名字的詳細信息。POI對象660可通過文字、圖像等來顯示。
[0089]當移動終端100被安裝在車輛前窗上時，在通過車輛前窗看到的周圍環境和由移動終端100的顯示單元160顯示的街景圖像630中，在地面上的固定的自然特征彼此一致，但是運動對象(諸如車輛和云朵)可能表現地彼此不同。
[0090]圖7是示出根據本發明第三示例性實施例的指引路線的方法的信號流示圖。
[0091]參照圖7，步驟710至步驟740與已經參照圖3描述的步驟310至步驟340相同，因此下面將不再描述。
[0092]在步驟750，移動終端100的第一控制器170分析從服務器200接收到的路線指引信息，并確定路線指引模式。例如，第一控制器170可識別包括在路線指引信息中的指示匹配是否成功的標識符，或可識別街景圖像是否包括在路線指引信息中。當匹配成功時或者當路線指引信息中不包括街景圖像時，第一控制器在步驟760執行預覽指引模式。當匹配失敗時或者當路線指引信息中包括街景圖像時，第一控制器在步驟770執行街景指引模式。當建立數據庫230的時間點與從移動終端100接收預覽圖像的時間點不同時，當背光捕捉預覽圖像時，當在夜間捕捉預覽圖像時，當多個障礙物阻擋相機140的視野時等，會發生匹配的失敗。
[0093]圖8是示出根據本發明第四示例性實施例的指引路線的方法的信號流示圖。
[0094]參照圖8，步驟810至步驟850與參照圖3描述的步驟310至步驟350相同，因此在下面將不再描述。
[0095]在步驟860，移動終端100的第一控制器170識別是否發生視圖改變事件。當用戶通過使用用戶接口或顯示單元輸入視圖改變命令時，或者當滿足存儲在第一存儲器120中的預設條件時，發生視圖改變事件。參照圖4，例如，用戶在預覽模式正被執行的狀態下在顯示單元160的屏幕上觸摸可選位置、預設區域或設置的按鈕，并允許移動終端100從預覽模式改變為街景模式。
[0096]由于預覽圖像是由相機140當前捕捉的圖像，因此不可能在預覽模式下預先搜索路線。在這種情況下，例如，用戶在顯示單元160的屏幕161上向下拖動他/她的手指，并允許移動終端100改變為啟用街景的預覽。此外，在人多擁擠的區域中，用戶可能期望沒有人的環境。在這種情況下，用戶允許移動終端改變為街景。
[0097]預設條件可包括:由傳感器單元130提供的衛星信號的強度小于預設閾值的情況，用戶進入衛星信號的盲區(諸如隧道和干擾區域)的情況等。
[0098]當沒有發生視圖改變事件時，第一控制器170在步驟850執行預覽指引模式。
[0099]當發生視圖改變事件時，第一控制器170在步驟870執行街景指引模式。
[0100]根據本發明的第四示例性實施例，已經描述了移動終端100從預覽指引模式改變為街景指引模式的示例的情況。相反，根據視圖改變事件的發生，移動終端100可從街景指引模式改變為預覽指引模式。
[0101]此外，根據本發明的第一至第四示例性實施例，已經描述了指引車輛的路線的示例的情況。然而，如上所述的用于指引路線的方法還可應用于用戶步行的情況等。
[0102]此外，根據本發明的第一至第四示例性實施例，已經描述了移動終端100從服務器200接收路線指引信息的示例的情況。然而，當移動終端100的第一存儲器120包括街景數據庫時，可由移動終端100產生路線指引信息。例如，參照圖3，移動終端100可執行由服務器200執行的步驟330。
[0103]根據本發明的第一至第四示例性實施例，與街景混合的相機預覽被用于AR導航，從而可穩定地處理基于預覽的定位失敗的情況。此外，向用戶提供預覽功能，或者提供AR體驗與在人多擁擠的區域中具有高得多的可視度的圖像一起，從而可根據用戶接口提供高的使用體驗。
[0104]將理解，可以以硬件、軟件或硬件和軟件的組合的形式來實現本發明的示例性實施例。不論軟件是否可被刪除或重寫，任何這樣的軟件可被存儲在易失性或非易失性存儲裝置(諸如只讀存儲器(ROM))中，或被存儲在存儲器(諸如隨機存取存儲器(RAM)、存儲器芯片、存儲器裝置或存儲器集成電路)中，或被存儲在可進行光記錄或磁記錄并同時可由機器(例如，計算機)讀取的存儲介質(諸如致密盤(CD )、數字多功能盤(DVD )、磁盤或磁帶)中。將理解，可包括在移動終端中的存儲器是適合存儲包括用于實現本發明示例性實施例的指令的程序的機器可讀存儲介質的示例。因此，本發明的示例性實施例包括這樣的程序以及存儲了該程序的非易失性機器可讀存儲介質，其中，所述程序包括用于實現在本說明書的任何權利要求中要求的設備或方法的代碼。此外，該程序可通過任何介質(諸如通過有線或無線連接傳輸的通信信號)被電傳送，并且本發明適當地包括該程序的等同物。
[0105]雖然已經參照本發明的特定示例性實施例示出和描述了本發明，但是本領域的技術人員將理解，在不脫離由權利要求及其等同物限定的本發明的范圍的情況下，可以對其進行形式和細節上的各種改變。
【權利要求】
1.一種用于向移動終端提供導航信息的方法，所述方法包括:產生由相機捕捉的預覽圖像和移動終端的位置信息；將預覽圖像和位置信息發送到服務器；從服務器接收基于預覽圖像和位置信息產生的路線指引信息；向用戶顯示路線指引信息。
2.如權利要求1所述的方法，其中，顯示路線指引信息的步驟包括:基于路線指引信息產生至少一個虛擬對象；將所述至少一個虛擬對象與預覽圖像進行合成；向用戶顯示與預覽圖像合成的所述至少一個虛擬對象。
3.如權利要求1所述的方法，其中，顯示路線指引信息的步驟包括:基于路線指引信息產生至少一個虛擬對象；將所述至少一個虛擬對象與街景圖像進行合成；向用戶顯示與街景圖像合成的所述至少一個虛擬對象。
4.如權利要求1所述的方法，還包括:分析從服務器接收的路線指引信息； 從多個路線指引模式中確定路線指引模式。
5.如權利要求4所述的方法，還包括:確定是否發生視圖改變事件；當發生視圖改變事件時，將確定的路線指引模式改變為另一路線指引模式。
6.一種通過服務器提供導航信息的方法，所述方法包括:從移動終端接收由移動終端捕捉的預覽圖像和移動終端的位置信息；將預覽圖像與預存儲的街景圖像進行匹配；基于與匹配的街景圖像相關的位置和方向信息產生路線指引信息；將路線指引信息發送到移動終端。
7.如權利要求6所述的方法，其中，路線指引信息包括:與匹配的街景圖像相關的位置和方向信息；與關于興趣點的信息對應的興趣點(POI)信息；路線信息。
8.如權利要求6所述的方法，其中，路線指引信息包括:位置和方向信息；街景圖像。
9.如權利要求6所述的方法，其中，路線指引信息還包括指示匹配是否成功的標識符。
10.如權利要求6所述的方法，還包括:當匹配失敗時，產生包括位置和方向信息的路線指引信息和街景圖像；將當匹配失敗時產生的路線指引信息發送到移動終端。
11.一種用于導航的移動終端，所述移動終端包括:相機，捕捉預覽圖像；傳感器單元，產生移動終端的位置信息；通信單元，將預覽圖像和位置信息發送到服務器；控制器，控制通信單元從服務器接收基于預覽圖像和位置信息產生的路線指引信息，并控制顯示單元向用戶顯示路線指引信息。
12.如權利要求11所述的移動終端，其中，控制器基于路線指引信息產生至少一個虛擬對象，將所述至少一個虛擬對象與預覽圖像進行合成，并向用戶顯示與預覽圖像合成的所述至少一個虛擬對象。
13.如權利要求11所述的移動終端，其中，控制器基于路線指引信息產生至少一個虛擬對象，將所述至少一個虛擬對象與街景圖像進行合成，并向用戶顯示與街景圖像合成的所述至少一個虛擬對象。
14.如權利要求11所述的移動終端，其中，控制器分析從服務器接收到的路線指引信息，并從多個路線指引模式中確定路線指引模式。
15.如權利要求14所述的移動終端，其中，控制器確定是否發生視圖改變事件，當發生視圖改變事件時，將確定的路線指引模式改變為另一路線指引模式。
16.一種向移動終端提供導航信息的服務器，所述服務器包括: 通信單元，從移動終端接收由移動終端捕捉的預覽圖像和移動終端的位置信息； 存儲器，存儲街景圖像； 控制器，從街景圖像中搜 索與預覽圖像匹配的街景圖像，基于與匹配的街景圖像相關的位置和方向信息產生路線指引信息，控制通信單元將路線指引信息發送到移動終端。
17.如權利要求16所述的服務器，其中，路線指引信息包括: 與匹配的街景圖像相關的位置和方向信息； 與關于興趣點的信息對應的興趣點(POI)信息； 路線信息。
18.如權利要求16所述的服務器，其中，當匹配失敗時，控制器產生包括位置和方向信息的路線指引信息和街景圖像，并控制通信單元將產生的路線指引信息發送到移動終端。
【文檔編號】G01C21/00GK103471580SQ201310223545
【公開日】2013年12月25日 申請日期:2013年6月6日 優先權日:2012年6月6日
【發明者】鄭址洪, 曹圭星, 白盛煥, 曹益煥, 孫泰煥 申請人:三星電子株式會社
專業數控銑床產品供應商
20年生產經驗，實力工廠，精工品質，質量有保障
