傾斜攝影測量的研究進展-甘肅工業職業技術學院

近期關注More+

傾斜攝影測量的研究進展

時間： 2018-01-11 10:58 點擊：

摘要： 傾斜攝影測量是近年測繪領域出現的一項影響重大的新技術，由于三維建模具有低成本、高保真的優點，因此傾斜攝影測量被廣泛應用于測繪、城市規劃和應急響應等眾多領域。通過對數據預處理、影像匹配、影像定向、密集匹配和表面模型構建5個關鍵技術的研究進展進行梳理，以期對傾斜攝影測量技術的研究與應用有所助益。

關鍵詞： 傾斜影像;影像匹配; 影像定向;光束法區域網平差; 密集匹配

1 傾斜攝影測量概述

1860 年， James Wallace Black 在美國波士頓上空獲得了世界上第一張傾斜影像. 1930 年美國地質調查局(USGS)和美國陸軍工程兵部隊(U. S. Army Corps of Engineers)開始使用Fairchild T-3A 五鏡頭傾斜相機開展制圖、監視和偵察工作. 20 世紀初至20 世紀末，傾斜攝影和傾斜影像主要用于軍事目的[1-2]. 隨著傾斜攝影平臺和傳感器硬件的精度和集成度不斷提高，攝影測量和三維計算機視覺領域涌現出許多新理論和新方法，使傾斜攝影測量技術逐漸走向實用。與常規航空攝影相比，傾斜攝影的優勢在于能夠獲得地物的立面影像，使影像解譯變得更簡單、更直觀. 目前，傾斜攝影測量技術已被廣泛用于測繪與城市三維建模、城市規劃與管理、智慧旅游和突發事件應急響應等眾多領域[3-5]。

傾斜攝影測量技術的核心硬件是傾斜航空攝影相機，目前市面常見的傾斜航空攝影相機包括SWDC-5、Leica RCD30 Oblique、UltraCam Osprey 和A3 Edge 等，如圖1 所示。

Maltese 十字(Maltese-cross)是一種典型的傾斜攝影系統相機安置方式，其安置示意圖如圖2 所示。由圖2 可以看出， Maltese 十字由一個垂直安置的相機和4 個45°傾斜安置的相機構成。攝影系統一次曝光獲得具有一定重疊度的5 張照片，大大增加了影像的獲取效率。

隨著無人機的廣泛使用，國內外陸續出現了一些適合無人機搭載的小型傾斜攝影系統. 文獻[6]對幾種常見的傾斜攝影系統的技術指標進行了比較分析，本文在此不作贅述.

2 關鍵技術

在獲取數據后，傾斜攝影測量通過對傾斜影像、POS 數據和地面控制點數據進行一系列的攝影測量處理以獲取測區的數字表面模型. 常見的傾斜攝影測量軟件系統包括ContextCapture、PhotoScan 和Pix4Dmapper. 傾斜攝影測量的具體技術流程如圖3 所示. 傾斜攝影測量的關鍵技術包括數據預處理、影像匹配、影像定向、密集匹配和表面模型構建5 個部分，下文分別對這5 個部分的研究內容和進展進行介紹.

2.1 數據預處理

在數據獲取階段，利用傾斜攝影系統獲取測區的傾斜影像，利用飛行平臺搭載的POS 系統獲取攝影系統的位置和姿態，在選定的坐標系下測量地面控制點的坐標. 攝影測量需要在三維直角坐標系下進行計算，因此需要將POS 數據變換到選定的測量坐標系下. 通過對航空影像進行增強處理可以使影像中地物的紋理細節更為突出，增強處理后的影像也可以改善三維模型的視覺效果.

2.2 影像匹配

影像匹配為影像定向提供同名點坐標觀測值，其精度很大程度上決定了攝影測量最終成果的精度，而影像匹配的速度是影響攝影測量效率的重要因素. 因此，精確且高效的影像匹配構成了傾斜攝影測量的重要研究內容.

常規航測僅采集下視影像，良好的飛行控制能夠保證較小的尺度、視角和轉角變化，因此同名點的點位可以預測. 從這些前提條件出發，早期的影像匹配方法在常規航測處理中能夠取得比較理想的匹配效果. 而傾斜影像的尺度、視角和轉角變化較大，利用傳統航測影像匹配方法難以實現影像的穩健匹配.

SIFT 算子可以從影像中提取大量尺度和旋轉不變的特征點，而特征點對仿射變換和光照變化具有良好的適應性[7]，因此被廣泛用于攝影測量和三維計算機視覺[8-10]. SIFT 算子能夠提取特征點的位置、尺度及特征點所在鄰域的特征描述. SIFT 特征描述以128 維向量表達，用于對特征點進行匹配. 特征描述向量的匹配可采用最近鄰搜索算法實現，也可使用Hash 算法實現.

基于最近鄰搜索的影像匹配結果通常存在誤匹配，將誤匹配同名點的坐標觀測值引入平差計算將引起空三精度的下降，甚至導致影像定向不收斂. 一對真實的同名點應嚴格滿足核線約束，利用少量同名點觀測值可以解算表達核線約束的基礎矩陣(fundamental matrix)[11]. 因此，在RANSAC 框架下[12]，利用核線約束可剔除大部分誤匹配的特征點，從而在很大程度上解決了影像的穩健匹配問題.

SIFT 算子并不具備仿射變換不變性，傾斜影像較大的視角變化使得基于SIFT 算子的影像匹配精度出現下降，因而出現了許多改進方法. PCA-SIFT 使用主成份分析(principal component analysis， PCA)法對鄰域梯度導數向量進行降維處理，并將降維結果作為鄰域特征描述[13]. 實驗結果顯示使用該方法所得鄰域特征描述具有更強的區分度，對仿射變換也具有更好的適應性[14]. Morel 和Yu[15]提出的ASIFT 算子具有仿射變換不變性，能夠提高傾斜影像的特征點匹配數量和精度. 也有研究利用POS 數據將傾斜影像重投影生成下視影像，再利用SIFT算子對重投影影像進行匹配[16].SIFT影響了許多特征點提取算子，包括GLOH、SURF、ORB 和BRIEF 等.

隨著多處理器并行特別是圖形處理單元(graphics processing unit， GPU)技術的不斷進步，對影像匹配進行并行化可以大大縮短匹配時間[17-18].

2.3 影像定向

影像定向的目的是解算整個測區全部影像的攝影位置和姿態，同時求解影像同名點的地面測量坐標. 帶附加參數的自檢校光束法區域網平差還可以解算內方位元素和相片畸變參數以補償系統誤差.

將自動匹配的同名像點作為觀測值參與平差的關鍵在于同名點的匹配精度. 研究顯示，大量準確的多余觀測將顯著提高空三的精度[19-20]. 在影像穩健匹配的基礎上，利用基于代數方程解的相對定向方法可以求解大視角變化下影像的相對位置和姿態[21]. 盡管利用核線約束條件可以剔除大部分誤匹配的特征點，但不能完全清除誤匹配. 在相對定向和自由網構建的過程中，基于重投影誤差、光束交會角和冗余度等約束條件可以進一步過濾不可靠的同名點，從而得到較精確的同名點觀測值.

傾斜攝影系統通常需要配備高精度的POS 系統以獲取影像的外方位元素. 精確的POS 數據可作為觀測值參與影像定向[22]. 盡管POS 數據的精度較以往已有了很大改進，但不依賴地面控制點的大比例尺航空攝影測量依然十分少見. 絕大部分研究工作仍將地面控制點坐標作為帶權觀測值參與平差，從而實現對攝影測量區域網結構的嚴密控制.

參與平差的觀測數據通常包括同名點的影像坐標、地面控制點坐標及其像點坐標以及利用POS 系統獲取的影像外方位元素值. 對大量參數進行整體優化需要依賴大規模光束法區域網平差[23]，而解算光束法區域網平差目前普遍采用Levenberg-Marquardt 算法. 光束法區域網平差的法方程系數矩陣具有稀疏性，利用舒爾補(Schur complement)矩陣可將整個法方程的求解分為相機參數的改正數求解和物方坐標的改正數求解，從而大大降低了計算復雜度. 此外，通過并行化處理也可以提高大規模光束法區域網平差的求解效率[24-26].

2.4 密集匹配

密集匹配是在影像定向的基礎上求解密集同名像點的過程. 在傾斜攝影引入攝影測量前，密集匹配主要用于計算測區的數字高程模型，通過逐像素匹配，能夠獲得與航測影像具有相同地面采樣距離(ground sample distance， GSD)的數字高程模型.隨著傾斜攝影引入攝影測量，密集匹配被應用于傾斜影像.通過對相鄰影像進行密集匹配可以獲得視差圖(disparity map)，利用視差圖可以計算像點的深度，進而獲得地物的三維點云.

按照匹配策略可以將密集匹配方法分為局部方法和全局方法. 局部匹配方法基于預先設定的匹配窗口搜索待匹配影像的局部區域，利用影像相關方法計算視差，這類匹配算法包括差異平方和(sum of squared differences， SSD)、歸一化交叉相關(normalized cross correlation， NCC)和差異絕對值和(sum of absolute differences， SAD)等方法. 局部匹配方法暗含了影像局部區域光滑的假設，然而由于匹配窗口不能保證與影像中線條的邊緣對齊，因此對對象表面不連續的邊界區域重建結果不佳. 有學者通過增加邊緣像素的權重來解決該問題[27-28]，但匹配窗口的選擇難以兼顧局部的精度、匹配成功率以及遍歷整個視差空間的巨大計算量，影響了局部匹配方法的計算效率和準確性[29].

全局匹配方法將立體匹配轉化為像素標記問題(pixel labeling problem). 從統計學習的角度可以將這類方法看作貝葉斯統計推斷，即在給定影像觀測和有關場景結構先驗假設的條件下推斷視差圖. 假設一個像素的標記僅與其近鄰像素有關，則像素標記問題就可利用馬爾可夫隨機場(markov random field， MRF)建模，并通過能量最小化解算[30]. 然而，基于MRF 的能量函數全局最小化是NP 難題.針對該問題，學者提出了基于圖割(graph cut)和置信度傳播(belief propagation)的近似化算法[31-32]. Hirschmüller[33]提出的半全局匹配(semi-global matching， SGM)算法是一種對全局MRF推斷的近似化，但較高的計算復雜度和較大的標記搜索空間導致全局匹配方法難以大規模擴展. 針對該問題，學者們提出了2 種改進策略，一種是將最大匹配度所對應的視差作為當前像素的視差，另一種是采用金字塔匹配策略以降低視差搜索范圍.

另一類近似化算法基于塊的匹配方法(patchbased matching method)，以影像定向后精確匹配的同名點及其鄰域作為種子塊，采用基于塊的近似度量方法和置信度傳播方法對種子塊進行擴展，最終獲得對象的三維表面結構[34-35].此外，傾斜影像呈現較大的視角和尺度變化，采用多尺度重建方法有助于改善對象表面細部的重建效果[36].

2.5 表面模型構建

傾斜影像經過密集匹配后可以得到測區地物的密集點云，基于點云數據可以建立測區內地物的真三維數字表面模型(digital surface model， DSM). 表面模型構建通常包括三角網構建和紋理映射. 經過學者們的多年研究，基于三維三角網的數字表面模型建模算法已經比較成熟. 其中，泊松表面重建(Poisson surface reconstruction)被廣泛應用于三維表面模型的構建[37].

三角網構建完成后，表面模型需要通過紋理映射建立彩色紋理圖像與三角網結構的對應關系. 經過影像定向后，影像與三維模型的相對幾何關系已經確定，將構成三角網的每個三角形投影至對應的影像上即可實現模型的紋理映射[38].

3 展望

近年來，傾斜攝影測量的相關理論與方法取得了巨大研究進展. 盡管如此，傾斜攝影測量仍處于發展階段，依然存在很多問題有待深入研究.

首先，在影像匹配方面，對于存在大面積水域或植被等紋理單一的影像，由于特征點的局部鄰域十分近似，導致鄰域特征描述區分度較小，引起難以檢測的匹配粗差. 此外，地物結構的對稱性和遮擋也可能引起誤匹配. 圖4 為一座電塔的多視角傾斜影像匹配結果，匹配所得同名點用綠色十字標記. 由圖4 可以看出，由于視線遮擋，部分同名點觀測值可能出現較大誤差[39]. 通過引入高精度POS 數據或相機間的相對定向參數作為輔助信息，為影像匹配附加約束條件，并采用更為穩健的匹配算法，有望進一步剔除影像匹配中的粗差^[41-42].

其次，參與傾斜影像定向的多種觀測值具有不同的測量精度，而同一類型觀測值的精度也可能不同，如下視和傾斜影像中同名點的觀測精度可能存在較大差異. 因此，如何合理選擇觀測數據，在光束法區域網平差中為不同類型、不同精度的觀測值合理定權，從而提高影像定向的精度值得進一步研究.

第三，由于缺乏紋理的影像區域缺少有效的同名點觀測，造成密集匹配方法難以獲得初始值，從而導致密集匹配失敗. 另一方面，盡管傾斜攝影能夠獲取建筑立面的紋理影像，但較大的觀測角度容易引起影像變形，導致模型的精度下降，造成三維模型的立面視覺效果不佳. 通過引入街景影像、車載/地面激光掃描數據等多源數據，利用在地面附近獲取的建筑立面影像和三維點云等觀測數據對傾斜攝影測量結果進行補充和完善，可以實現更為精確和逼真的三維重建.

第四，大范圍傾斜攝影測量需要對影像匹配、影像定向和密集匹配等關鍵環節進行并行化以提高處理效率. 而在硬件條件受限的情況下，可借助外存(out-of-core)處理技術或流式(streaming)處理技術應對大規模數據處理任務[43].

最后，利用傾斜攝影測量技術重建出的數字表面模型通常存儲為統一的三維三角網結構. 但現有三維建模和管理系統通常以建筑單體的形式存儲和管理建筑三維模型及其屬性數據，因此將傾斜攝影測量所得表面模型進行建筑單體化是生產部門迫切需要解決的問題. 從相關部門獲取測區大比例尺建筑底圖或從機載激光掃描點云中自動提取建筑輪廓線，并將這些數據或信息作為輔助可以實現傾斜攝影測量的建筑單體化.

以上問題的研究和解決將進一步推動傾斜攝影測量技術的廣泛應用.

參考文獻：

[1] RUPNIK E， NEX F， REMONDINO F. Automatic orientation of large　blocks of oblique images[J]. International Archives of Photogrammetry，Remote Sensing and Spatial Information Sciences， 2013， 40： 299-304.

[2] RUPNIK E， NEX F， REMONDINO F. Oblique multi-camera systemsorientation　and dense matching issues [J]. International Archives of　Photogrammetry， Remote Sensing and Spatial Information Sciences，2014， 40： 107-114.

[3] GERKE M， KERLE N. Automatic structural seismic damage assessment　with airborne oblique pictometry imagery [J]. Photogrammetric　Engineering & Remote Sensing， 2011， 77(9)： 885-898.

[4] GRENZDORFFER J， GURETZKI M， FRIEDLANDER I. Photogrammetric　image acquisition and image analysis of oblique imagery[J]. The　Photogrammetric Record， 2008， 23(124)： 372-386.

[5] 李德仁，肖雄武，郭丙軒，等. 傾斜影像自動空三及其在城市真三維模型重建中的應用[J]. 武漢大學學報：信息科學版， 2016， 41(6)： 711-721.(6)： 711-721(in Chinese).

[6] REMONDINO F， GERKE M. Oblique aerial imagery -a review [C].　Photogrammetric Week， Stuttgart， Germany， 2015， 75-83.

[7] LOWE G. Distinctive image features from scale-invariant keypoints[J].　International Journal of Computer Vision， 2004， 60(2)： 91-110.

[8] SUN Y， ZHAO L， HUANG S， et al. L2-sift： Sift feature extraction and　matching for large images in large-scale aerial photogrammetry[J]. ISPRS　Journal of Photogrammetry and Remote Sensing， 2014， 91， 1-16.

[9] 柯濤，張永軍. Sift 特征算子在低空遙感影像全自動匹配中的應用[J].測繪科學， 2009， 4： 23-26.

[10] 李曉明，鄭鏈，胡占義. 基于Sift 特征的遙感影像自動配準[J]. 遙感學報， 2006， 10(6)： 885-892.

[11] ZHANG Z. Determining the epipolar geometry and its uncertainty： A　review[J]. International Journal of Computer Vision， 1998， 27(2)：161-195.

[12] FISCHLER A， BOLLES C. Random sample consensus： A paradigm for　model fitting with applications to image analysis and automated car -tography[J]. Communications of the ACM， 1981， 24(6)： 381-395.

[13] YAN K， SUKTHANKAR R. Pca-sift： A more distinctive representation for local image descriptors[C]. Computer Society Conference on Computer　Vision and Pattern Recognition， 2004， 2， 506-513.

[14] 袁修孝，陳時雨，張勇.利用pca-sift進行特殊紋理航攝影像匹配[J].武漢大學學報：信息科學版， 2016， 41(9)： 1137-1144.

[15] MOREL M， YU G. ASIFT： A new framework for fully affine invariant　image comparison[J]. SIAM Journal on Imaging Sciences， 2009， 2(2)：438-469.

[16] 閆利，費亮，葉志云，等.大范圍傾斜多視影像連接點自動提取的區域網平差法[J].測繪學報， 2016， 45(3)： 310-317+338.

[17] 肖漢，張祖勛. 基于gpgpu 的并行影像匹配算法[J]. 測繪學報，2010， 39(1)： 46-51.

[18] WU C. Siftgpu ： A gpu implementation of scale invariant feature　transform(sift). 2011

[19] RUMPLER M， IRSCHARA A， BISCHOF H. Multi - view stereo ：Redundancy benefits for 3d reconstruction [C]. 35th Workshop of the　Austrian Association for Pattern Recognition， 2011， 4， 1-8.梁玉斌，等：傾斜攝影測量的研究進展 · 5 ·天津師范大學學報(自然科學版) 2017 年9 月

[20] 張永軍，張勇. 大重疊度影像的相對定向與前方交會精度分析[J].武漢大學學報：信息科學版， 2005， 30(2)： 126-130.

[21] STEWENIUS H， ENGELS C， NIST魪R D. Recent developments on　direct relative orientation[J]. Isprs Journal of Photogrammetry and Remote　Sensing， 2006， 60(4)： 284-294.

[22] 袁修孝. POS 輔助光束法區域網平差[J]. 測繪學報， 2008， 37(3)：342-348.

[23] TRIGGS B， MCLAUCHLAN F， HARTLEY I， et al. W. Bundle　adjustment—a modern synthesis[C]//International Workshop on Vision　Algorithms， Corfu， Greece， 1999， 298-372.

[24] AGARWAL S， FURUKAWA Y， SNAVELY N， et al. Building rome in　a day[J]. Communications of the ACM， 2011， 54(10)： 105-112.

[25] WU C. Towards linear -time incremental structure from motion [C].InternationalConferenceon3DVision-3DV，WA，USA，2013，127-134.

[26] 張祖勛，柯濤，郭大海.數字攝影測量網格在汶川大地震中的快速響應[J].中國工程科學， 2009， 11(6)： 54-62+89-93.

[27] HOSNI A， RHEMANN C， BLEYER M， et al. Fast cost -volume　filtering for visual correspondence and beyond [J]. Transactions on　Pattern Analysis and Machine Intelligence， 2013， 35(2)： 504-511.

[28] YOON J， KWEON S. Adaptive support-weight approach for correspondence　search[J]. Transactions on Pattern Analysis and Machine　Intelligence， 2006， 28(4)： 650-656.

[29] SINHA N， SCHARSTEIN D， SZELISKI R. Efficient high-resolution　stereo matching using local plane sweeps[C]. Conference on Computer　Vision and Pattern Recognition， 2014， 1582-1589.

[30] BOYKOV Y， VEKSLER O， ZABIH R. Markov random fields with　efficient approximations [C]. Computer Society Conference on Computer　Vision and Pattern Recognition， 1998， 648-655.

[31] BOYKOV Y， VEKSLER O， ZABIH R. Fast approximate energy minimization　via graph cuts[J]. Transactions on Pattern Analysis and Machine　Intelligence， 2001， 23(11)： 1222-1239.

[32] JIAN S， NAN-NING Z， HEUNG-YEUNG S. Stereo matching using　belief propagation[J]. Transactions on Pattern Analysis and Machine　Intelligence， 2003， 25(7)： 787-800.

[33] HIRSCHM譈LLER H. Stereo processing by semiglobal matching and　mutual information[J]. Transactions on Pattern Analysis and Machine　Intelligence， 2008， 30(2)： 328-341.

[34] BLEYER M， RHEMANN C， ROTHER C. Patchmatch stereo-stereo　matching with slanted support windows[C]. BMVC， 2011， 11： 1-11.

[35] FURUKAWA Y， PONCE J. Accurate， dense， and robust multiview　stereopsis[J]. Transactions on Pattern Analysis and Machine Intelligence，2010， 32(8)： 1362-1376.

[36] FUHRMANN S， GOESELE M. Fusion of depth maps with multiple scales[C]. SIGGRAPH Asia， 2011， 1-8.

[37] KAZHDAN M， BOLITHO M， HOPPE H. Poisson surface reconstruction[C]. The Fourth Eurographics Symposium on Geometry Processing，2006， 7： 1-10.

[38] 李媛，胡翰，謝金華.局部區域表面一致性約束的三維模型紋理映射方法[J].武漢大學學報：信息科學版， 2016， 41(12)： 1-6.

[39] GERKE M， NEX F， REMONDINO F， et al. Orientation of oblique　airborne image sets -experiences from the isprs/eurosdr benchmark on　multi-platform photogrammetry[J]. International Archives of Photogrammetry，　Remote Sensing and Spatial Information Sciences， 2016， XLIB1，185-191.

[40] HU H， DING Y， ZHU Q， et al. Stable least-squares matching for　oblique images using bound constrained optimization and a robust loss　function[J]. Isprs Journal of Photogrammetry and Remote Sensing ，2016， 118， 53-67.

[41] 袁修孝，陳時雨. 傾斜航攝影像匹配方法探究[J]. 測繪地理信息，2015， 40(6)： 1-6.

[42] 袁修孝，明洋. POS輔助航帶間航攝影像的自動轉點[J]. 測繪學報，2010， 39(2)： 156-161.

[43] ISENBURG M， LIU Y， SHEWCHUK J， et al. Streaming computation　of delaunay triangulations[C]. ACM Transactions on Graphics， 2006，25(3)： 1049-1056.

上一篇：我國首顆X射線天文衛星“慧眼”投入使用
下一篇：測繪學院一項目獲省測繪科技進步三等獎

[關閉]