基於立體視覺的三維模型重建系統設計

        基於計算機視覺的三維重建技術，是指利用二幅或多幅二維影象來恢復空間物體表面的幾何資訊，其過程是成像過程的逆過程[1]。在三維重建發展的早期，受到計算處理能力的限制和理論研究水平的限制，真實物體的建模需要昂貴的專用裝置如視覺座標測量機等來實現，並且受灰度匹配原則的限制，單一攝像機所拍攝的兩幅影象不能有太大的平移和旋轉，攝像機的運動收到嚴格限制。本課題的研究目的就是解決該項問題，用最普通的數碼裝置（如手持家用數碼相機）從多視角獲取物體序列影象，經過普通計算單元（如PC機）的處理，確定多檢視的對應點與多檢視之間的幾何約束關係，恢復出特徵點在三維空間的座標與每幅影象對應的攝像機在三維空間中的座標，獲得三維模型。

      針對非特定環境下的三維模型重建受到背景干擾而無法達到精度的問題，提出了採用基於Grabcut的影象分割方法，該方法基於圖割理論能量最小化的原則，可以較好的分離前景背景，去除影象的冗餘資訊。且本文用三檢視進行空間點的重建，相對於傳統的只用兩幅圖的重建演演算法精度更高，穩定性更好。

1. 1. 影象預處理

影象的獲取是基於立體視覺三維模型重建的基礎，在通過影象感測器（如CCD攝像機）獲取影象後，考慮到光照條件、攝像機效能、視點差異等影響，我們需要對獲取的影象做進一步處理。

影象預處理的目的在於：提高影象的清晰度，改善影象的視覺效果，將影象轉換成一種更適合於人或機器分析處理的形式[2]。包括兩個部分：1）影象的平滑、濾波及增強2）背景與目標物體的分離。

在機器視覺的應用中，為了從影象中獲取世界座標系中三維物點與像點的對應關係，計算物體的位置、形狀等資訊，必須建立攝像機成像的幾何模型並獲得其引數。在大多數條件下這些引數必須通過實驗與計算才能得到,這個求解引數的過程就稱之為攝像機標定[3]。攝像機標定確定了攝像機內部幾何和光學特性(內部引數)，相對世界座標系（如圖）的攝像機座標系的三維位置和方向(外部引數)，標定的精度決定了模型重建的精度，因此相機標定採用的演演算法至關重要。

:

1.3 特徵匹配

匹配是三維模型重構中的一個核心問題，尋找兩幅或多幅影象中的對應特徵點，使影象間的均方誤差最小化,就可以得到更精確的相對位置關係,從而對兩幀影象進行匹配。現有的特徵點提取方法可以分為基於模板的特徵點檢測，基於邊緣的特徵檢測和基於亮度變換的三類[4]。文中SIFT特徵匹配演演算法是一種穩定的區域性特徵匹配演演算法[5]。該演演算法匹配能力較強，具有優良的尺度和旋轉不變性以及對光照和視角變化的魯棒性，廣泛應用於機器人視覺、三維目標重建及醫學影象配準等領域。

1. 1. 三維重建

在進行特徵點匹配並且得到相機的內外引數後，就可以從畫素座標系中的某個畫素點逆向對映成世界座標系中的點。通過特徵點在影象中的匹配關係，建立方程組，求解各個特徵點在世界座標系中的座標值，再將各個特徵點按對應關係連線成相應的三維立體圖，完成物體的三維重建[6]。

2系統設計

2.1影象預處理

針對影象品質退化的問題，採取基於簡化脈衝耦合神經網路模型的噪聲濾波及影象增強。在本節重點討論的影象分割中，採用基於Grabcut的影象分割方法。

Grabcut是一種互動式的影象分割方法，以簡單的「硬分割」代替三分圖的構建，減少了人工互動部分的工作量， 是Rother等人對Graph cuts演演算法的改進[7]。 該方法有以下三點改進：1）採用高斯混合模型(Gaussian Mix-ture Model,GMM)來取代直方圖，完成對彩色影象的目標提取。2）多次迭代估計GMM引數取代一次最小化估計完成能量最小化的過程。3）通過非完全標記的方法降低了對互動工作的要求。

Grabcut目標提取演演算法中每一個GMM都可以看做是一個K維協方差，在優化過程中引入向量k作為每個畫素的獨立GMM引數，相應的畫素點上不透明度a=0或a=1，用 q表示目標/背景顏色分佈的概率模型，所以影象分割分割問題轉化為

Grabcut的主要步驟如下：

初始化：1）人工設定背景TB來初始化三分圖。前景區域TF為空，未知區域TU取背景TB的補集。2）將背景區域畫素的.a值設為0，未知區域畫素的a值設為1。3）分別用α=0和α=1兩個集合來初始化前景與背景的高斯混合模型。

迭代最小化：1）求出未知區域中每個畫素n所對應的GMM引數，。2）由各個畫素的資料切得高斯混合模型引數q,。3）利用最小能量 得到初始分割。4）重複執行步驟1），直到收斂。

使用者互動編輯：1）人工互動制定影象中某些畫素的a值，令其為0或1，更新三分圖，執行迭代最小化中的第三步驟。2）優化：重新執行整個迭代最小化的步驟。

若使用者給出的初始化資訊沒有得到十分滿意的分割效果則進一步互動，利用更多的資訊重新最小化能量，直到滿意的分割結果。

寬基線條件下的特徵匹配是要提取穩定的特徵並進行描述，從而實現差異較大的兩幅影象之間的特徵匹配。

影象中SIFT特徵向量生成的演演算法包含以下四步：1）尺度空間極值檢測，確定關鍵點位置和所在尺度。2）通過擬合函數精確確定關鍵點位置和尺度，去除低對比度的點。3）通過梯度方向分佈特性為每個關鍵點指定方向引數。4）生成SIFT特徵向量。

如圖左部分以關鍵點為中心取8×8的視窗，在每4×4的小塊上計算8個方向的梯度方向直方圖，即可形成一個種子點。右部分關鍵點由2×2共4個種子點組成,每個種子點有8個方向向量資訊,實際計算過程中,為了增強匹配的穩健性,對每個關鍵點使用4×4共16個種子點來描述,這樣對於一個關鍵點就可以產生128個資料,即最終形成128維的SIFT特徵向量。

 圖所示為特徵匹配的一般流程，SIFT描述子生成後，採用歐式距離作為相似性度量。

D越小，表明特徵點對應距離越近，形似程度越高。匹配過程中對待匹配的點採用最近領域法搜尋影象2中的特徵點，找到最近的兩個特徵點，如果最近距離和次近距離的比值小於某個閾值，則接受這一對匹配點。據此得到的初始匹配結果後，採用RANSAC(隨機抽樣一致性演演算法)剔除誤匹配。

2.4三維重建

本文采用一部數碼相機從不同角度對同一物體拍3張照片，並確保同一特徵點出現在3張照片中。然後通過三幅檢視的影象對應計算可得到三焦點張量，與兩檢視幾何的基本矩陣類似只與相機引數有關，相機矩陣在相差一個三維空間的射影變換下可藉由三焦點張量恢復，同時確定影象之間的基本矩陣。

具體流程如下：1）從序列檢視中估計二檢視幾何，然後連線兩檢視的匹配集，計算跨三幅檢視的一組特徵點對應。2）由至少7組非退化的對應關係計算三焦點張量。3）由三焦點張量恢復基本矩陣。4）確定兩個相機的矩陣後，在相差一個射影矩陣下恢復第三個相機矩陣。5）可行性誤差處理。

    在得到三維座標後，還要進行物體表面的視覺化，，文中採用Delaunay三角剖分法重建出物體的三維表面。最後通過OpenGL完成紋理對映。