1.論文題目和關鍵詞
Title:
Efficient Video Stitching Based on Fast Structure Deformation
基於快速結構變形的高效視訊拼接演演算法
Keywords：
Computational efficiency計算效率；
computer vision計算機視覺；
intensity misalignment強度失準；
machine learning機器學習；
structure misalignment結構失準；
video stitching視訊拼接.
2.摘要大意
In computer vision, video stitching is a very challenging problem. In this paper, we proposed an efficient and effective wide-view video stitching method based on fast structure deformation that is capable of simultaneously achieving quality stitching and computational efficiency. For a group of synchronized frames, firstly, an effective double-seam selection scheme is designed to search two distinct but structurally corresponding seams in the two original images. The seam location of the previous frame is further considered to preserve the interframe consistency. Secondly, along the double seams, 1-D feature detection and matching is performed to capture the structural relationship between the two adjacent views. Thirdly, after feature matching, we propose an efficient algorithm to linearly propagate the deformation vectors to eliminate structure misalignment. At last, image intensity misalignment is corrected by rapid gradient fusion based on the successive over relaxation iteration (SORI) solver. A principled solution to the initialization of the SORI significantly reduced the number of iterations required. We have compared favorably our method with seven state-of-the-art image and video stitching algorithms as well as traditional ones. Experimental results show that our method outperforms the existing ones compared in terms of overall stitching quality and computational efficiency.
在計算機視覺中，視訊拼接是一個非常具有挑戰性的問題。本文提出了一種基於快速結構變形的廣域視訊拼接方法，該方法能夠同時實現高品質的拼接和計算效率。首先，對於一組同步幀，設計一種有效的雙接縫選擇方案，以搜尋兩個原始影象中兩個不同但結構上相對應的接縫。進一步考慮前一幀的接縫位置以保持幀間一致性。其次，沿著雙縫進行一維特徵檢測與匹配，以捕捉相鄰兩檢視之間的結構關係。第三，在特徵匹配後，提出了一種有效的變形向量線性傳播演演算法來消除結構失準。最後，基於逐次超鬆弛迭代（SORI）求解器，通過快速梯度融合來校正影象強度失準。SORI初始化的原則解決方案顯著減少了所需的迭代次數。我們將我們的方法與七個最新的影象和視訊拼接演演算法以及傳統演演算法進行了比較。實驗結果表明，該方法在整體拼接品質和計算效率方面優於現有方法。
3.從不同角度分析該篇論文的創新點，並談談有什麼學術價值
創新點：
（1）提出了一種基於快速結構變形的視訊拼接方法，該方法具有高品質、低計算量的特點。
（2）提出了一種具有空間和時間一致性的雙縫選擇模型，該模型具有線性複雜性。
（3）理論上證明了變形模型可以有效轉化為線性反插值問題。
（4）提出了一個有效梯度融合的逐次超鬆弛迭代（SORI）求解器的解決方案，能夠很好的消除強度和結構失準的問題。
學術價值：
（1）以往的研究注重影象拼接，該論文主要研究視訊拼接，且同時解決了前文獻未能解決的高品質拼接和低計算成本的問題。
（2）對於雙接縫選擇，該論文的模型同時考慮了空間和幀間的一致性（時間）約束，可以有效的傳播視訊拼接中的候選接縫，使模型的計算複雜度和重疊區域的面積成線性關係。而以往的研究只考慮了由圖割（graph cut）優化的梯度平滑度和相似性，且是非線性的。
（3）該論文將形變數子化和傳播問題轉化為變形向量的線性反插值，與以往研究中的基於圖割方法的最小化能量函數相比，在視覺上可以達到同樣的效果。
4.對該篇論文結論的理解及對學習工作的啟發
（1）該論文提出了一種有效梯度融合的逐次超鬆弛迭代（SORI）演演算法，不僅在方法上有所創新，且全面提升了計算效率和拼接品質。具有較高的實際應用價值，適用於對計算速度要求較高的場合（臉部辨識、物體追蹤、自動駕駛）。
（2）文章對於實際場景中存在大量複雜相似結構的影象如何進行精準匹配的問題沒有展開闡述，可做進一步的研究。