創(chuàng)想智控將機(jī)器視覺技術(shù)應(yīng)用于視覺與圖像領(lǐng)域,自主研發(fā)了雙目立體視覺相機(jī),已應(yīng)用在工業(yè)和VR領(lǐng)域,具體產(chǎn)品和行業(yè)案例可以搜索北京創(chuàng)想智控進(jìn)入官網(wǎng)進(jìn)行查看。
以下科普知識來源網(wǎng)絡(luò),如有涉及侵權(quán),請聯(lián)系我們刪除。
基于雙目立體視覺的深度相機(jī)類似人類的雙眼,和基于TOF、結(jié)構(gòu)光原理的深度相機(jī)不同,它不對外主動投射光源,完全依靠拍攝的兩張圖片(彩色RGB或者灰度圖)來計(jì)算深度,因此有時(shí)候也被稱為被動雙目深度相機(jī)。
雙目立體視覺深度相機(jī)詳細(xì)原理
1、理想雙目相機(jī)成像模型
首先我們從理想的情況開始分析:假設(shè)左右兩個(gè)相機(jī)位于同一平面(光軸平行),且相機(jī)參數(shù)(如焦距f)一致。那么深度值的推導(dǎo)原理和公式如下。公式只涉及到初中學(xué)的三角形相似知識,不難看懂。
理想情況下雙目立體視覺相機(jī)深度值計(jì)算原理
根據(jù)上述推導(dǎo),空間點(diǎn)P離相機(jī)的距離(深度)z=f*b/d,可以發(fā)現(xiàn)如果要計(jì)算深度z,必須要知道:
1、相機(jī)焦距f,左右相機(jī)基線b。這些參數(shù)可以通過先驗(yàn)信息或者相機(jī)標(biāo)定得到。
2、視差d。需要知道左相機(jī)的每個(gè)像素點(diǎn)(xl, yl)和右相機(jī)中對應(yīng)點(diǎn)(xr, yr)的對應(yīng)關(guān)系。這是雙目視覺的核心問題。
2、極線約束概念
極線約束對于求解圖像對中像素點(diǎn)的對應(yīng)關(guān)系非常重要。
如下圖所示。C1,C2是兩個(gè)相機(jī),P是空間中的一個(gè)點(diǎn),P和兩個(gè)相機(jī)中心點(diǎn)C1、C2形成了三維空間中的一個(gè)平面PC1C2,稱為極平面(Epipolar plane)。極平面和兩幅圖像相交于兩條直線,這兩條直線稱為極線(Epipolar line)。P在相機(jī)C1中的成像點(diǎn)是P1,在相機(jī)C2中的成像點(diǎn)是P2,但是P的位置事先是未知的。
我們的目標(biāo)是:對于左圖的P1點(diǎn),尋找它在右圖中的對應(yīng)點(diǎn)P2,這樣就能確定P點(diǎn)的空間位置,也就是我們想要的空間物體和相機(jī)的距離(深度)。
所謂極線約束(Epipolar Constraint)就是指當(dāng)同一個(gè)空間點(diǎn)在兩幅圖像上分別成像時(shí),已知左圖投影點(diǎn)p1,那么對應(yīng)右圖投影點(diǎn)p2一定在相對于p1的極線上,這樣可以極大的縮小匹配范圍。
根據(jù)極線約束的定義,我們可以在下圖中直觀的看到P2一定在對極線上,所以我們只需要沿著極線搜索一定可以找到和P1的對應(yīng)點(diǎn)P2。
3、圖像矯正技術(shù)
圖像矯正是通過分別對兩張圖片用單應(yīng)(homography)矩陣變換(可以通過標(biāo)定獲得)得到的,的目的就是把兩個(gè)不同方向的圖像平面(下圖中灰色平面)重新投影到同一個(gè)平面且光軸互相平行(下圖中黃色平面),這樣就可以用前面理想情況下的模型了,兩個(gè)相機(jī)的極線也變成水平的了。
經(jīng)過圖像矯正后,左圖中的像素點(diǎn)只需要沿著水平的極線方向搜索對應(yīng)點(diǎn)就可以了(開心)。從下圖中我們可以看到三個(gè)點(diǎn)對應(yīng)的視差(紅色雙箭頭線段)是不同的,越遠(yuǎn)的物體視差越小,越近的物體視差越大,這和我們的常識是一致的。
4、基于滑動窗口的圖像匹配
對于左圖中的一個(gè)像素點(diǎn)(左圖中紅色方框中心),在右圖中從左到右用一個(gè)同尺寸滑動窗口內(nèi)的像素和它計(jì)算相似程度,相似度的度量有很多種方法,比如誤差平方和法(Sum of Squared Differences,簡稱SSD),左右圖中兩個(gè)窗口越相似,SSD越小。下圖中下方的SSD曲線顯示了計(jì)算結(jié)果,SSD值最小的位置對應(yīng)的像素點(diǎn)就是最佳的匹配結(jié)果。
具體操作中還有很多實(shí)際問題,比如滑動窗口尺寸。滑動窗口的大小選取還是很有講究的。
5、基于能量優(yōu)化的圖像匹配
目前比較主流的方法都是基于能量優(yōu)化的方法來實(shí)現(xiàn)匹配的。能量優(yōu)化通常會先定義一個(gè)能量函數(shù)。比如對于兩張圖中像素點(diǎn)的匹配問題來說,我們定義的能量函數(shù)如下圖公式1。
我們的目的是:
1、在左圖中所有的像素點(diǎn)和右圖中對應(yīng)的像素點(diǎn)越近似越好,反映在圖像里就是灰度值越接近越好。
2、在 同一張圖片里,兩個(gè)相鄰的像素點(diǎn)視差(深度值)也應(yīng)該相近。
上述公式1代表的能量函數(shù)就是著名的馬爾科夫隨機(jī)場(Markov Random Field)模型。通過對能量函數(shù)最小化,我們最后得到了一個(gè)最佳的匹配結(jié)果。有了左右圖的每個(gè)像素的匹配結(jié)果,根據(jù)前面的深度計(jì)算公式就可以得到每個(gè)像素點(diǎn)的深度值,最終得到一幅深度圖。
北京創(chuàng)想智控科技有限公司是一家專注于機(jī)器視覺焊接自動化的研發(fā)及生產(chǎn)的高新技術(shù)企業(yè)。多年來,創(chuàng)想智控憑借公司的核心技術(shù)致力于為用戶提供機(jī)器視覺和智能控制的解決方案;深度服務(wù)于螺旋管、鋼瓶、壓力容器、鋼結(jié)構(gòu)、汽車零配件、焊接機(jī)器人等行業(yè)的焊接制造領(lǐng)域。未來,創(chuàng)想智控將不斷致力于技術(shù)研發(fā)與創(chuàng)新,立足工業(yè)智能制造,助力行業(yè)品質(zhì)提升!