2014年的六月,，筆者在知乎“民用小型無(wú)人機(jī)的銷售現(xiàn)狀和前景怎么樣？-YY碩的回答”這個(gè)問(wèn)題下面發(fā)布了一篇科普多旋翼飛行器技術(shù)的回答,，在知乎上至今獲得了889個(gè)贊同,、近10萬(wàn)次瀏覽，并且被幾十家媒體和公眾號(hào)轉(zhuǎn)發(fā),。2014年中正是多旋翼飛行器市場(chǎng)爆發(fā)前的風(fēng)口，后來(lái)很多朋友告訴筆者說(shuō)正是這篇文章吸引他們走入了多旋翼飛行器行業(yè)。

兩年來(lái),，大疆精靈系列更新了兩代,，飛控技術(shù)更新了兩代，智能導(dǎo)航技術(shù)從無(wú)到有,，諸多新的軟件和硬件產(chǎn)品陸續(xù)發(fā)布,。同時(shí)我們也多了很多友商，現(xiàn)在多旋翼飛行器市場(chǎng)火爆,，諸多產(chǎn)品琳瑯滿目,，價(jià)格千差萬(wàn)別。為了理解這些飛行器的區(qū)別,，首先要理解這些飛行器上使用的傳感器技術(shù),。我覺(jué)得現(xiàn)在很有必要再發(fā)一篇科普文章，定義“智能導(dǎo)航”這個(gè)概念,，順便字里行間介紹一下兩年來(lái)大疆在傳感器技術(shù)方面的努力,。

1.飛行器的狀態(tài)

客機(jī)、多旋翼飛行器等很多載人不載人的飛行器要想穩(wěn)定飛行,，首先最基礎(chǔ)的問(wèn)題是確定自己在空間中的位置和相關(guān)的狀態(tài),。測(cè)量這些狀態(tài)，就需要各種不同的傳感器,。

世界是三維的,，飛行器的三維位置非常重要。比如民航客機(jī)飛行的時(shí)候,，都是用GPS獲得自己經(jīng)度,、緯度和高度三維位置。另外GPS還能用多普勒效應(yīng)測(cè)量自己的三維速度,。后來(lái)GPS民用之后,，成本十幾塊錢的GPS接收機(jī)就可以讓小型的設(shè)備，比如汽車,、手機(jī)也接收到自己的三維位置和三維位置,。

對(duì)多旋翼飛行器來(lái)說(shuō)，只知道三維位置和三維速度還不夠,，因?yàn)槎嘈盹w行器在空中飛行的時(shí)候,，是通過(guò)調(diào)整自己的“姿態(tài)”來(lái)產(chǎn)生往某個(gè)方向的推力的。比如說(shuō)往側(cè)面飛實(shí)際上就是往側(cè)面傾,，根據(jù)一些物理學(xué)的原理,，飛行器的一部分升力會(huì)推著飛行器往側(cè)面移動(dòng)。為了能夠調(diào)整自己的姿態(tài),，就必須有辦法測(cè)量自己的姿態(tài),。姿態(tài)用三個(gè)角度表示,，因此也是三維的。與三維位置,、三維角度相對(duì)應(yīng)的物理量是三維速度,、三維加速度和三維角速度，一共是十五個(gè)需要測(cè)量的狀態(tài),。

這十五個(gè)狀態(tài)都對(duì)多旋翼飛行器保持穩(wěn)定飛行有至關(guān)重要的作用,。拿“懸停”這件看起來(lái)是多旋翼飛行器最基本的能力來(lái)說(shuō),，實(shí)際上飛行器的控制器在背后做了一系列“串級(jí)控制”：在知道自己三維位置的基礎(chǔ)上,，控制自己的位置始終鎖定在懸停位置，這里的控制量是一個(gè)目標(biāo)的懸停速度,，當(dāng)飛行器的位置等于懸停位置時(shí),，這個(gè)目標(biāo)懸停速度為0，當(dāng)飛行器的位置偏離了懸停位置時(shí),，飛行器就需要產(chǎn)生一個(gè)讓自己趨向懸停位置的速度,，也就是一個(gè)不為零的目標(biāo)懸停速度；飛行器要想控制自己產(chǎn)生目標(biāo)懸停速度,，就需要根據(jù)自己當(dāng)前的三維速度,，產(chǎn)生一個(gè)目標(biāo)加速度；為了實(shí)現(xiàn)這個(gè)目標(biāo)加速度,，飛機(jī)需要知道自己的三維角度,，進(jìn)而調(diào)整自己的姿態(tài)；為了調(diào)整自己的姿態(tài),，就需要知道自己的三維角速度,，進(jìn)而調(diào)整電機(jī)的轉(zhuǎn)速。

讀者可能會(huì)想哇為什么這么復(fù)雜,。其實(shí)我們身邊的許多工程產(chǎn)品都在簡(jiǎn)單的表現(xiàn)背后藏著復(fù)雜的過(guò)程,。比如汽車的油門也是類似的，踩下油門之后,，有傳感器測(cè)量汽油的流速,、控制汽油的流速；然后有傳感器測(cè)量發(fā)動(dòng)機(jī)的轉(zhuǎn)速,、控制發(fā)動(dòng)機(jī)轉(zhuǎn)速……從踩油門到加速的過(guò)程中也有許許多多的傳感器在測(cè)量汽車的各個(gè)狀態(tài)量,，并對(duì)這些狀態(tài)量施加控制。

知道十五個(gè)狀態(tài)量是多旋翼飛行器做任何動(dòng)作的基礎(chǔ)中的基礎(chǔ),，但是讓飛行器在任何情況下都準(zhǔn)確知道這十五個(gè)狀態(tài)量是非常困難的事情,，因?yàn)楝F(xiàn)在的科技水平還沒(méi)有能夠?qū)崿F(xiàn)讓一個(gè)傳感器同時(shí)測(cè)量這么多的物理量。幾十年來(lái),，人們發(fā)展出了一套復(fù)雜的技術(shù),，叫做組合導(dǎo)航,，用GPS加上慣性測(cè)量元件、氣壓計(jì)和地磁指南針來(lái)讓飛行器測(cè)量自己的十五個(gè)狀態(tài)量,。

2.組合導(dǎo)航

慣性測(cè)量元件是一種能夠測(cè)量自身三維加速度和三維角速度的設(shè)備（實(shí)際上慣性測(cè)量元件有兩種,，一種加速度計(jì)，一種角速度計(jì),，為了行文方便，我們把這兩種元件當(dāng)做一種,，統(tǒng)稱為慣性測(cè)量元件）,。根據(jù)物理學(xué)原理，加速度的積分是速度,，速度的積分是位置,，角速度的積分是角度，理論上單靠慣性測(cè)量元件,，我們就可以知道十五個(gè)狀態(tài)量,。

人類的科技水平也的確實(shí)現(xiàn)了這一點(diǎn)：GPS還沒(méi)被發(fā)明以前，導(dǎo)彈上通常都裝著一個(gè)精密的慣性測(cè)量元件,，導(dǎo)彈打出去以后靠這個(gè)裝置測(cè)量自己的十五個(gè)狀態(tài)量,，然后控制自己飛越海洋和大洲。然而這種慣性測(cè)量元件會(huì)在測(cè)量的過(guò)程中慢慢累積誤差,，元件本身的工藝,、技術(shù)、成本越差,，積累誤差的速度就越快,。導(dǎo)彈上價(jià)值幾百萬(wàn)的慣性測(cè)量元件飛幾萬(wàn)公里后會(huì)積累十幾米到幾公里的誤差，這種水平的導(dǎo)彈已經(jīng)非常了不起了,，畢竟不是每個(gè)國(guó)家都可以在背后豎著洲際導(dǎo)彈和國(guó)際社會(huì)講道理,。

人體內(nèi)也有慣性測(cè)量元件，人的耳蝸充滿液體,，人運(yùn)動(dòng)的時(shí)候這些液體有慣性,，可以被耳中的神經(jīng)感受到，因此測(cè)出了運(yùn)動(dòng)的加速度,。然而人的慣性測(cè)量元件非常差,，閉上眼睛，也不摸周圍的東西,，只靠耳蝸感受的移動(dòng),，人基本沒(méi)法走直線。

而多旋翼飛行器上用的低成本MEMS慣性測(cè)量元件,，精度就更差了,，它測(cè)量的速度和位置在幾秒鐘內(nèi)就會(huì)發(fā)散到幾十米開(kāi)外去,，完全沒(méi)法用來(lái)規(guī)劃控制自己的飛行路線。

此外,，慣性測(cè)量元件還會(huì)受到溫度,、制造工藝的限制，產(chǎn)生一些測(cè)量的偏差,，比如說(shuō)有時(shí)溫度突然變化之后,，一個(gè)靜止的慣性測(cè)量元件會(huì)覺(jué)得自己轉(zhuǎn)動(dòng)了起來(lái)，雖然它靜止著,，但是會(huì)輸出不為零的角速度,。這類測(cè)量的偏差需要比較仔細(xì)的算法進(jìn)行修正，而且往往不能單靠慣性測(cè)量元件自己的測(cè)量完全消除,。

地磁指南針是一種測(cè)量航向的傳感器,。指南針在人們的生活中作用重大，在未知的環(huán)境中,，不分南北可能寸步難行,。飛行器的機(jī)身正方向朝南還是朝北這個(gè)狀態(tài)量用導(dǎo)航的術(shù)語(yǔ)來(lái)說(shuō)叫做航向，也就是飛行器姿態(tài)的三維角度中的一個(gè),，他在組合導(dǎo)航系統(tǒng)中是非常重要的一個(gè)狀態(tài)量,。

地磁指南針能夠指南指北是因?yàn)榈厍虮砻婵臻g中有看不見(jiàn)的橫貫?zāi)媳钡牡卮啪€，地磁指南針可以測(cè)量出穿過(guò)自身的地磁強(qiáng)度,，從而指出當(dāng)前自身相對(duì)于地磁線的偏轉(zhuǎn),。同樣地，這個(gè)理論雖然非常簡(jiǎn)單,，但是地磁線的強(qiáng)度非常弱,，很容易受到干擾。比如多旋翼飛行器通用的無(wú)刷電機(jī),，在運(yùn)轉(zhuǎn)的時(shí)候就會(huì)產(chǎn)生變化的磁場(chǎng),，和地磁場(chǎng)疊加之后，地磁指南針就找不到正確的方向了,。地磁指南針的這個(gè)特性非常令人惱火,，但是早期的多旋翼飛行器開(kāi)發(fā)人員毫無(wú)辦法，因?yàn)檫@是唯一的能夠確定飛行器在空間中絕對(duì)航向的設(shè)備,。如果不知道這個(gè)航向,，就基本沒(méi)辦法進(jìn)行組合導(dǎo)航。

氣壓計(jì)的原理最為簡(jiǎn)單,。因?yàn)榈厍虮砻婧０卧礁?，空氣越稀薄，氣壓越低，因此氣壓就能夠給出飛行器的海拔高度,。不過(guò),，不出意料的是，尺寸和重量適合在多旋翼飛行器上使用的氣壓計(jì)有很大的缺陷,，它的測(cè)量值會(huì)受到溫度,、濕度、空氣流速,、光照,、振動(dòng)等因素的影響，單靠氣壓計(jì)非常難實(shí)現(xiàn)對(duì)高度的穩(wěn)定測(cè)量,。

組合導(dǎo)航技術(shù)結(jié)合GPS,、慣性測(cè)量元件、地磁指南針和氣壓計(jì)各自的優(yōu)缺點(diǎn),，使用電子信號(hào)處理領(lǐng)域的很多技術(shù)，融合多種傳感器的測(cè)量值,，獲得較為準(zhǔn)確的飛行器十五個(gè)狀態(tài)量的測(cè)量,。前面說(shuō)慣性測(cè)量元件的測(cè)量容易發(fā)散，這個(gè)發(fā)散可以通過(guò)GPS來(lái)抑制：GPS可以獲得三維位置也可以獲得三維速度,，慣性測(cè)量元件可以獲得三維加速度,，加速度的積分也是速度。在通過(guò)地磁指南針獲得航向的基礎(chǔ)上,，兩種速度的觀測(cè)就可以融合起來(lái),，通過(guò)GPS的測(cè)量值來(lái)發(fā)現(xiàn)并抑制慣性測(cè)量元件的發(fā)散。慣性測(cè)量元件的發(fā)散被抑制住之后,，它也可以更準(zhǔn)地測(cè)量三維角度和三維加速度,。因此GPS和慣性測(cè)量元件在這些情況中互相取長(zhǎng)補(bǔ)短。除此之外,，氣壓計(jì)和GPS互相提高了高度測(cè)量的精度,，地磁指南針、GPS和慣性測(cè)量元件一同提高了航向測(cè)量的精度,，他們都是利用了相同的融合,、“互補(bǔ)”的思想。

組合導(dǎo)航技術(shù)中傳感器互補(bǔ)的原理直接源于1948年誕生的信息論,?？藙诘?香農(nóng)總結(jié)歸納出的信息論提出了信息的概念以及如何從數(shù)學(xué)上度量信息，信息論可以說(shuō)是現(xiàn)代人類文明的基石之一,。解釋清楚信息的本質(zhì)之后,，人們才能夠用數(shù)學(xué)表示一個(gè)樸素而又深刻的原理：信息可以用來(lái)估計(jì)狀態(tài)，越多的信息可以把狀態(tài)量估計(jì)得越準(zhǔn),。

（上圖致敬信息論之父,，克勞德-香農(nóng)）

此后,，控制論的奠基人諾伯特-維納、魯?shù)婪?卡爾曼以及其他一大批工程師和科學(xué)家完善了通過(guò)信息進(jìn)行狀態(tài)估計(jì)的線性估計(jì)理論,，進(jìn)一步提出了傳感器之間“互補(bǔ)濾波”,，共同減小誤差的理論?？柭O(shè)計(jì)的卡爾曼濾波器還被實(shí)現(xiàn)在了阿波羅飛船的導(dǎo)航計(jì)算機(jī)當(dāng)中,，使用星座位置和慣性測(cè)量元件互補(bǔ)測(cè)量阿波羅飛船的十五個(gè)狀態(tài)量。

信息論,、線性估計(jì)理論以及卡爾曼濾波器允許人們把多個(gè)具有誤差的傳感器通過(guò)數(shù)學(xué)方程融合起來(lái),，利用傳感器信息估計(jì)特定的狀態(tài)量，而且越多傳感器“互補(bǔ)”,，可以獲得越好的狀態(tài)估計(jì),。這樣，數(shù)學(xué)給工程學(xué)指出了發(fā)展方向：造更多牛逼的傳感器進(jìn)行互補(bǔ),，就能獲得更好的狀態(tài)估計(jì)能力,。大疆飛控總工程師魚(yú)大人也曾經(jīng)說(shuō)過(guò)：“最牛逼的工程師都是在搞傳感器?！眰鞲衅骷夹g(shù)的重要性可見(jiàn)一斑,。

作為一種位置傳感器，GPS具有諸多的問(wèn)題,，GPS信號(hào)只有在開(kāi)闊的空間內(nèi)才能給出比較好的測(cè)量值,，因?yàn)镚PS接收機(jī)需要從天上的衛(wèi)星獲得信號(hào)，這些信號(hào)要從太空傳入大氣層,，這么遠(yuǎn)的距離,，信號(hào)已經(jīng)相對(duì)來(lái)說(shuō)很微弱，所以必須要求接收機(jī)和衛(wèi)星之間的連線上沒(méi)有遮擋,，一旦有建筑甚至是樹(shù)木的遮擋,，衛(wèi)星發(fā)下來(lái)的信號(hào)就有噪聲，GPS接收機(jī)就不能給出很好的位置和速度觀測(cè),。在室內(nèi)環(huán)境中,，GPS甚至完全不能使用。組合導(dǎo)航技術(shù)要想進(jìn)一步發(fā)展,，就需要尋找其他能夠在GPS不能使用的環(huán)境中使用的傳感器,。

一種較為簡(jiǎn)單的能夠替代GPS測(cè)量高度的傳感器是小型超聲波模塊。這種模塊通常有一收一發(fā)兩個(gè)探頭,，一個(gè)探頭發(fā)出超聲波,，另一個(gè)探頭測(cè)量回波的時(shí)間，能夠算出導(dǎo)致聲波反彈的物體離探頭的距離。現(xiàn)在在淘寶上,，只要10塊錢就可以買到一個(gè)能夠比較準(zhǔn)確測(cè)量幾米內(nèi)物體距離的超聲波模塊,，被廣泛用在大學(xué)生制作的小機(jī)器人上。這種10塊錢的傳感器沒(méi)有比氣壓計(jì)和MEMS慣性測(cè)量元件性能高多少,，它發(fā)出的聲波容易發(fā)散,，探測(cè)到的物體不一定位于探頭正前方，另外聲波也容易被空氣中的水霧,、振動(dòng)所影響,，給出完全錯(cuò)誤的觀測(cè)。因此,，超聲波模塊最好的使用場(chǎng)景是對(duì)著地面,，測(cè)量自身和地面的距離。

3.視覺(jué)感知系統(tǒng)

另外一種替代品是視覺(jué)感知系統(tǒng),。1970年之后,，隨著數(shù)字成像技術(shù)的發(fā)展，相機(jī)作為一種傳感器開(kāi)始被廣泛研究,。因?yàn)槿丝梢酝ㄟ^(guò)自己的視覺(jué)估計(jì)視野中物體的位置,、距離，而相機(jī)的原理模擬了人的雙眼,，所以研究者們模仿人的特點(diǎn)，利用相機(jī)的二維圖像反推圖像中物體的三維信息,。這種和二維圖像推算三維信息相關(guān)的技術(shù)和數(shù)學(xué)理論發(fā)展成了一個(gè)獨(dú)立的學(xué)科——計(jì)算機(jī)視覺(jué),，也被稱作機(jī)器視覺(jué)。

視覺(jué)感知系統(tǒng)是目前世界上最熱門的機(jī)器人學(xué)和機(jī)器視覺(jué)領(lǐng)域研究課題,。其原理是利用一個(gè)或者多個(gè)相機(jī)構(gòu)成的視覺(jué)傳感器系統(tǒng),，采用復(fù)雜的算法，通過(guò)二維的相機(jī)圖像推算出視野中物體相對(duì)與視覺(jué)傳感器系統(tǒng)的幾何中心的運(yùn)動(dòng)信息,，如果假設(shè)這些物體都是靜止的,，那么相對(duì)運(yùn)動(dòng)其實(shí)代表了視覺(jué)傳感器本身的運(yùn)動(dòng)。理論上,，計(jì)算機(jī)視覺(jué)技術(shù)能夠單憑一個(gè)相機(jī)就可以準(zhǔn)確測(cè)量十五個(gè)狀態(tài)量,，但是與其他傳感器類似，相機(jī)也有很多的缺陷,，包括無(wú)法恢復(fù)尺度,、成像質(zhì)量有限、計(jì)算量消耗巨大等等,。幸好,，我們還可以把視覺(jué)感知系統(tǒng)和其他傳感器結(jié)合起來(lái)，互相提高測(cè)量精度。

聰明的讀者肯定能夠想到,，把視覺(jué)感知系統(tǒng)和之前說(shuō)的所有組合導(dǎo)航中用到的傳感器融合起來(lái),，GPS信號(hào)質(zhì)量高的時(shí)候用GPS組合導(dǎo)航，沒(méi)GPS的時(shí)候用視覺(jué)感知系統(tǒng)替代GPS,，不就解決問(wèn)題了嗎,。這確實(shí)正是目前工程師和科學(xué)家們正在努力解決的問(wèn)題，也是精靈4上初步實(shí)現(xiàn)的技術(shù),。在介紹精靈4是如何結(jié)合視覺(jué)感知系統(tǒng)和組合導(dǎo)航技術(shù)之前,，我們先簡(jiǎn)單介紹兩種已經(jīng)比較成熟的視覺(jué)感知系統(tǒng)：光流測(cè)速模塊和視覺(jué)里程計(jì)。

光流測(cè)速模塊顧名思義,，只能測(cè)速度,。通常一個(gè)光流測(cè)速模塊由一個(gè)相機(jī)、一個(gè)慣性測(cè)量元件,、一個(gè)超聲波模塊構(gòu)成,，它的主要原理是計(jì)算機(jī)視覺(jué)技術(shù)中于1981年被發(fā)展出來(lái)的“光流追蹤”算法。

“光流”的概念最早在1950年代由心理學(xué)家和生物學(xué)家提出,，指的是一個(gè)觀察者和他在觀察的事物發(fā)生相對(duì)運(yùn)動(dòng)時(shí),，這些事物在他眼前成的像會(huì)產(chǎn)生“運(yùn)動(dòng)的模式”，人腦利用這種“運(yùn)動(dòng)的模式”能夠更靈敏地感知周圍什么東西在動(dòng),。比如下圖中,，讀者一看就可以直觀理解“光流”的意義。

后來(lái)計(jì)算機(jī)科學(xué)家布魯斯-盧卡斯和金出武雄在1981年發(fā)明了Lucas-Kanade算法,，通過(guò)算法計(jì)算出連續(xù)拍攝的圖片上的光流,，并證明了光流可以反解出相對(duì)運(yùn)動(dòng)的速度。雖然三十多年來(lái),，Lucas-Kanade算法始終被公認(rèn)為最好的“光流追蹤”算法,，但是它有比較大的局限性,，它包含很多假設(shè),，比如假設(shè)連續(xù)圖片的平均亮度相同，比如假設(shè)圖片中的物體只發(fā)生平面運(yùn)動(dòng)等等,。另外,，光流算法算出的速度是沒(méi)有尺度的,，因?yàn)橄鄼C(jī)圖像的單位是像素，所以光流算法只能給出“你現(xiàn)在的速度是10個(gè)像素每秒”,，但是沒(méi)法算出10個(gè)像素是1厘米還是1米,。恢復(fù)尺度的方式是增加一個(gè)超聲波模塊測(cè)量平面運(yùn)動(dòng)離相機(jī)的距離,，這樣就能夠把像素運(yùn)動(dòng)轉(zhuǎn)換成真實(shí)的運(yùn)動(dòng),。最后,，如果要讓光流測(cè)速模塊在晃來(lái)晃去的多旋翼飛行器上也能使用，通過(guò)慣性測(cè)量元件找出圖像所代表的平面也是必不可少的,，這一點(diǎn)需要在算法上進(jìn)行兩種傳感器很好的配合,。

光流算法原理上只可以測(cè)三維速度，不能直接測(cè)量三維位置,。我們同樣可以通過(guò)把光流測(cè)速模塊測(cè)出的三維速度積分獲得三維位置,，但是就像慣性測(cè)量元件積分會(huì)發(fā)散一樣，光流測(cè)速模塊積分得到的位置也會(huì)發(fā)散,。好在它不會(huì)天馬行空地失去控制,，和組合導(dǎo)航技術(shù)中除了GPS之外的傳感器妥善融合之后，它可以做到懸停時(shí)測(cè)量的位置不發(fā)散,。因此可以說(shuō)光流測(cè)速模塊只在有限的條件下能夠替代GPS,。

光流測(cè)速模塊已經(jīng)形成了非常標(biāo)準(zhǔn)的解決方案。大疆悟以及精靈3上都裝載了自主研發(fā)的光流測(cè)速模塊,，另外著名的開(kāi)源飛控產(chǎn)品Pixhawk中包含了一個(gè)叫做PX4Flow的光流測(cè)速模塊,，并且開(kāi)源了所有的代碼和硬件方案。所以光流測(cè)速模塊目前已經(jīng)廣泛出現(xiàn)在了各大廠商的多旋翼飛行器產(chǎn)品上,。

視覺(jué)里程計(jì)相比光流測(cè)速模塊,，增加了直接測(cè)量位置的能力，所以才叫“里程計(jì)”,。視覺(jué)里程計(jì)比光流測(cè)速模塊能力更強(qiáng),，性能更好。

讀者可能會(huì)問(wèn),，為什么聽(tīng)起來(lái)視覺(jué)里程計(jì)和光流測(cè)速模塊參與的傳感器數(shù)量差不多（光流測(cè)速模塊甚至還多一個(gè)超聲波模塊）,，但是視覺(jué)里程計(jì)能力反而更強(qiáng)呢。這里的原因不在于傳感器硬件,，而在軟件算法上,。前面已經(jīng)說(shuō)到光流追蹤算法有很多簡(jiǎn)化的假設(shè),，只能測(cè)量平面運(yùn)動(dòng),，增加其他傳感器硬件一定程度上是為了把那些為了計(jì)算方便而簡(jiǎn)化掉的因素重新彌補(bǔ)起來(lái)。

而視覺(jué)里程計(jì)算法則復(fù)雜得多,，它不僅要通過(guò)圖像反推出視野中物體的平面運(yùn)動(dòng),，還要反推出這些物體的三維位置，并且基于這些物體的三維位置做很多次的優(yōu)化計(jì)算,，算法復(fù)雜度成倍于光流測(cè)速模塊,。有些視覺(jué)里程計(jì)的算法甚至包含完整的光流追蹤的算法，但是僅僅把計(jì)算光流作為預(yù)處理圖像的步驟,。

視覺(jué)里程計(jì)能夠直接測(cè)量位置,，測(cè)量值也比較準(zhǔn)確,，不會(huì)像光流測(cè)速模塊那樣發(fā)散。通常比較優(yōu)秀的視覺(jué)里程計(jì)飛100米之后只會(huì)積累十幾厘米到幾十厘米的誤差,，這個(gè)測(cè)量水平比起導(dǎo)彈上幾百萬(wàn)的慣性測(cè)量元件還是差了不少,，但是考慮到視覺(jué)里程計(jì)的價(jià)格極其低廉，對(duì)比起來(lái)它的性價(jià)比非常高,。

視覺(jué)里程計(jì)有幾個(gè)不同層次的難度,，最簡(jiǎn)單的是兩個(gè)相機(jī)構(gòu)成的雙目立體視覺(jué)系統(tǒng)加慣性測(cè)量元件，最難的是一個(gè)相機(jī)構(gòu)成的單目視覺(jué)系統(tǒng)加慣性測(cè)量元件,。如果視覺(jué)里程計(jì)和光流測(cè)速模塊硬件一致,，那么這里的視覺(jué)里程計(jì)采用的是單目視覺(jué)系統(tǒng)。目前,，雙目立體視覺(jué)系統(tǒng)加慣性測(cè)量元件實(shí)現(xiàn)自身狀態(tài)觀測(cè)已經(jīng)是比較完善的技術(shù),，而單目視覺(jué)系統(tǒng)則是活躍的研究方向，世界上做這個(gè)研究方向較好的大學(xué)有美國(guó)的賓西法尼亞大學(xué),、瑞士的蘇黎世聯(lián)邦理工學(xué)院,、英國(guó)的牛津大學(xué)、我國(guó)的香港科技大學(xué)和其他一些歐美院校,。

單目視覺(jué)系統(tǒng)和雙目立體視覺(jué)系統(tǒng)兩者對(duì)比起來(lái),，他們的算法難度差別很大。視覺(jué)里程計(jì)的算法關(guān)鍵點(diǎn)是前面說(shuō)的“通過(guò)連續(xù)的圖像反推出視野中物體的三維位置”,。對(duì)于和人眼結(jié)構(gòu)類似的雙目立體視覺(jué)系統(tǒng),，這一點(diǎn)比較容易，因?yàn)橐粋€(gè)物體同時(shí)出現(xiàn)在左右兩個(gè)相機(jī)的視野中時(shí)左右視野有視差,，視差可以幫助解算物體的位置,，只需要用簡(jiǎn)單的幾何關(guān)系就可以實(shí)現(xiàn)，這已經(jīng)是非常成熟的技術(shù),。

但是對(duì)于單目視覺(jué)系統(tǒng),，只有一個(gè)相機(jī)就沒(méi)有視差，沒(méi)法做簡(jiǎn)單的幾何關(guān)系的解算,，所以算法必須能智能地在局部范圍內(nèi)同時(shí)估計(jì)很多個(gè)物體的位置,，然后在自身移動(dòng)過(guò)程中通過(guò)位置移動(dòng)產(chǎn)生視差，然后進(jìn)行多個(gè)物體的位置的最大似然估計(jì),，從而推算出這些物體比較準(zhǔn)確的位置,。這個(gè)過(guò)程包括很多個(gè)環(huán)節(jié)，大部分環(huán)節(jié)在學(xué)術(shù)界都沒(méi)有公認(rèn)最優(yōu)的方案,，因此還沒(méi)有成熟的技術(shù),。

因?yàn)樵硐鄬?duì)簡(jiǎn)單，所以雙目立體視覺(jué)系統(tǒng)構(gòu)成的視覺(jué)里程計(jì)在三十年前就開(kāi)始被研究了,。1980年代早期,，NASA工程師,、著名機(jī)器人學(xué)家漢斯-莫拉維克就已經(jīng)制造出了這種狀態(tài)測(cè)量系統(tǒng)。關(guān)于漢斯-莫拉維克的另一個(gè)故事,，我在知乎問(wèn)題中“有哪些與控制,、機(jī)器人等相關(guān)的quotes？-YY碩的回答”也有提到,。

1

（上圖致敬漢斯-莫拉維克）

在經(jīng)年累月的優(yōu)化之后,，2004年，NASA成功把視覺(jué)里程計(jì)和慣性測(cè)量元件構(gòu)成的視覺(jué)定位系統(tǒng)裝在“機(jī)遇號(hào)”和“勇氣號(hào)”火星車主頻僅有20MHz的特制芯片上,，送上了火星,，它可以幫助火星車通過(guò)一對(duì)雙目相機(jī)非常準(zhǔn)確地記錄自己走過(guò)的路線。2007年,，參與火星探測(cè)任務(wù)的計(jì)算機(jī)科學(xué)家和工程師們把這個(gè)激動(dòng)人心的過(guò)程寫成了一篇論文《計(jì)算機(jī)視覺(jué)在火星》（ComputerVisiononMars）,，這篇文章吸引了很多計(jì)算機(jī)視覺(jué)研究人員投身視覺(jué)里程計(jì)的研究，也極大推動(dòng)了視覺(jué)里程計(jì)在機(jī)器人學(xué)中的應(yīng)用,。

4.精靈4的傳感器方案

大疆在精靈4上實(shí)現(xiàn)了雙目立體視覺(jué)系統(tǒng)加慣性測(cè)量元件構(gòu)成的視覺(jué)里程計(jì),，飛機(jī)上裝了兩套雙目立體視覺(jué)系統(tǒng)，一套向前看,，一套向下看,，一共是四個(gè)相機(jī)。

兩套雙目立體視覺(jué)系統(tǒng)都參與視覺(jué)里程計(jì)的計(jì)算,。通常情況下以向下看的雙目立體視覺(jué)系統(tǒng)為主,，如果向下看的相機(jī)對(duì)著一些特征不明顯的環(huán)境（比如純色的地板、海面等等）,，感受不到什么圖像變化,，視覺(jué)里程計(jì)會(huì)自動(dòng)切換到向前看的立體視覺(jué)系統(tǒng)做測(cè)量計(jì)算。雖然精靈4采用的都是較為成熟的機(jī)器視覺(jué)技術(shù),，但是由于精靈4上機(jī)載的計(jì)算量非常有限,，大疆還是下了相當(dāng)久的苦功去優(yōu)化算法，并使用了Movidius公司制作的圖像算法處理專用芯片,，結(jié)合Movidius公司的圖像處理算法庫(kù)優(yōu)化四路圖像處理的性能,。值得一提的是，不久就會(huì)面世的GoogleProjectTango也使用了Movidius公司的這款芯片,。不過(guò)因?yàn)镸ovidius公司的芯片不包含視覺(jué)里程計(jì)的算法,，所以Google的這款產(chǎn)品中視覺(jué)里程計(jì)的算法應(yīng)該與精靈4的算法有較大差別,。

兩套雙目立體視覺(jué)系統(tǒng)還帶來(lái)了視覺(jué)里程計(jì)之外的兩個(gè)好處：1.向下看的一套雙目立體視覺(jué)系統(tǒng)可以探測(cè)下方地面上物體的三維位置,，從而知道地面的距離；2.向前看的一套雙目立體視覺(jué)系統(tǒng)可以用來(lái)探測(cè)前方場(chǎng)景中物體的深度,，產(chǎn)生深度圖進(jìn)行障礙感知,。深度圖還可以用于重建一個(gè)飛行器周圍的局部地圖,，以進(jìn)行精細(xì)的運(yùn)動(dòng)規(guī)劃，這就是精靈4指點(diǎn)飛行的基礎(chǔ),，在這篇文章中不詳細(xì)介紹了,。

除了增加視覺(jué)里程計(jì)之外，精靈4上還增加了內(nèi)置的超聲波模塊,。所以精靈4上一共有GPS+慣性測(cè)量元件+氣壓計(jì)+地磁指南針+超聲波模塊+雙目視覺(jué)系統(tǒng)六種傳感器,。其中雙目視覺(jué)系統(tǒng)有兩套，共4個(gè)相機(jī),；慣性測(cè)量元件有兩個(gè),，實(shí)現(xiàn)雙冗余備份；地磁指南針也有兩個(gè),，同樣雙冗余,。當(dāng)工作中的慣性測(cè)量元件或者地磁指南針受到嚴(yán)重干擾的時(shí)候，系統(tǒng)會(huì)自動(dòng)進(jìn)行備份切換,，切換到另一個(gè)傳感器上,。這些傳感器的數(shù)量、功能和特性總結(jié)如下表：

有了這些傳感器以后,，組合導(dǎo)航系統(tǒng)升級(jí)成為了智能導(dǎo)航系統(tǒng),。智能導(dǎo)航技術(shù)極大拓展了飛行器可以活動(dòng)的空間，當(dāng)有GPS的時(shí)候,，系統(tǒng)可以通過(guò)GPS為主進(jìn)行十五個(gè)狀態(tài)量的測(cè)量,，視覺(jué)里程計(jì)依然可以繼續(xù)運(yùn)作，提供額外的速度和位置的測(cè)量值進(jìn)一步提高精度,；GPS信號(hào)不好的時(shí)候,，視覺(jué)里程計(jì)可以接替GPS為整個(gè)系統(tǒng)提供穩(wěn)定的觀測(cè)。智能導(dǎo)航系統(tǒng)中有三種確定高度的傳感器：超聲波,、氣壓計(jì),、雙目立體視覺(jué)，這三種傳感器幾乎可以覆蓋所有讓傳統(tǒng)多旋翼飛行器頭疼的定高場(chǎng)景：樹(shù)叢上方,、室內(nèi),、靠近建筑的位置、大風(fēng)環(huán)境等等,。

地磁指南針的冗余設(shè)計(jì)可以很大程度上減小外部磁干擾帶來(lái)的指南針故障,。另外視覺(jué)里程計(jì)也能給出航向的觀測(cè)，兩者互補(bǔ)能夠提高航向的觀測(cè)精度,。在以前的飛行器上,，因?yàn)榈卮胖改厢樖艿礁蓴_造成的炸機(jī)問(wèn)題比較多，在精靈4上因?yàn)橛辛硕嘀乇Ｗo(hù)措施,，地磁指南針被干擾導(dǎo)致問(wèn)題的概率大大降低,。

有了智能導(dǎo)航系統(tǒng)之后,，還需要有一套強(qiáng)有力的軟件系統(tǒng)去組織導(dǎo)航算法和飛行控制算法。精靈4的飛控和最新推出的A3飛控類似,，都是大疆第三代飛行控制器,。大疆第一代飛控是汪滔自己寫的，性能很不錯(cuò),，然后飛控組在過(guò)去的幾年里做了兩次比較大的飛控軟件系統(tǒng)的重構(gòu),，以支持更多的傳感器和功能。2014年底推出的第二代飛控里加入了光流測(cè)速模塊支持,、SDK,、限飛區(qū)和新手模式等功能，2016年初開(kāi)發(fā)完成的第三代飛控里加入了冗余傳感器,、雙目立體視覺(jué)支持,、避障功能和智能返航等功能。因?yàn)槊恳淮沃貥?gòu)都對(duì)整個(gè)軟件系統(tǒng)做了很大規(guī)模的調(diào)整,，增加了很多的軟件模塊和新的軟件架構(gòu),，所以分了三代。別人剛開(kāi)始做飛控的時(shí)候,，大疆已經(jīng)自己重構(gòu)了兩次代碼,，這一點(diǎn)是大疆最引以自豪的地方之一。

智能導(dǎo)航系統(tǒng)讓精靈4在任何狀態(tài)下都可以準(zhǔn)確測(cè)量自身的三維位置和三維速度,，這對(duì)實(shí)現(xiàn)多種功能都有非常重要的意義,。

近年來(lái)，業(yè)界有很多關(guān)于避障應(yīng)該使用雙目立體視覺(jué)還是激光雷達(dá)傳感器等傳感器的爭(zhēng)論,。在大疆內(nèi)部,，選擇什么樣的傳感器放入智能導(dǎo)航系統(tǒng)用來(lái)避障，工程師團(tuán)隊(duì)也進(jìn)行了曠日持久的探討,，最后還是選擇了雙目立體視覺(jué)的方案,。我相信隨著科技的發(fā)展，在未來(lái)會(huì)不斷有更多更好的新傳感器誕生,，很可能會(huì)有其他傳感器代替雙目立體視覺(jué),，但是實(shí)現(xiàn)穩(wěn)定避障的關(guān)鍵不在于避障所使用的傳感器。避障這個(gè)事件發(fā)生前后,，飛行器機(jī)體一定會(huì)發(fā)生急剎車,，整體會(huì)經(jīng)歷很大的姿態(tài)變化和加速度，在這種狀態(tài)下,，飛行器是否還能穩(wěn)定地測(cè)量出自己的十五個(gè)狀態(tài)量,，才是最影響安全性的問(wèn)題。

如果系統(tǒng)急剎車之后，整體的位置觀測(cè)甚至速度觀測(cè)都發(fā)散了,，這時(shí)候飛行器有可能左右飄出去，還是會(huì)發(fā)生炸機(jī),。就算不炸機(jī),，避障之后飛機(jī)前后左右搖晃，也會(huì)給用戶心理上造成不安全的感受,，帶來(lái)很差的用戶體驗(yàn),。精靈4在很多嚴(yán)苛的情況下發(fā)生避障動(dòng)作時(shí)，飛行器會(huì)自動(dòng)鎖定位置,、速度迅速減為0的狀態(tài),，很快就可以從高速機(jī)動(dòng)恢復(fù)到完全不動(dòng)，非常穩(wěn)定地懸停,，避免了在障礙附近不穩(wěn)定活動(dòng)引起炸機(jī),。

精靈4還能處理很多看似很簡(jiǎn)單，但是對(duì)傳感器系統(tǒng)要求非常高的飛行場(chǎng)景,。比如在十幾層樓的窗口把飛行器從室內(nèi)飛到室外懸停,。這種場(chǎng)景下，從窗口穿出時(shí),，向下看的傳感器幾乎馬上全部失效,，由于有建筑的遮擋，GPS也不會(huì)立刻生效,，因此傳感器系統(tǒng)不夠穩(wěn)健的飛行器有可能因?yàn)槭ニ俣群臀恢玫臏y(cè)量而飄到建筑上造成高空炸機(jī),。而精靈4則能夠通過(guò)前視雙目視覺(jué)系統(tǒng)的觀測(cè)，在向下看的傳感器都暫時(shí)失效時(shí)繼續(xù)運(yùn)行視覺(jué)里程計(jì),，及時(shí)提供輔助的速度和位置觀測(cè),，避免造成無(wú)法控制速度和位置導(dǎo)致炸機(jī)的情況出現(xiàn)。

實(shí)際上,，由于前面說(shuō)的過(guò)GPS容易被遮擋導(dǎo)致沒(méi)有足夠的信號(hào)做觀測(cè)的情況在航拍的場(chǎng)景中其實(shí)常常遇到,。比如在樹(shù)木茂密的峽谷里航拍，經(jīng)常出現(xiàn)的情況是飛行器放在地面上時(shí)接收不到GPS信號(hào),，如果穩(wěn)定飛到幾十米的高度就可以接收到了,。在這些臨界情況下起飛和降落非常危險(xiǎn)，如果要保證飛行器在升降過(guò)程中都能保持穩(wěn)定的狀態(tài),，飛行器必須能夠在GPS和視覺(jué)里程計(jì)之間無(wú)縫轉(zhuǎn)換,，這樣才能讓用戶放心地起降。如果用戶從高處下降到低處GPS突然沒(méi)有了,，而視覺(jué)里程計(jì)沒(méi)有及時(shí)補(bǔ)上,，飛機(jī)失去位置和速度觀測(cè)之后就變得非常難操控，就有可能撞在樹(shù)叢上。

讀者可能問(wèn),，在這些情況下光流測(cè)速模塊效果是不是也一樣呢,。我們前面說(shuō)過(guò)光流測(cè)速模塊的算法有很多簡(jiǎn)化的假設(shè)，尤其是被觀測(cè)的物體必須處于同一個(gè)平面這樣的假設(shè),，使得光流測(cè)速模塊在樹(shù)叢上方,、地勢(shì)變化較大的空間上方，都表現(xiàn)非常糟糕,，并不能滿足戶外航拍的需求,。雖然視覺(jué)里程計(jì)計(jì)算量龐大，但它是比光流測(cè)速模塊更加實(shí)用有效的方案,。

另外值得一提的是,，第二代的大疆飛控使用的是遙控器桿量轉(zhuǎn)化成飛行器的加速度指令，而第三代的大疆飛控在精靈4上變成了遙控器桿量轉(zhuǎn)化成飛行器的速度指令,。在精靈3,、大疆的前代飛行器以及很多無(wú)人機(jī)產(chǎn)品上，如果你推遙控器滿桿前進(jìn),，飛行器會(huì)以一個(gè)固定的角度加速飛出去,，直到加速度被空氣阻力抵消，這樣控制并不直觀,，所以新手很難操作飛行器,；而在精靈4上，如果你推遙控器滿桿前進(jìn),，飛行器會(huì)自己調(diào)整到一個(gè)固定的速度上,，直接操控速度顯得非常直接，非常容易操控,。以往,，讓飛行器保持勻速飛行是只有專業(yè)飛手才能做到的事情，現(xiàn)在則真真正正地讓普通人也能觸手可得,。這一個(gè)修改看似簡(jiǎn)單,，但是提供了更好的操作手感，而且讓飛行器飛行的狀態(tài)更加穩(wěn)定,。

對(duì)于航拍操作手來(lái)說(shuō),，所有的花哨功能都不如懸停得穩(wěn)、飛得穩(wěn)這一點(diǎn)重要,，因?yàn)轱w機(jī)晃得太厲害,，總會(huì)給用戶造成一種“我的飛機(jī)真的沒(méi)出問(wèn)題嗎”的感受，用戶體驗(yàn)極其不好,。我們?nèi)ノ鞑厍嗪,；蛘咂渌苊赖牡胤介_(kāi)車玩，肯定是希望平穩(wěn)、慢慢地開(kāi),，這樣才能專心看美景,；如果開(kāi)著一部油門輕輕一點(diǎn)就加速到200公里的賽車，坐在車?yán)镆粫?huì)兒被推背,，一會(huì)兒過(guò)彎時(shí)左右甩,，人還有心情欣賞路上的美景嗎？

遙控器桿量改動(dòng)也顯示了大疆對(duì)自己智能導(dǎo)航系統(tǒng)提供的穩(wěn)定的三維速度測(cè)量的信心,。目前我沒(méi)有見(jiàn)過(guò)其他哪家公司的飛行器控制系統(tǒng)采用的是遙控器桿量轉(zhuǎn)化成飛行器的速度指令,。

5.當(dāng)我在談?wù)摕o(wú)人機(jī)的時(shí)候,，我在談?wù)撌裁?/strong>