編注

每年 Google 都會通過博文分享他們在計算攝影上的最新成果及背后的實現(xiàn)方式，今年也不例外。

今年的 Pixel 4 和以往最大的不同莫過于副攝長焦鏡頭的加入，除了帶來出色的 變焦拍攝 能力外，這顆副攝同樣也被用來改善人像模式的成片效果： 雙像素對焦技術(shù)與雙攝系統(tǒng)的協(xié)同、先虛化處理再進行色調(diào)映射的流程優(yōu)化，加上 Google 一直以來都專精的圖像合成算法，Pixel 4 的人像模式成片效果相比以往也有了質(zhì)的飛躍 。

我們翻譯整理了 Google AI Blog 上的最新博文，為了保證可讀性，成文與原文在結(jié)構(gòu)和部分表述上略有調(diào)整。如果你對原文感興趣，可以通過文末原文鏈接跳轉(zhuǎn)閱讀。

人像模式是 Pixel 手機上的一項相機功能，任何人都可以借助它拍出專業(yè)相機才有的那種淺景深照片，通過虛化照片中的背景，這個模式也可以將照片觀察者的關(guān)注點聚焦在拍攝對象上。人像模式最初借由 Pixel 2 推出，在 Pixel 3 上則借助 與 的方式得到進一步完善。

在這個拍攝過程中，了解拍攝物體與相機間距離、即獲取景深信息，成為了至關(guān)重要的一步，以此我們才知道照片中哪些部分需要被銳化，哪些部分則應(yīng)該被虛化。

而在 Pixel 4 上，我們又對人像模式進行了兩項重大升級：充分利用 Pixel 4 所搭載的雙攝鏡頭以及雙像素對焦系統(tǒng)來提升景深計算能力，讓用戶無論遠近都能借助人像模式拍出漂亮的虛化照片；同時我們也改善了照片中的背景虛化效果（也被稱為「散景」），使其更接近專業(yè)的單反相機。

Pixel 4的人像模式可在近距離和遠距離進行人像拍攝，能夠帶來類似 SLR 的背景虛化效果（照片來源：Alain Saal-Dalma 和 Mike Milne） 雙像素對焦簡要回顧

Pixel 2 和 Pixel 3 都使用相機自身的 雙像素自動對焦系統(tǒng) 來測量景深。

通過將每個像素點一分為二，雙像素自動對焦系統(tǒng)讓每半個像素點都能經(jīng)由鏡頭光圈生成略有不同的兩個部分。通過分別讀取每個部分的像素圖像，傳感器就可以獲得視角稍有不同的兩個畫面。

這些畫面雖然來自單攝相機，但它們的成像效果和同時在主鏡頭光圈兩邊固定一對相機的效果類似。當我們在這兩個視角之間切換時，就會發(fā)現(xiàn)被攝主體固定在同一位置，背景則像是有了立體的空間感。

因為燈泡離鏡頭更近，它帶來的視差效果也比第二張人像更加明顯

這種空間感又被稱為視差效果，它的大小、程度取決于景深。通過尋找不同視角成像中同一像素的對應(yīng)關(guān)系，我們得以感知畫面的視差效果大小并以此來估計景深信息。

與鏡頭距離越遠的畫面，視差效果就越不明顯。以上圖為例，我們可以以此輕易地獲取近距離拍攝的燈泡與周邊各個物件的景深。

但同時視差效果還取決于 雙目視覺的基線 ，也就是雙攝系統(tǒng)中兩個鏡頭（或者是雙像素系統(tǒng)中的兩個「虛擬相機」）的距離。由于雙像素系統(tǒng)被塞在單一一個攝像頭中，它的基線長度僅有 1mm 不到，換句話說雙像素系統(tǒng)很難估計照片中遠景的景深。

同樣以上圖為例，在畫面右側(cè)的人像拍攝場景下，即便借助雙像素對焦以不同視角進行成像，作為被攝主體的人物在兩組視圖中看起來也是幾乎相同的。

雙攝：雙像素對焦的強力補充

在雙像素對焦有些不夠用的時候，雙攝的引入就成為了一種有力的補充 。Pixel 4 的廣角鏡頭和長焦鏡頭相距 13mm，遠遠大于雙像素系統(tǒng)中的基線長度。由此造成的更大視差也就使得遠景中的景深更容易估算。

如下圖所示，雙像素系統(tǒng)切換視角帶來的視差幾乎難以被察覺，而在雙攝系統(tǒng)的切換下，視差非常明顯。

但即使已經(jīng)采用了雙攝，雙像素對焦所收集的信息依然十分有用 。基線距離越大，切換視角產(chǎn)生的新的可見像素就越多，而這些像素在另一視角中往往找不到相對應(yīng)的像素。

左：雙像素對焦視圖 | 右：雙攝視圖

依然以上面這張對比圖為例，不難看出，雙像素對焦獲取到的畫面具有非常微妙的垂直視差，而雙攝獲取到的畫面則有更明顯的水平視差。而如果我們僅僅使用雙攝獲取到的兩個畫面來測算景深，主攝視角中緊靠人物右邊的背景像素在副攝視角中是沒有對應(yīng)像素作為參考的。

因此如果僅使用雙攝，通過測量對應(yīng)像素的視差來估計景深就不太可能了；然而在雙像素對焦的幫助下，不同視角畫面中的像素仍然可以一一對應(yīng)。將二者結(jié)合起來，我們就能更好地估算這些區(qū)域的景深信息了。

最后，同時啟用雙像素對焦系統(tǒng)和雙攝系統(tǒng)也可以解決孔徑問題，這一點在我們先前的博文中已有描述：當畫面中存在大量橫向和縱向畫面內(nèi)容時，不管是雙像素對焦系統(tǒng)還是雙攝系統(tǒng)都很難單獨對這些畫面內(nèi)容的景深進行判斷。

Pixel 3 曾借助學習景深來解決立體景深難以搞定的背景虛化問題

而在 Pixel 4 上雙像素對焦和雙攝的排布基準線是垂直的 ，因此我們可以估算畫面中任何方向線條的景深信息。

三個圓圈中的斜線在視覺效果上有著相同的運動軌跡（左上方向），但實際卻可以由三種運動方式來完成

有了這些信息作為綜合補充，我們就可以估算遠處物體的景深，同時減少所有場景下的景深處理誤差了。

綜合計算景深，算法魔力依舊

上面提到，去年我們曾展示過在雙像素對焦系統(tǒng)下如何使用機器學習來估算景深效果（并解決孔徑問題）。

而對 Pixel 4 上的人像模式而言，我們拓展了這種估算方式：通過使用 Tensorflow 訓練的卷積神經(jīng)網(wǎng)絡(luò)，同時估算雙像素和雙攝系統(tǒng)下的景深效果。這種神經(jīng)網(wǎng)絡(luò)會將輸入的編碼先轉(zhuǎn)為中間編程語言，因此它先使用兩個不同的編碼器來分別處理雙像素和雙攝系統(tǒng)的輸入，然后再由一個單獨的解碼器通過中間編程語言來計算景深。

卷積神經(jīng)網(wǎng)絡(luò)可以根據(jù)雙像素對焦和雙攝的信息綜合計算景深信息

為了強制讓機器學習的模型同時使用兩路輸入，在訓練的過程中我們采用了一種刪除技術(shù)，也就是隨機的將一路輸入設(shè)置為零。 如此這般以教會模型合理處置異常，包括可能面臨的一路輸入不可用的情況，比如畫面主體太近輔助長焦鏡頭無法對焦的時候。

雙像素對焦和雙攝在景深計算的過程中各盡其能

上圖中的燈籠展示了這個算法如何借助雙像素對焦和雙攝獲取的兩路信號，協(xié)同解決孔徑問題的過程：一路輸入只能使我們準確地預測一個方向上線性景深（就像水平之于雙像素，垂直之于雙攝）；而兩路信號協(xié)同，我們就可以在任意方向上再現(xiàn)線性景深。

至于下半部分的人像，對于手臂和軀干之間的遮擋區(qū)域，雙像素系統(tǒng)能提供了更好的景深信息；而對于背景和地面，基線距離更大的雙攝則能發(fā)揮更好的作用。雙像素對焦系統(tǒng)在景深測量中的表現(xiàn)偏好在畫面左上角和右下角體現(xiàn)得尤為明顯，你可以在 這里 查看更多示例。

媲美單反的背景虛化

淺景深照片或者說背景虛化的照片讓很多攝影師癡迷。而在那些由單反拍攝的高品質(zhì)背景虛化照片中，最引人注意的一個點莫過于：散焦狀態(tài)下，背景中區(qū)域面積較小的明亮區(qū)域會出現(xiàn)散布，當這些區(qū)域的亮度夠高時，則會在畫面中形成圓形光斑。

左：單反相機的虛化光斑 | 中：舊版人像模式的光斑效果 | 右：新版人像模式的光斑效果

為了重現(xiàn)這種背景虛化效果，我們采用了一個半透明「圓盤」來替換畫面背景中的對應(yīng)像素，這個圓盤的大小則取決于景深。實質(zhì)上也是對原始圖像的一種模糊處理。

而在過去，這種模糊處理通常是在色調(diào)映射（即將原始傳感器數(shù)據(jù)轉(zhuǎn)換為可在手機屏幕上查看的圖像）之后進行的，在色調(diào)映射的過程中，原始數(shù)據(jù)的動態(tài)范圍會被壓縮，陰影區(qū)域相較于高光區(qū)域也會變得更加明亮；不幸的是，這種處理流程也會導致相關(guān)場景中物體亮度信息的丟失，沒有這些信息，我們就很難模擬出高對比度的背景虛化效果，結(jié)果往往是背景虛化的光斑與背景融合在一起，遠沒有單反成像那么自然。

解決這個問題的方法在于，先虛化由 HDR + 生成的、合并后而來的原始圖像，然后再進行色調(diào)映射 。 這樣一來，背景虛化中的光斑效果更明亮也更明顯，同時前景、背景的畫面飽和度也能保持一致。

這個功能已經(jīng)向 Pixel 4 以及 Pixel 3/3a 機型進行推送，升級到 Google Camera 7.2 既可體驗。你也可以在 這里 查看更多樣張。

色調(diào)映射前進行虛化處理，可以讓背景更加飽和、光斑效果的對比度更高 實際拍攝技巧

通過提升景深質(zhì)量，減少最終成像中的計算誤差并優(yōu)化背景虛化的最終觀感，我們讓 Pixel 4 的人像模式變得更優(yōu)秀了。

不過當相機距離拍攝物體至少有 20cm（長焦副攝的最小對焦距離）距離時，雙攝和雙像素對焦的綜合景深計算最為有效。 因此為了獲得更好的人像模式成片質(zhì)量，不妨在手機與拍攝景物間保持這個距離。

相關(guān)鏈接：

• - Google AI Blog
• - Google Photos

關(guān)聯(lián)閱讀：

> 下載少數(shù)派 、關(guān)注 ，領(lǐng)略 Google 計算攝影的魅力 ?

> 特惠、好用的硬件產(chǎn)品，盡在