編注

每年 Google 都會通過博文分享他們在計算攝影上的最新成果及背后的實現方式，今年也不例外。

作為 Pixel 4 的賣點之一，能夠拍到銀河、星空的「天體攝影」模式相比去年的夜視模式有什么不同，Google 相機團隊在實現這個功能的過程中又克服了哪些困難？

我們翻譯整理了 Google AI Blog 上的最新博文，為了保證可讀性，成文與原文在結構和部分表述上略有調整。如果你對原文感興趣，可以通過文末原文鏈接跳轉閱讀。

戶外場景的夜間拍攝一直被單反這樣的大尺寸鏡頭所主宰，只要攝影師愿意忍受沉甸甸的設備和可能會非常棘手的后期處理，他們往往可以得到質量出色的照片。早些年使用手機相機進行夜間攝影的 雖然也得到了 ，但除了小部分攝影愛好者，當時所采用的方法對大多數用戶來說都欠缺實操性。

直到去年搭載夜視模式功能的 Pixel 3 的出現，借助 Google Camera 應用中的夜視模式，即便在極暗的拍攝環境下，攝影愛好者們也可以在手持狀態下拍出好看的照片——在同樣的情況下，正常拍照模式往往只能拍出擁有大量噪點、曝光嚴重不足的圖像。我們的團隊之前曾在的一篇 中介紹過夜視模式是如何實現這種拍攝效果的，同時也藉由 SIGGRAPH Asia 2019 會議公布了相關的 。

在今年的夜視模式更新中，我們將繼續嘗試突破手機相機在暗光攝影下的極限：最新版本 Google Camera 允許 Pixel 4 通過最多 4 分鐘的曝光時間（在 Pixel 3/3a 上最多 1 分鐘）來進行夜視模式拍攝，在不借助任何人造光源的情況下，這也讓拍攝一張清晰、銳利的星空照片或夜景成為了可能。

圖注：九月夜晚無云無月下的銀河，使用 Pixel 4 XL 攝于哈雷阿卡拉火山山頂，未進行任何后期。在如此漆黑的夜晚，這張照片展現了遠多于人類肉眼所能觀察到的細節：銀河中的塵埃云清晰可見、天穹下布滿了成千上萬顆恒星……且與人類在夜間所看到的景象不同，這張照片充滿了豐富的色彩。

夜視模式回顧

相機圖像傳感器本身在光量檢測上的不確定性，導致了「散粒噪聲」的出現。這些散粒噪聲一般會讓圖像看起來很粗糙。考慮到散粒噪聲隨光量的增加而降低的特性，要想拍出高質量的照片，最好的辦法就是增加相機收集的光量。不過受相機鏡頭光圈的限制，在特定時間內能夠到達圖像傳感器的光量總是有限的。

盡管可以通過延長拍攝曝光時間的方法來進行提升，但運動場景下的拍攝或是手持相機時的抖動，又會在長時間曝光的過程中造成像模糊。

為了克服這一問題，Google 相機的夜視模式把傳統的曝光拍攝過程進行分割，通過一系列曝光時間更短的單幀畫面來減少上面提到的各種模糊問題。這些短曝光畫面幀會被校準、對齊，用來補償手持時的抖動以及場景中被攝對象的運動；然后再進行整合，打磨無法完美對齊的畫面細節。

各個單幀看起來可能充滿噪點，但經過對齊、整合處理后的圖像看上去要干凈不少。

對曝光時間的探索

初版夜視模式甫一成型，我們就開始探索在極暗條件下的戶外拍攝天文星象的可行性。

正如早前實驗所揭示的那樣，我們意識到想在嚴苛光線條件下拍出高質量照片，所需要的可能遠不止幾分鐘的曝光時長。這對于手持相機拍攝來說顯然也太不現實了：手機必須放置在三腳架、巖石或者其他任意可以能固定手機的地方。

同時正如用夜視模式手持拍攝一樣，夜間景觀拍攝也必須考慮到場景中的運動因素：風中搖曳的樹、空中飄蕩的云、東升西落的皓月與星辰。對于拍攝者來講，照片中模糊的云朵與樹枝尚可接受，畢竟它們在畫面中不必鮮明奪目；但星星不可以，它們在運動狀態下長曝光成像出來會變成一條條的線段。

為了避免這種情況，我們想將單幀畫面的曝光時間切分得更短，短到讓星光看起來是一個光點。而在進一步摸索的過程中，我們發現要拍攝出這樣的夜空照片，單幀的曝光時間應控制在 16 秒以內。

圖注：單幀兩分鐘曝光，因運動模糊產生的星軌

對于單張夜間景觀照片的拍攝而言，每一次快門的總幀數、也就是總計曝光時間不僅僅受到技術因素的限制，更受制于拍攝者的耐心。極少人會愿意為一張照片等待四分多鐘，所以我們就把單張夜視模式照片控制在 15 幀以內，每幀最多 16 秒。

對我們來講，每幀 16 秒的曝光可以捕獲足夠的光線來生成一張具有清晰辨識度的照片。但是對于一個能拍照、還要拍好的相機 App 來講，它還必須能處理一些低光攝影所特有的問題。

「天體攝影」如何解決四大難題問題一：暗電流與熱像素

暗電流 的存在會導致 CMOS 傳感器產生雜散信號，即使在沒有任何實際光線的情況下，相機在也會生成類似因少量像素曝光生成的圖像。

在曝光時間較短的情況下，這個現象的影響微不足道，但當曝光時間延長至數秒，暗電流造成的雜散圖像信號就非常明顯了。由于傳感器硅基板大多存在不可避免的缺陷，某些像素相比周圍的像素會產生更多的暗電流，在一幀已經記錄下的畫面中，這些「熱像素」就會以肉眼可見的小亮點呈現出來。

為了識別出這些熱像素，我們通過對比某張照片中同一幀畫面、以及多幀畫面中同一位置的相鄰像素來計算 逸出值，檢測到的逸出值后，再通過臨近像素平均值替代的方法來得到隱藏。

因為這里同時棄用了熱像素區域原始畫面的像素值，理論上來說也會導致一定的畫面信息丟失，不過實際表現中成像質量因此受到的影響幾乎是肉眼不可見的。

圖注：左圖展示了的長曝光圖像中，部分區域因熱像素和暗電流存在出現的異常光點；右圖同樣的畫面中，逸出值被處理后地面風景和場景中的正常燈光依然得到了保留。

問題二：取景構圖

智能手機一般將屏幕作為電子取景器——相機捕捉到連續的畫面幀，然后以實時視頻的方式呈現出來用于后續拍攝合成，這些連續捕捉到的畫面幀會用于自動對焦、自動曝光和自動白平衡系統。

為了便于拍攝者與之交互，取景器會以至少 15 幀每秒的幀率進行更新，在這種幀率下，取景器每幀的曝光時間也被限制在了 66ms。如何在暗光環境下讓取景器呈現出足夠的畫面細節也充滿挑戰：在光照效果低于滿月水平的夜間，取景器中的圖像大部分都會變成灰色——可能會有一些明亮的星星，但沒有地面的景物細節——這時取景構圖都變得非常困難。

夜視模式通過「快門后取景」的呈現方式來協助暗光場景下的構圖。

在快門被按下之后，每一次長曝光生成的畫面幀都會立即呈現在取景器內。在總曝光時間翻倍至 16s 的狀態下，每個畫面幀所收集到的光線可達通常情況下的 250 倍，這樣一來拍攝者在第一幀被捕獲到的同時，就能從取景器中感知到畫面細節了。

在長曝光拍攝的過程中，我們也可以借此移動手機來調整構圖。確保構圖正確后取消第一次拍攝，然后在理想的構圖情況下拍攝第二張照片即可。

圖注：左圖為夜視模式下戶外暗光場景的取景器畫面，除了遠處建筑的零星光線，地面風景和天空細節都幾乎不可見；有圖為長曝光拍攝過程中「快門后取景」獲得的取景器畫面，可以看到畫面更加清晰，同時每一幀長曝光的結果都會更新到畫面當中。

問題三：自動對焦

自動對焦 能夠保證相機成像效果的銳利。

在正常情況下，相機會分析取景器中傳入的畫面幀、判斷鏡頭與傳感器之間的距離然后才能保證圖像準確對焦。而在暗光環境中，取景器中的畫面幀亮度低、噪點多，缺少必要的畫面細節來讓自動對焦正常工作。

在這種情況下，Pixel 4 的夜視模式會切換到「快門后自動對焦」模式：當用戶按下快門按鈕后，相機會捕捉曝光時間最長為 1s 的兩幀畫面來協助完成自動對焦。這樣的曝光時間足以生成用于暗光自動對焦的圖像細節。

另外，這些畫面幀僅用于鏡頭對焦，不會直接合成到最終圖像當中。在暗光拍攝時，通過長曝光獲取的畫面幀能夠幫我們獲取到連人眼都無法清晰辨別的銳利細節。但如果拍攝環境實在過于昏暗，「快門后自動對焦」其實也無法正常工作。

在這種情況下，相機默認會將對焦距離設定為「無限遠」。此外夜視模式還提供了手動對焦選項，允許用戶在極暗拍攝條件下對近處物體采用手動對焦。

問題四：天空的后期處理

在手機上查看極暗環境下拍攝的夜景照片時，你會發現這些照片往往都比原始場景更加明亮。

這種現象可能會影響人們對照片實際拍攝時間的推測，畢竟我們一般認為夜景中的天空應該是昏暗的。如果一張夜間拍攝的照片最終呈現的是一片明亮的天空，我們可能會將其看作是日間拍攝場景或場景中有其它非自然光源。

在暗光場景中，夜視模式通過有針對性地降低天空亮度來解決這種問題。

為此我們使用了機器學習來檢測畫面中天空的部分——這里用到了一個離線 卷積云神經網絡，它經由 10 萬多張照片的訓練而來，每一張照片都由人類手動標記過。因此夜視模式能夠精確識別圖像中每一個「是天空」和「不是天空」的像素。

圖注：滿月夜晚拍攝的風景，左側為沒有后期處理過的天空，右側則降低了天空的亮度。注意地面風景的亮度并未受到影響。

基于這種對天空區域的檢測，我們同樣也用來針對天空進行 降噪處理，比如有選擇性地增加對比度，以此保證云朵、色彩漸變和銀河這類景象特質更加突出。

仍有進步空間的結果

將手機固定在三腳架上，夜視模式就能清晰地拍下繁星點點的夜空，場景中哪怕有一丁點的月光，地面上的景象也可以被清楚而生動地保留下來。

雖然手機相機的能力并非沒有上限，但總有可以進步的空間：夜間場景整體而言都比較昏暗，它們通常會包含月光、街燈、北極星這樣的明亮光源。盡管現階段我們能夠捕捉到被月光照亮的夜景甚至月球表面的細節，在超過 500000:1 這樣的極限大光比條件下，我們依然無法在同一張照片中同時保留下亮部和暗部的細節。

類似的，在只有星光作為光源時，我們也只能清晰地拍下夜空，地面景色最多只能呈現為可見的剪影。

天體攝影模式樣張組圖

對 Pixel 4 而言，我們一直以夜空中最亮的部分、也就是靠近人馬座星系的區域，作為沒有月亮時的夜景拍攝測試基準，在這種標準下夜視模式的表現非常出色。盡管這些星空照片會呈現一些殘留噪點，相比人眼在仰望現實世界的星空時，這些照片能展現更多星星和更多細節，視覺觀感非常舒服。

拍攝小技巧

在開發、測試夜視模式和天體攝影功能的過程中，我們也積累了不少使用 Pixel 手機進行戶外夜景拍攝的經驗。我們想把這些對我們有用的技巧和提示分享出來，你可以前往 這里 閱讀。

相關鏈接：

關聯閱讀：