在今年 iPhone 的三攝系統以及國產的幾臺「拍照神仙」面前，一直靠著算法打天下的 Pixel 4 確實不再像以前那樣搶眼了。

「祖傳」的 IMX363 到今天規格只能淪為別人家的副攝，新增的兩倍長焦在別人已經上到 3 倍 5 倍的情況下也不太夠看，還缺失了實用性更高的超廣角。

但是在發布會上有一個功能還是讓人很驚艷——天文攝影。雖說「可以拍星星的手機」這種名號早已在國產手機上見過，但 Google 做出來就還是很讓人好奇它們是怎么實現的，這其中 Google 都在算法上做了什么。

要挖掘這些秘密，Google 的博客是最好的資料館，Google 在 Pixel 4 手機發布后已經在博客上發表過多篇功能詳解的文章，而天文攝影功能就是最新的一篇。

自從 Night Sight（夜視）功能推出以來，Google 就在一直研究在室外暗光拍攝的目的。除了普通的景物之外，Google 意識到拍攝夜晚的天空可能也是一種拍攝場景，并為開發了天文攝影功能。

暗光拍攝有一個大敵就是噪點問題，在進光量不足的情況下，夜晚拍攝的照片會出現讓人無法容忍的噪點。解決的方法當然是增加進光量，至于如何增加增加進光量，延長曝光時間是最直接和簡單的方法，但隨之而來的問題就是會因為場景中物體的運動和手持不穩定導致模糊。

克服這個問題的方法是使用多幀合成來進行提亮降噪，將連續曝光分為多個幀之后，每一幀通過較短的時間曝光，然后對齊幀并補償場景內的物體運動和手持晃動，之后再通過算法仔細處理沒有完美對齊的地方，盡管單個幀看起來可能非常粗糙，但經多幀合成之后亮度、清晰度和純凈度都會得到大幅提升。

暗光的拍攝的另一個問題是自動對焦會變得很不好用，失焦的狀況時有發生。在正常的情況下，光線射入鏡頭到傳感器，然后對焦系統會通過不同的對焦方式判斷景物距離鏡頭有多遠從而完成自動對焦，但是在暗光下畫面通常會變得很暗且充滿噪點，缺乏圖像細節導致自動對焦系統無法正常判斷的景物的距離從而對焦失敗。如果發生這種狀況，Pixel 4 上的 Night Sight 會轉化到「先快門后對焦」的策略，在用戶按下快門后相機將捕獲兩個自動對焦幀，曝光時間最長為一秒，即便在弱光下也能夠捕捉到畫面細節，但這兩幀只負責進行對焦，并不參與最終成像。

長曝光對焦已經能夠讓比人眼還暗的環境下完成自動對焦，但偶爾的時候一秒的長曝光對焦出來的畫面仍然太暗，在這種情況下相機將會對焦至無限遠處，從而應對極暗的夜空這樣的場景，同時 Night Sight 還支持手動對焦，使得用戶能夠在非常暗的環境下手動將焦點對到附近的物體之上。

上面這些就是現在絕大多數手機在暗光拍攝時會做的事，無論是 AI 自動判斷的夜景還是手動切換夜景模式，本質上都是這一套流程，但是要天文攝影的話在需要更為精確的限制，比如限制總幀數要多少張，每一幀有最大曝光時間限制在多少秒。

為了在拍攝效果和拍攝體驗中獲得平衡，Google 進行了大量的曝光時間實驗。就像 Night Sight 做的那樣，夜間拍攝必須要考慮到場景中物體的運動情況，比如樹木在風中搖曳，云朵在天空中飄蕩，月亮和星星也會逐漸升起和落下。并且拍攝者也沒有耐心等待太久時間。

最后 Google 決定將一次 Night Sight 的多幀合成限制為 15 幀，每幀的最大曝光時間為 16 秒，拍攝總時間最大限制為 4 分鐘。

至于 CMOS 本身因為暗電流產生的熱噪點，Google 通過比較幀序列中相鄰像素的值篩查中這些異常的噪點，一旦檢測到離群值，就用其鄰域的平均值替換以將其隱藏，雖然會丟失一點點畫面信息，但是最后生成的照片則會純凈很多。

為了讓攝影師能夠實時進行構圖和判斷，手機屏幕作為取景器一般至少會每秒更新 15 次畫面，將曝光時間限制為 66 毫秒。但是在極為黑暗的環境下，這樣的曝光時間根本不足以看清畫面，取景器很可能變得漆黑一片，或者只有一點點模糊的影像。

為了幫助在暗光環境下構圖，Night Sight 會將曝光的每一幀顯示在取景器上，最高 16 秒的曝光可以清晰看到景物，攝影師可以以此來進行構圖，并在完全調整好的情況下拍攝第二張照片。

夜空拍攝的還有另一個問題，有時候曝光時間太久，你在屏幕上看到的樣張會比實際環境亮非常多，我們常說某些手機「把夜晚拍成白天」或者「夜視儀」就是如此，但是在天文攝影上天空并不需要過于明亮，而是和星光形成反差。為此 Google 使用了卷積神經網絡和機器學習來訓練，通過跟蹤天空的輪廓并對超過 10 萬張照片進行人工標記，從而將畫面中的像素標記為「天空」或者「不是天空」。

之后算法會將天空的部分壓暗，以便讓天空不會過于明亮，減小與地面的亮度差，從而得出整體曝光和觀感更加優秀的夜景照片。

通過以上一系列操作的結果，Pixel 4 能夠在三腳架上獲得非常不錯的星空表現，或者借助遠處的光源，比如月光和路燈拍出一張較為明亮清晰的照片。Google 團隊還將人馬座作為無月星空下的天空拍攝質量標準，最后得到比人眼所見更多的星空細節。這就是 Pixel 的天文攝影。

文章配圖來自 Google AI 博客，題圖來自 TechRadar