比iPhone XR還厲害!新iPhone SE如何實現牛逼單攝虛化

售價僅為3299元的iPhone SE2,雖然並不支援5G網路,但是憑藉蘋果A13晶片+IOS系統成為了一款「真香機」。

不過,有些業內人士表示,iPhone SE2手機並沒有太多的亮點,它更像是一款換芯版的iPhone 8。

4月27日,iFixit 分享了iPhone SE2拆解報告,確認大部分iPhone SE2的零件可以與iPhone 8通用。其中,iPhone SE2的相機感測器可以與iPhone 8互換。

比iPhone XR還厲害!新iPhone SE如何實現牛逼單攝虛化

手機具有便捷性這個顯著的特徵,這似乎和攝影功能是天造地設的一對。很顯然,整個電子影像行業比用戶更早察覺到這一點。

iPhone SE2的攝像功能怎麼樣?

對於攝影愛好者來說,iPhone SE2隻配備1200萬像素的鏡頭,並缺少廣角和微距鏡頭。iPhone SE2不支援超級夜景模式,前置攝影機只有700萬像素。

iPhone SE2是第一部只使用單個2D影像就不會產生人像效果的iPhone。

比iPhone XR還厲害!新iPhone SE如何實現牛逼單攝虛化

例如,當使用Halide這款應用進行測試時可以發現,第一方相機僅允許在人物主體上使用人像模式。

當發現這個情況的時候,有些用戶會表示iPhone XR也如此。儘管iPhone XR具有單個攝影機,但它仍然可以通過硬體獲得深度資訊。

iPhone XR利用了感測器的聚焦像素,用戶可以將它們視為旨在幫助手機聚焦的微小「眼睛」。

iPhone XR利用從每隻「眼睛」中看到非常細微的差異來生成非常粗糙的深度圖。

iPhone SE2無法使用聚焦像素,因為iPhone SE2的感測器覆蓋範圍不足,但是,iPhone SE2完全可以通過機器學習來產生具有深度的照片。

iPhone SE2的這個特點可以進行簡單的測試:拍攝照片而不是實物。

例如,以全螢幕方式載入這張照片,然後使用iPhone SE2進行拍攝:

比iPhone XR還厲害!新iPhone SE如何實現牛逼單攝虛化

從圖片上可以看出,使用iPhone XR的時候可以看到幾乎平坦的表面,似乎是使用了彩色影像改進了該深度圖,可以猜測該圖中間的部分略高於前景中。

比iPhone XR還厲害!新iPhone SE如何實現牛逼單攝虛化

然而,iPhone SE2生成完全不同的深度圖。儘管這個深度圖是錯誤的,但是結果讓人難以置信!

比iPhone XR還厲害!新iPhone SE如何實現牛逼單攝虛化

iPhone SE2在現實世界中的表現如何?

iPhone SE2非常適合給人進行拍攝,但是當鏡頭裡沒有人出現時,這部手機有時會出錯。

例如,手機將背景中的樹木與狗狗的頭部混淆了。

比iPhone XR還厲害!新iPhone SE如何實現牛逼單攝虛化

以下圖為例,當用戶使用iPhone 11 Pro和SE2拍攝了該照片,很明顯,擁有多個攝影機可以生成更好的數據。

比iPhone XR還厲害!新iPhone SE如何實現牛逼單攝虛化

儘管iPhone 11捕捉了整個走廊的深度,但iPhone SE2卻錯過了退到背景中的地板。

比iPhone XR還厲害!新iPhone SE如何實現牛逼單攝虛化

這對真實世界的照片意味著什麼?以擁有不同層次的多肉植物為例。

比iPhone XR還厲害!新iPhone SE如何實現牛逼單攝虛化

iPhone 11 Pro在深度圖中顯示出明顯的邊緣;iPhone SE2獲得了事物的要點。

比iPhone XR還厲害!新iPhone SE如何實現牛逼單攝虛化

如果用戶更喜歡iPhone SE2的外觀,則始終可以使用iPhone 11 Pro重新創建它。但是,用戶無法在iPhone SE2上獲得iPhone 11 Pro的獨特分層。

分層是Apple的另一個機器學習過程中發揮作用的地方。

除了iPhone XR外,Apple還引入了「 Portrait Effects Matte」 API,可以檢測照片中的人物並創建非常細膩的模糊成相。

比iPhone XR還厲害!新iPhone SE如何實現牛逼單攝虛化

只要前景中的物體清晰且聚焦,大多數用戶都可以在背景模糊的情況下玩兒轉攝影。

沒有什麼可以阻止Apple讓用戶對所有事物進行深度照片拍攝,但是Apple寧願設置「人像模式僅適合人」的情景,也不願讓深度效果不能達到預期而讓用戶失望。

機器學習是否會達到不再需要多相機設備?

人類的大腦遠強於機器這毋庸置疑。與全新的iPad Pro不同,人類的眼睛沒有任何光學雷達可以為人們提供深度資訊。相反,人類的大腦卻可以從許多源頭收集資訊。

最好的深度來源於人類每隻眼睛的兩個影像,人類大腦在影像之間「連接點」的差異越大,物體與人眼的距離就越遠。這種雙目方式類似於雙攝影機iPhone的深度功能。

猜測深度的另一種方法是通過運動。當人們走路時,遠處物體的視覺移動速度比附近的物體慢。

這類似於增強現實應用程式感測用戶在世界中位置的方式。對於攝影師來說,這不是一個很好的解決方案,因為在拍攝照片之前要求某人在空中揮動手機幾秒鐘是很麻煩的。

那麼,iPhone如何從單個(單眼)靜止影像中找出深度?

可以想像一下一個用一隻眼睛看世界的人,他過正常生活的時候會經歷許多麻煩。例如,開車要花費更多的精力。

正常視覺的人以其他線索來判斷距離,例如已知對象的相對大小。

在猜測深度時,單個影像可以有多種解決方案。

歸根結底,神經網路具有魔力,但它們受到與人類智慧相同局限性的約束。

在某些情況下,僅一張影像是不夠的。機器學習模型可能會提出合理的深度圖,但這並不意味著它可以反映現實。

如果用戶的目標是準確捕獲場景,以最大程度地編輯緯度,則在這裡需要雙攝影機系統或其他感測器如光學雷達。

機器學習會超越多相機手機嗎?顯然是不可以的。

正如拿攝像機與人眼相比,從物種起源開始算起,人類用億萬年的時間進化出來的肉眼,目前來看眼睛的能力機器是無可替代的。

因此,如果想要機器學習的速度趕超多相手機,那麼至少需要學習幾年甚至幾十年的時間。

Tags: