เผอิญช่วงนี้ทำงานเกี่ยวกับความลึกของภาพที่ถ่ายจากกล้องมือถือโดยตรงอยู่พอดี (จริง ๆ ก็ทำมาหลายเดือนแล้วหละ) ซึ่งหลังจากเล่นกล้องที่ถ่ายรูปหน้าชัดหลังเบลอมาหลายสิบรุ่นเกือบครบทุกยี่ห้อ อยากจะบอกว่า

ภาพหน้าชัดหลังเบลอจะดีหรือไม่ดีนี่ขึ้นอยู่กับว่า ตอนถ่ายกล้องสามารถจับความลึกของภาพได้ละเอียดแค่ไหน เป็นประเด็นหลักเลยหละ

ถ้าต้นทางมาไม่ดี ยังไงซอฟต์แวร์ก็ไม่มีทางทำให้มันดีเยี่ยมได้ ในทางตรงกันข้าม ถ้าต้นทางเก็บมิติความลึกมาดี การจะเอามาต่อยอดทำอะไรก็มีความเป็นไปได้เยอะแยะมากมาย

วันก่อนพอได้ Note 10+ ซึ่งมาพร้อม DepthVision Camera (ToF Sensor) มาเล่น ก็เลยลองถ่าย Live Focus และหยิบเอารูปมาแกะ Depth เล่นซะเลยว่ามันเก็บมาได้ดีแค่ไหน และไหน ๆ ก็ไหน ๆ แล้ว เลยลองกล้องหน้าที่ตัด Depth Camera ออกไปแล้วเหลือกล้องเดียวด้วยว่าซอฟต์แวร์มันสามารถตัดตัวคนออกมาได้สมบูรณ์แค่ไหนด้วยกล้องตัวเดียว

ก่อนจะไปต่อ ขอใส่หมายเหตุตัวโต ๆ ไว้ตรงนี้ก่อนเลยว่า

Note 10+ ตัวที่ลองยังไม่ใช่เฟิร์มแวร์ที่สมบูรณ์ อาจจะมีการอัปเกรดจากนี้ได้

แต่หลังจากเล่นมาแล้ว จะบอกว่าไม่ต้องอัปเกรดก็ได้ ขอใช้เลยได้มั้ย มันยอดเยี่ยมมาก 555

เจ๋งยังไงมาดูกันละกัน เริ่มจากกล้องหลัง Note 10+ ซึ่งมาพร้อม DepthVision Camera ก่อนนะ

มิติภาพจากกล้องหลัง Note 10+

ถ่ายมาหลายภาพเหมือนกัน ขอเลือกมาสองภาพละกันคือภาพถ่ายวัตถุกับภาพถ่ายพื้นที่

ภาพถ่ายวัตถุ

อันนี้เป็นภาพที่ถ่ายมา

ใช้สิทธิพิเศษการเป็นโปรแกรมเมอร์ลองเขียนโปรแกรมแยก Depth Map ออกมาได้เป็นแบบนี้ (ใกล้สีขาว ไกลสีดำ)

จะเห็นว่ากล้องมันสามารถแยกความลึกวัตถุได้อย่างสมบูรณ์แบบมากกกก ชิ้นเล็กชิ้นน้อยอย่างแผ่นรองโต๊ะ มันก็สามารถแยกออกได้ พวกเงามันก็ไม่สับสนและตัดทิ้งได้โดยสมบูรณ์ ซึ่งที่เคยลองเล่นรุ่นทั่วไปในตลาด กว่า 95% ไม่มีทางทำได้แบบนี้ อันนี้คือเก็บรายละเอียดครบสมบูรณ์เลยจริง ๆ

แต่คนที่ยังไม่เคยรู้จัก Depth Map มาก่อนอาจจะไม่ค่อยเก็ทว่าเก็บรายละเอียดดีแค่ไหน เราก็เลยขอเอามาลองแสดงผลแบบ Visual ให้ดูกันไปเลย โดยใช้ความสามารถของ Facebook ในการสร้างภาพ 3D Photo ขึ้นมาจากภาพและ Depth Map ด้านบน ได้ออกมาเป็นแบบนี้ ! (เปิดจากคอมพ์เท่านั้นนะ หรือถ้าเปิดจากมือถือให้คลิกลิงก์แทน)

(Link)

ลองขยับ ๆ หมุน ๆ ดูจะเห็นว่ามิติของวัตถุครบถ้วนมาก ๆ แทบไม่มีที่ติเลย

ส่วนที่เห็นว่าตอนขยับแล้วมีเบลอ ๆ เงา ๆ อันนั้นเป็นเรื่องปกตินะเพราะมันก็แค่ภาพ 2D ธรรมดาแหละ แล้วเฟสบุ๊คแค่เดาส่วนที่อยู่ด้านหลัง (ซึ่งมันไม่มีอยู่ในภาพ) อาจจะมีการเดาพลาดได้บ้าง แต่ก็ไม่เกี่ยวกับ Depth Map ครับ

สรุป รูปถ่ายวัตถุ ... ผ่าน เต็ม 10 ไปเลย !

ภาพถ่ายพื้นที่

ลองถ่ายภาพแบบรวม ๆ บ้าง

อันนี้แกะ Depth Map ออกมา

เพื่อให้เห็นภาพชัดขึ้น ขอย้อมสีเป็น Heatmap

ก็จะเห็นว่าถือว่าทำได้สมบูรณ์แบบมาก ๆ อีกเช่นกัน ถึงแม้ในรูปจะมีวัตถุอยู่เยอะมากกกก (คนเอย โต๊ะเอย ฉากหลังเอย) แต่ก็สามารถทำ Depth มาได้ถูกต้องเกือบหมด อาจจะมีพลาดอยู่บ้าง เช่นผู้หญิงคนข้างหน้าสุดตรงกลาง แขน Depth ผิดเล็กน้อย แต่ที่เหลือโดยรวมคือเป๊ะมาก

และนี่คือภาพที่อัปขึ้นเป็น 3D Photo ครับ

ก็อย่างที่เห็น สมบูรณ์แบบมากแม้วัตถุจะเยอะมากก็ตาม ให้ 9.5 เต็ม 10 เลย (ตัด 0.5 ที่แขน)

ผลสรุปกล้องหลัง Note 10+

กล้อง DepthVision ของ Note 10+ มันยอดเยี่ยมมาก ไม่รู้ว่าใช้ซอฟต์แวร์มาช่วยด้วยรึเปล่า แต่มันแม่นยำมากจริง ๆ Huawei P30 Pro ที่มี ToF Sensor เหมือนกันก็ยังทำไม่ได้แบบนี้เลย ปรบมือรัว ๆ ให้ซัมซุงจ้า

ฟังก์ชั่นต่อยอดจากภาพกล้อง Note 10+ พร้อมความลึกแม่นยำ

เมื่อความลึกวัดได้แม่นขนาดนี้ เราก็สามารถทำอะไรได้อีกหลายอย่างเลย เช่น

1) เบลอภาพตามระยะที่ต้องการ - ไม่ได้มีแค่พื้นหน้ากับพื้นหลังอีกต่อไปแล้ว อยากโฟกัสตรงไหนจิ้มเลย !

2) 3D Scanner - ก็ตามที่เดโมในงานนั่นแหละ

3) ตั้งกล้องถ่ายเพื่อวัดท่าทางร่างกาย (Body Gesture) - ทำตัวเหมือนเครื่องเล่นเกมได้เลย

4) AR แบบแม่น ๆ - เมื่อการหาสภาพแวดล้อมเพื่อใช้ AR ไม่ได้ใช้แค่ภาพถ่ายอีกต่อไป แต่ใช้เซนเซอร์ความลึกในการทำงานแทน ทำให้ทุกอย่างเลยเร็วมาก อย่างตัว AR Doodle นี่คือทำงานไวมาก ขยับมือถือกึกเดียวทำงานได้เลย ไม่ต้องมาหมุนไปหมุนมาเหมือนรุ่นก่อน ๆ แล้ว

พวกนี้ไม่ได้เป็นซอฟต์แวร์ติดมากับเครื่องนะ แต่แค่บอกความเป็นไปได้ทางซอฟต์แวร์ ใครจะเขียนขึ้นมาก็ได้เพราะข้อมูลในภาพมันมีพร้อมแล้ว นี่มีบางตัวจะเขียนใช้เองอยู่เหมือนกัน ๆ

มิติภาพจากกล้องหลัง Note 10

... ลืมถ่ายมา ! ติดไว้ก่อนนะ เดี๋ยวตามมา ๆ

มิติภาพจากกล้องหน้า Note 10/10+

มาถึงกล้องหน้าซึ่งตอนนี้เหลือแค่ตัวเดียวกันบ้าง หลังจากโดนตัด Depth Camera ไปแล้ว ความสามารถในการหาความลึกจะเป็นยังไงบ้าง มาดูกัน

นี่เป็นภาพนี่ถ่ายและแยก Depth ออกมาแล้ว

อย่างแรกที่เห็นคือ Depth ของกล้องหน้าจะมีแค่ "ขาว" กับ "ดำ" เท่านั้น ก็คือพื้นหน้ากับพื้นหลัง ไม่มีความลึกละเอียดเหมือนกับกล้องหลัง ซึ่งอันนี้เป็นปกติของกล้องหน้า ๆ และก็เหมาะสมกับการใช้งานแล้ว เพราะเราใช้แค่แยกตัวคนออกจากพื้นหลังเป็นหลัก ไม่ได้ใช้ทำอย่างอื่นอยู่ละ

และถ้าดูที่รูปทรง จะเห็นว่า Depth ออกมาเป็นตัวคนที่แม่นมากกกก แต่ยังบอกว่าแม่นไม่ได้หรอกจนกว่าจะเอามาทาบกัน โอเค งั้นทาบให้ดูเลย เป็นแบบนี้ !

โอเค ชัดเจนจะเห็นว่า แม่นจริงด้วยยยยย คือตัดตรงเป๊ะะะะ เป๊ะแบบ เป๊ะะะะ (ที่เห็นว่าขอบมีรอยหยักไม่ต้องแปลกใจ เพราะกล้องเก็บ Depth ออกมาแค่ 320x256 พิกเซลเท่านั้น) ซึ่งคุณภาพความแม่นขนาดนี้นี่คือจะทำอะไรต่อกับภาพได้เยอะมาก ๆ รุ่นก่อนหน้านี้ไม่เคยแม่นแบบนี้ ประทับจายยย

ซึ่งอันนี้ถึงจะลองกับ Note 10+ แต่ตัว Note 10 ก็ใช้กล้องแบบเดียวกัน ดังนั้นคิดว่าให้ผลแบบเดียวกันครับ

ถือว่าผ่านมากกกกกกกก ให้ 10 เต็มค้าบบบบ

ฟังก์ชั่นต่อยอดจากกล้องหน้า Note 10/10+

เมื่อกล้องหน้าตัดตัวคนออกมาได้เป๊ะขนาดนี้แล้ว เราก็เลยสามารถทำ Image Process เพื่อสร้างภาพสวย ๆ ได้หลากหลายแบบ เช่น ถ้าเบลอขอบที่หยัก ๆ และใส่แสงเฉพาะบริเวณหน้าแล้ว ก็จะได้เป็นแบบนี้

ซึ่งอันนี้ทำได้อย่างอัตโนมัติด้วยซอฟต์แวร์เลยนะ ไม่ต้องมานั่งแต่งเองในคอมพ์ด้วยซ้ำ รอแค่มีคนเขียนมาให้ใช้

หรือจะวาร์ปไปเที่ยวพัทยาเลยก็ทำได้ ...

นี่คือไม่ได้ทำอะไรเลยนะ แค่ตัดตัวคนตาม Depth ที่กล้องมีให้แล้วเอาไปแปะบนพื้นหลัง จบ !

สรุป

เล่นกับ Depth Map มาเยอะมาก อาจจะเยอะอันดับต้น ๆ ในโลกละ ประทับใจ Note 10/10+ เรื่องการเก็บ Depth มากมาย

ขอยกให้เป็นมือถือที่เก็บรายละเอียด Depth ที่ดีที่สุดตั้งแต่เคยเล่นมาเกือบทุกยี่ห้อ

ตอนขายจริงน่าจะมีของเล่นจากความสามารถตรงนี้เพิ่มขึ้นเรื่อย ๆ

ถ้าไม่มีจะเขียนเอง คอยดู อยากใช้มากกกกก