Peneliti dari Universitas Nottingham dan Kingston University mengembangkan metode langsung untuk merekonstruksi informasi kedalaman 3D dari gambar wajah 2D. Metode ini, bekerja pada wajah 2D manapun, ini adalah langkah pertama untuk menghasilkan selfie 3D dan hanya masalah waktu sampai model ini masuk ke dalam smartphone.

Gagasan 3D selfies telah ada selama beberapa waktu. Tentu, Abda dapat dengan mudah menggunakan sensor 3D Microsoft Kinect untuk memindai wajah dan membuat model 3D darinya. Tapi masalahnya, ilmuwan komputer University of Nottingham dan Kingston University berusaha untuk memecahkan masalah yang berbeda – dengan merekonstruksi gambar 3D dari gambar masukan 2D tunggal. Masalah ini bukan hal sepele – sebenarnya, belum belum terpecahkan untuk waktu yang lama.

Masalah umum rekonstruksi lebih seperti mengisi kekosongan yang memberikan informasi kedalam beberapa bentuk, tugas ini menghasilkan informasi baru, atau untuk memulihkan informasi yang hilang. Misalnya, ketika kita mengambil selfies, informasi kedalaman 3D dari wajah kita hilang; Dalam fotografi Hitam Putih, informasi kedalaman dan warna hilang; Pada gambar yang tidak fokus / buram, informasi bentuk benda hilang.

Periset yang dipimpin oleh Aaron Jackson, seorang mahasiswa PhD dari University of Nottingham, telah mengembangkan tipe baru Convolutional Neural Network (CNN) yang disebut Volumetric Regression Network (VRN). VRN, yang dijuluki sebagai hourglass network, dasarnya ialah memetakan setiap fitur wajah dari gambar 2D ke titik 3D. Model VRN mengambil gambar warna 2D dari wajah dan mengeluarkan volume 3D dari mesh wajah terluar diperbaiki. Coba demo disini.

Mereka melatih mode ini dengan kumpulan data dari lebih dari 60.000 pasang gambar. Fitur yang menakjubkan adalah model ini bisa merekonstruksi geometri wajah 3D bahkan untuk bagian wajah yang tidak terlihat. Ini merupakan terobosan penting, terutama untuk aplikasi VR dan AR.

Penelitian Deep Learning, telah membuka kode mereka di Github. Tapi sebelum mempelajari kode, perhatikan hasilnya di sini. Ingat bagaimana wajah Barack Obama dipindai 3D menggunakan 50 lampu LED custom dan 8 kamera GoPro? Penelitian ini bisa membuatnya dengan beberapa snapshot wajahnya dari penampilan publiknya.