Google construyó una plataforma 'Frankenphone' con 5 teléfonos inteligentes Pixel 3 para mejorar las tomas de retratos

Google Pixel 3 y Pixel 3 XL demuestran lo que los datos y la fotografía computacional pueden hacer mucho con una sola cámara.



Google Pixel 3 y Pixel 3 XL , a pesar de todos los errores y problemas reportados por los usuarios, tienen una de las mejores cámaras en cualquier teléfono inteligente en este momento. 



Uno de los elementos curiosos del sistema de cámara del Pixel 3 es que logra la mayoría de lo que los dispositivos de la competencia son capaces de lograr con una sola lente. Mientras que competidores como Samsung, Apple y Huawei usan una lente secundaria para el efecto de profundidad, Google usa solo una sola lente para lograr lo mismo y, en algunos casos, las tomas de retratos de Pixel 3 son muy superiores a las de dispositivos rivales.
Como fue el caso el año pasado con el Pixel 2 y el Pixel 2 XL , Google utiliza software y otra fotografía computacional para lograr este efecto. Ahora, en una publicación de blog, Google explica cómo predice la profundidad utilizando un sistema de cámara única en Pixel 3 y Pixel 3 XL. Rahul Garg, investigador científico y Neal Wadhwa, ingeniero de software, escribieron que el Pixel 2 usaba píxeles de autofoco de detección de fase (PDAF) (también conocido como autofocus de doble píxel) junto con un algoritmo estéreo tradicional no aprendido para capturar imágenes en modo retrato con fondo borroso

Dado que el sistema PDAF de doble píxel es capaz de capturar dos vistas ligeramente diferentes de la misma escena, Google explotó la tecnología para crear un efecto de paralaje para los retratos. Esto se usa aún más para crear un mapa de profundidad con el fin de lograr el efecto bokeh. Sin embargo, con el Pixel 3 , Google dice que quería mejorar estos fundamentos y producir imágenes aún mejores.



Para lograr mejores tomas de retrato en el Pixel 3, Google dice que se enfocó en el aprendizaje automático que permite una mejor estimación de la profundidad y produce mejores resultados. Google dice que el algoritmo de aprendizaje automático está entrenado para comprender que la profundidad producida a partir de algoritmos estéreo es solo una de las muchas señales presentes en las imágenes. Una de las nuevas señales que agregó este año es la comparación de imágenes desenfocadas en segundo plano con imágenes claramente enfocadas que acercan el tema y Google lo llama referencia de profundidad de enfoque.

También agregó otras señales, incluida una llamada señal semántica, que cuenta el número de píxeles en una imagen de la cara de una persona para comprender a qué distancia está esa persona de la cámara. 



Con los datos y las indicaciones en su lugar, Google utilizó el aprendizaje automático para crear un algoritmo que combina todos estos datos para una medición más precisa de la profundidad.
Lo más loco que hizo Google es construir una plataforma personalizada de "Frankenphone" para entrenar la red neuronal. La plataforma consistía en cinco teléfonos Pixel 3 junto con una solución basada en Wi-Fi que le permite capturar imágenes simultáneamente de todos los teléfonos. También dice que estas imágenes fueron capturadas dentro de una tolerancia de alrededor de dos milisegundos. El resultado de la plataforma se utilizó para calcular la profundidad de alta calidad de las fotos mediante el uso de una estructura de movimiento y estéreo de vista múltiple.

Google dice que cinco puntos de vista diferentes permitieron crear un efecto de paralaje en cinco direcciones diferentes y lograr información de profundidad más precisa. Mientras que la industria se movió a cuatro cámaras, Google está dando un buen ejemplo, en cuanto a cómo los datos y la fotografía computacional pueden hacer lo mismo con una sola cámara.

Tags
loading...