Investigadores de la Universidad de Maryland han desarrollado una técnica que puede reconstruir imágenes en 3D de escenas vistas por ojos humanos. Un modelo de red neuronal logra esto a partir de los reflejos oculares que estas escenas dejan en la retina.
Existe un viejo truco del ilusionismo, que consiste en adivinar, por ejemplo, la carta que vio una persona observándola atentamente a los ojos. La sorpresa es grande cuando el mago le dice qué carta ha visto, asegurando que la imagen de la carta ha quedado retenida en su retina y que con pericia especial «mágica» es posible recuperarla. Pura ficción.
Pero la tecnología ahora puede hacer eso posible: te permite ver lo que otra persona está mirando, incluso cuando no estás a la vista de una cámara, además de recrear en 3D una escena que solo se reflejó en los ojos de alguien.
nueva técnica
Se trata de una nueva técnica de reconstrucción 3D desarrollada por un equipo de investigadores de la Universidad de Maryland, que presentan los resultados de su trabajo en un artículo publicado en arXiv. Toda esta tecnología está ampliamente explicada en su página web.
La técnica se basa en que el ojo humano es reflectante y la córnea tiene aproximadamente la misma geometría en todos los adultos sanos.
La técnica puede reconstruir imágenes 3D a partir de los reflejos que los objetos vistos han dejado en los ojos, construyendo un modelo de red neuronal llamado campos de radiación neuronal (NeRF), explica The Byte.
sola cámara
Aunque la mayoría de las aplicaciones NeRF requieren varias cámaras en movimiento que capturen una escena para generar una representación 3D, la nueva técnica solo requiere una sola cámara fija y un globo ocular.
Así, a partir de unas pocas fotos del rostro de una persona, los investigadores pueden estimar la posición y orientación de sus ojos, luego disparar haces de la cámara que se reflejan en la córnea y recogen la luz proveniente de la escena observada.
Usando esta información, pueden formar un campo de radiación que represente la escena en 3D. Entonces podemos ver el mapa del juego que vio esta persona. Sin cosas ni cartón.
retos a resolver
Sin embargo, aunque la tecnología es sorprendente y prometedora, aún presenta algunos desafíos, como separar la textura del iris del ojo de la textura de la escena reflejada o refinar la estimación de la posición del ojo para mejorar la calidad de la reconstrucción. Para ello, los investigadores proponen métodos basados en la descomposición de texturas y la optimización de poses para mejorar los resultados.
Los investigadores demostraron su técnica con varios experimentos en escenas sintéticas y reales, con personas de diferentes colores de ojos.
Incluso intentaron reconstruir lo que ciertas celebridades como Miley Cyrus o Lady Gaga observan en sus clips, aunque con resultados menos claros por la calidad de las imágenes.
aplicaciones potenciales
Los investigadores dicen que su técnica tiene aplicaciones potenciales en campos como la realidad virtual, el arte, la medicina o la seguridad. ¿Quizás también en el ilusionismo?
Por ejemplo, podría utilizarse para crear experiencias inmersivas que nos permitan ver el mundo desde diferentes ángulos, generar obras artísticas que exploren las posibilidades creativas de los reflejos oculares, diagnosticar enfermedades oculares o cerebrales a partir de imágenes oculares, o identificar sospechosos o testigos de las escenas que vieron.
cuestiones éticas
Sin embargo, también reconocen que su técnica plantea cuestiones éticas sobre el derecho a la privacidad y el consentimiento de las personas cuyos ojos se utilizan para ver el mundo.
¿Qué tan legal es acceder a lo que otros ven sin su permiso? ¿Cuáles son los riesgos de que se manipulen o difundan imágenes sensibles o comprometedoras? ¿Qué normas legales y morales deberían regular este tipo de tecnología?
Estas son algunas de las preguntas que surgen de este innovador proyecto, que abre nuevas posibilidades y retos para la ciencia y la sociedad.
Referencia
Ver el mundo a través de tus ojos. Hadi Alzayer et al. arXiv:2306.09348v1 [cs.CV]. DOI: https://doi.org/10.48550/arXiv.2306.09348
.
