앞에서 무엇이 일어나는지를 알아내는 LCD 스크린
매일 LCD 스크린은 3D 기술을 가지고 바로 앞에 놓여져 있는 세계를 볼 수 있도록 변화해왔다. 이것은 시청자들이 마우스나 키보드가 아닌 공중에서 팔을 휘둘러서 스크린을 만지지 않고도 스크린속의 물체를 제어할 수 있다는 것을 의미한다.
“이것은 예전에는 아무도 할 수 없었던 일종의 상호작용이다.” 라고 MIT 미디어연구소의 Ramesh Raskar가 말했다. 그는 동료인 Matthew Hirsch, Henry Holtzman, Rhode Island의 Providence에 있는 Brown대학의 Douglas Lanman과 함께 비디오로 볼 수 있는 프로토타입을 개발했다. 이 스크린은-양방향(bi-directional), 줄여서 BiDi-사용자들이 3차원으로 스크린에 있는 물체를 조작하거나 상호작용할 수 있도록 해준다. 그는 이것이 3D 스캐너로의 동작도 할 수 있다고 말하며 “만약 당신이 스크린 앞에서 물체를 회전시킨다면, 소프트웨어는 3D 영상을 만들어줄 것이다.” 라고 덧붙였다.
* 선명한 초점(Sharper focus)
Raskar과 Holtzman팀은 LCD 패널 제조업체인 Sharp, Planar Systems 등에서 영감을 얻어서 터치스크린 인터페이스와 같이 동작시키기 위해 패널 픽셀 사이의 광학센서를 추가하는 실험을 진행하고 있다. 그러나 이러한 디스플레이는 렌즈가 없는 카메라와 같이 선명하지 못한 영상을 갖게 된다고 Lanman이 말했다.: 그것은 스크린에 간접적으로 맞닿아있는 물체를 선명하게 영상으로 나타낼 수 있지만 멀리 떨어져 있는 것은 흐릿하게 보인다. 연구자들은 더 선명하게 볼 수 있도록 이 개념을 수정하기 시작했다. 각각의 센서 앞에 얇은 렌즈를 놓고 실험을 했지만, 렌즈 층이 디스플레이에서 보여지는 영상에서는 예상과는 다른 영향을 미쳤다. 대신에 Raskar와 Holtzman의 팀은 표준 20인치를 사용해서 모든 LCD 스크린의 기본 특성이 얼마나 렌즈열의 작업을 수행할 수 있는지 보여주었다.
* 핀홀 픽셀(Pinhole pixels)
각각 LCD픽셀의 선명도는 액정 층에 의하여 제어된다. 이것은 얼마나 많은 빛이 디스플레이의 백라이트를 통과할 수 있는지를 물리적으로 제어하기 위하여 회전할 수 있다. BiDi에서, 이 팀은 디스플레이 뒤에 있는 센서배열을 다른 방향으로 통과시키도록 제어하는 기능을 사용했다.
스크린이 주변을 찾고 있을 때, 대부분의 픽셀은 액정에 의해 차단되어진다. 그러나 스크린을 통하여 퍼지는 수 백 개의 일반적인 그리드는 작은 구멍을 만드는 액정을 사용하게 된다. 이 작은 구멍은 핀홀 카메라 렌즈처럼 동작을 하고, 앞에 있는 장면의 영상을 LCD 뒤에 있는 몇 센티미터의 얇은 반투명필름 앞에 초점을 맞추게 된다. 이러한 영상들은 BiDi내 안에 있는 카메라에 의해 감지되며, 이전에 무슨 일이 일어났는지를 기기가 알아내도록 한다. 그럼에도 불구하고, LCD스크린의 픽셀은 사용자들에게 영상을 보여주는 일상적인 작업을 해야만 한다. 그것은 초당 여러 번 두 가지 작업 사이를 왕복하고 있지만, 너무나 빨라서 시청자들은 스크린을 보고 있는 동안에는 알아차리지 못하며, 스크린도 또한 시청자들을 지켜보고 있다. “우리는 일반적인 LCD층을 사용하고, 두 배의 일을 부과하고 있다.” 라고 Lanman이 말했다.
* 스테레오 이미징(Stereo imaging)
스크린에서 다른 장소에 있는 핀홀의 다른 지점을 이용하는 것은 각 핀홀 영상으로부터 소량의 정보를 취함으로서 스테레오 영상을 재구성하도록 가능하게 한다. 몇 가지 스테레오 영상의 쌍이 만들어지고, 각각의 영상은 사물을 스크린에서 각각의 거리에 맞도록 정확히 초점을 맞추게 된다. 이 시스템으로부터 얼마나 사물이 떨어져 있는지 산출해낼 수 있게 된다.
“우리는 다중 영상을 만들어내고, 각각은 항상 50cm 정도 떨어져 스크린 앞에서 다른 면에 초점을 맞추게 된다. 예를 들면, 당신의 손은 오른쪽에 있는 하나의 영상을 제외하고는 흐릿하게 될 것이다.” 라고 Lanman이 말했다.
더 발전된 단계는 스택에 있는 각각의 영상에서 정확하게 초점을 맞춘 부분만을 선별해내어, 스크린의 시야범위 내에서 사물의 정확한 심층지도를 만들어내는 것이다. 이것은 표준 터치스크린이 터치 행동을 알아내는 것과 같은 방법으로 3D 행동을 추적하는데 사용될 수 있다. 전체적인 처리과정은 실시간으로 일어나며, 컴퓨터 소프트웨어는 이러한 행동들은 스크린에 있는 사물을 제어하기 위한 입력으로서 해석하게 된다.
BiDi 스크린은 다음주에 열리는 Siggraph Asia에서 발표될 예정이다.
LCD screen can recognise what happens in front of it
by Colin Barras
An everyday LCD screen has been modified to "see" the world in front of it in 3D. That means a viewer can control on-screen objects by waving their arms in the air without touching the screen, let alone a mouse or keyboard.
"This is a level of interaction that nobody's ever been able to do before," says Ramesh Raskarat the Massachusetts Institute of Technology Media Lab, who created the prototype shown in the video above with colleagues Matthew Hirschand Henry Holtzman, as well as Douglas Lanmanat Brown University in Providence, Rhode Island.
The screen – dubbed BiDi, short for bi-directional– allows users to manipulate or interact with objects on the screen in three dimensions. It will also function as a 3D scanner, he adds. "If you spin an object in front of screen, the software will stitch together a 3D image."
Sharper focus
Raskar and Holtzman's team were inspired by the way manufacturers of LCD panels, including Sharp and Planar Systems, are experimenting with adding optical sensors between a panel's pixelsso that it can act as a touch-screen interface.
But such displays have poor vision, like a camera with no lens, says Lanman: they can clearly image objects that are in direct contact with the screen, but anything further away is blurred. The researchers set out to modify the concept to let the screen see the world in front of it more sharply.
Placing a tiny lens slightly in front of each sensor would do that, but the layer of lenses would adversely affect the images produced by the display. Instead, Raskar and Holtzman's team used a standard 20-inch screen to show how a basic feature of all LCD screens can perform the jobof a lens array.
Pinhole pixels
The brightness of each of an LCD's pixels is controlled by a layer of liquid crystals, which can swivel to physically control how much light passes from the display's backlight. In BiDi the team use that function to control light passing in the other direction onto an array of sensors behind the display.
When the screen is "looking" around it, most of its pixels are shut off by the liquid crystals. But a regular grid of hundreds of pixels spread across the screen use their liquid crystals to create a tiny hole that acts as a pinhole camera lens, focusing an image of the scene in front onto a thin translucent film a few centimetres behind the LCD. Those images are detected by a camera inside BiDi, allowing the device to know what is happening before it.
The LCD screen's pixels must also do their usual job of presenting images to the user, though. They oscillate between their two tasks many times per second, too fast for the viewer to notice that while they are watching the screen, the screen is also watching them. "We take the normal LCD layer and put it to double duty," says Lanman.
Stereo imaging
Exploiting the different viewpoints of pinholes in different places on the screen makes it possible to reconstruct stereoscopic images, by taking a small amount of information from each of the pinhole images. Several stereoscopic image pairs are produced, each sharply focussed on objects a particular distance from the screen, from which the system can calculate how far away the object is.
"We produce multiple images, each focused on a different plane in front of the screen all the way to, say, 50 centimetres away from the screen," says Lanman. "For instance, your hand will be blurred except in the one image that's at the right depth."
A further processing step singles out the sharply focussed parts of each image in the stack, creating a sharp depth map of objects within the screen's field of view that can be used to track 3D gestures in the same way a standard touch screen captures touch gestures.
The whole process takes place in real time, and computer software interprets those gestures as an input to control the objects on the screen.
The BiDi screen will be presented at Siggraph Asialater this week.
If you would like to reuse any content from New Scientist, either in print or online, please contact the syndication department first for permission. New Scientist does not own rights to photos, but there are a variety of licensing optionsavailable for use of articles and graphics we own the copyright to.
Source : KISTI, newscientist
댓글 없음:
댓글 쓰기