What is the Light Field?라이트 필드란 무엇인가?
The light field consists of the total of all light rays in 3D space, flowing through every point and in every direction.라이트 필드는 3차원 공간의 모든 광선, 즉 모든 지점을 통해 모든 방향으로 흐르는 빛의 총합을 의미합니다.Everything we can see is illuminated by light coming from a light source (e.g. the sun or a lamp), travelling through space and hitting surfaces. At each surface, light is partly absorbed, and partly reflected (or sometimes refracted) to another surface, where it bounces again, until it finally reaches our eyes.우리가 볼 수 있는 모든 것은 광원(예: 태양이나 램프)에서 나와 공간을 이동하여 표면에 도달하는 빛에 의해 비춰집니다. 각 표면에서 빛은 일부 흡수되고, 일부는 반사되거나(때로는 굴절되어) 다른 표면으로 이동하여 다시 반사되며, 최종적으로 우리의 눈에 도달합니다.What exactly we can see depends on our precise position in the light field, and by moving around in it, we can perceive part of the light field and use that to get an idea about the relative position of objects in our environment.정확히 무엇을 볼 수 있는지는 광장에서의 정확한 위치에 따라 달라지며, 그 안에서 움직임으로써 우리는 광장의 일부를 인지하고 이를 통해 주변 환경에서 물체의 상대적 위치에 대한 개념을 얻을 수 있습니다.
Scientifically speaking, light rays are described by the 5-dimensional plenoptic function: Each ray is defined by three coordinates in 3D space (3 dimensions) and two angles to specify their direction in 3D space (2 dimensions).과학적으로 말하면, 광선은 5차원 플레노프틱 함수로 설명됩니다: 각 광선은 3차원 공간의 세 좌표(3차원)와 3차원 공간에서 방향을 지정하는 두 각도(2차원)로 정의됩니다.However, when measuring a light field using cameras, light rays can be assumed to have constant radiance along their path. Removing this redundant information from the 5D function, we are left with the 4D light field.그러나 카메라를 사용하여 광장을 측정할 때, 광선은 경로를 따라 일정한 방사휘도를 가진다고 가정할 수 있습니다. 이 중복 정보를 5D 함수에서 제거하면 4D 광장이 남게 됩니다.
Check out Wikipedia’s Light Field article for a more detailed description of the light field and the plenoptic function.라이트 필드와 플레노프틱 함수에 대한 더 자세한 설명은 위키백과의 라이트 필드 문서를 확인해 보세요.
How to Record a Light Field라이트 필드를 기록하는 방법
A traditional camera captures only a flat, two-dimensional representation of the light rays reaching the lens at a given position. The 2D image sensor records the sum of brightness and colour of all light rays arriving at each individual pixel.전통적인 카메라는 주어진 위치에서 렌즈에 도달하는 광선의 평평한 2차원 표현만을 포착합니다. 2D 이미지 센서는 각 개별 픽셀에 도달하는 모든 광선의 밝기와 색상의 합을 기록합니다.
In contrast, a light field camera can record not only brightness and colour values in the 2D imaging sensor, but also the direction/angle of all the light rays arriving at the sensor. This additional information allows us to reconstruct where exactly each light ray came from before reaching the camera, making it possible to calculate a three-dimensional model of the captured scene.반면, 라이트 필드 카메라는 2D 이미징 센서에서 밝기와 색상 값뿐만 아니라 센서에 도달하는 모든 광선의 방향/각도도 기록할 수 있습니다. 이 추가 정보를 통해 우리는 각 광선이 카메라에 도달하기 전에 정확히 어디에서 왔는지 재구성할 수 있어, 촬영된 장면의 3차원 모델을 계산하는 것이 가능해집니다.
Light field volumes can be captured using several techniques, including…라이트 필드 볼륨은 여러 기술을 사용하여 캡처할 수 있습니다. 여기에는...
•
•
•
•
Light Field Processing 라이트 필드 처리
Depending on the technique used, the captured image data typically consists of an image containing many sub-images (from a single sensor and microlens array) or many images (from multiple cameras or exposures). The common feature of both datasets is that the sub-images or individual images differ slightly from each other because they captured light rays from slightly different positions in space.사용된 기술에 따라, 캡처된 이미지 데이터는 일반적으로 많은 서브 이미지(단일 센서와 마이크로렌즈 배열로부터)를 포함하는 하나의 이미지 또는 많은 이미지(다중 카메라 또는 노출로부터)로 구성됩니다. 두 데이터 세트의 공통된 특징은 서브 이미지 또는 개별 이미지들이 공간상에서 약간 다른 위치에서 광선을 캡처했기 때문에 서로 약간씩 다르다는 점입니다.
The difference – or disparity – between pixels in the (sub-)images can be used to compute the colour and angularity information of the recorded light rays, making it possible to calculate each object’s position in space and its distance from the lens or camera. This information is then processed to compute a light field volume, containing a 3D model of the recorded scene.(서브) 이미지 내 픽셀들 간의 차이, 즉 변위는 기록된 광선의 색상과 각도 정보를 계산하는 데 사용될 수 있으며, 이를 통해 각 물체의 공간 내 위치와 렌즈 또는 카메라로부터의 거리를 계산할 수 있습니다. 이 정보는 이후 처리되어 기록된 장면의 3D 모델을 포함하는 라이트 필드 볼륨을 계산하는 데 사용됩니다.
What can you do with Light Field Technology?라이트 필드 기술로 무엇을 할 수 있을까요?
Capturing a light field volume, rather than just a 2D image, opens up entirely new possibilities for imaging: The rich light field data allows us change fundamental features of an image, after it is taken: You can change what parts of the image should be in focus or blurry, adjust optical parameters such as the depth of field, change the perspective within the limits of the lens (or camera array), or even create 3D pictures from a single exposure.2D 이미지가 아닌 라이트 필드 볼륨을 캡처하는 것은 이미징에 완전히 새로운 가능성을 열어줍니다: 풍부한 라이트 필드 데이터를 통해 촬영 후에도 이미지의 근본적인 특징을 변경할 수 있습니다. 이미지의 어느 부분을 초점이 맞은 상태로, 어느 부분을 흐릿하게 할지 변경하거나, 피사계 심도와 같은 광학적 매개변수를 조정하거나, 렌즈(또는 카메라 어레이)의 한계 내에서 시점을 변경하거나, 심지어 단일 노출로 3D 사진을 생성할 수도 있습니다.
Light Field Features 라이트 필드 특징
We’ve taken a brief look at the definition and principle of light field photography in What is the Light Field. On this page, we’d like to show the possibilities that come with light field imaging.라이트 필드 포토그래피의 정의와 원리에 대해 간략히 살펴보았습니다. 이 페이지에서는 라이트 필드 이미징이 가져올 수 있는 가능성을 소개하고자 합니다.
Software Refocus 소프트웨어 리포커스
One of the most prominently marketed features of light field photography is the possibility to change the focus after the picture is taken. Knowledge of the direction of light rays in a recording allows us to reconstruct different versions of a photo with infinitely adjustable focus:라이트 필드 포토그래피의 가장 두드러지게 홍보되는 기능 중 하나는 사진 촬영 후 초점을 변경할 수 있다는 점입니다. 기록된 광선의 방향 정보를 활용하면 무한히 조절 가능한 초점으로 다양한 버전의 사진을 재구성할 수 있습니다:
Synthetic Aperture and Variable Depth of Field합성 조리개와 가변 심도
The information contained in a 4D light field volume includes a 3D model of the captured scene, as well as the direction of all light rays arriving at the sensor. Using this rich information, we can use complex mathematics to change optical parameters which, in conventional photography, would be fixed when the image is recorded. One of these parameters is aperture, which determines the depth of field. This makes it possible to produce images with very shallow depth of field (e.g. a very blurry background), or infinite depth of field (where everything is in focus), from the same recording.4D 라이트 필드 볼륨에 포함된 정보는 캡처된 장면의 3D 모델뿐만 아니라 센서에 도달하는 모든 광선의 방향도 포함합니다. 이러한 풍부한 정보를 활용하여 복잡한 수학을 사용해 기존 촬영에서는 이미지가 기록될 때 고정되는 광학 매개변수를 변경할 수 있습니다. 이러한 매개변수 중 하나는 심도를 결정하는 조리개입니다. 이를 통해 동일한 기록에서 매우 얕은 심도(예: 매우 흐린 배경) 또는 무한 심도(모든 것이 초점이 맞는 상태)의 이미지를 생성할 수 있습니다.“Extended depth of field”, “all in focus” or “total focus” are commonly marketed terms describing the “sharper image” side of the synthetic aperture feature, but shallow depth of field and more bokeh are also possible, and may especially be desired for artistic effects."확장 심도", "올인포커스" 또는 "토탈 포커스"는 합성 조리개 기능의 "더 선명한 이미지" 측면을 설명하는 일반적으로 마케팅되는 용어이지만, 얕은 심도와 더 많은 보케도 가능하며 특히 예술적 효과를 위해 원할 수 있습니다.
To illustrate the potential of synthetic aperture, below are five versions of the same light field picture with identical focal plane, processed at synthetic apertures of f/1, f/2, f/4, f/8 and f/16. The raw light field volume was recorded at f/2.합성 조리개의 잠재력을 설명하기 위해, 동일한 초점면을 가진 하나의 라이트 필드 사진을 f/1, f/2, f/4, f/8 및 f/16의 합성 조리개로 처리한 다섯 가지 버전이 아래에 나와 있습니다. 원시 라이트 필드 볼륨은 f/2에서 기록되었습니다.
Parallax and Perspective Shift시차와 시점 변화
By selecting specific light rays that travel through different parts of the main lens system, we can produce different views or perspectives of the recorded scene. The resulting parallax effect – showing differences between two different lines of sight – is similar to moving your head around slightly to peek behind an object.주 렌즈 시스템의 서로 다른 부분을 통과하는 특정 광선을 선택함으로써, 기록된 장면의 다양한 뷰나 시점을 생성할 수 있습니다. 그 결과 나타나는 시차 효과 – 두 개의 서로 다른 시선 사이의 차이를 보여주는 –는 물체 뒤를 살짝 엿보기 위해 머리를 좌우로 움직이는 것과 유사합니다.The strength of this parallax effect is dependent largely on the diameter of the main lens system. In case of the Lytro LightField Camera, you can shift about 5 cm from the very left to the very right.이러한 시차 효과의 강도는 주 렌즈 시스템의 직경에 크게 의존합니다. Lytro 라이트필드 카메라의 경우, 약 5cm 정도를 가장 왼쪽에서 가장 오른쪽으로 이동할 수 있습니다.Other terms used for parallax are “multiview” (e.g. with Raytrix products) or “perspective shift” (e.g. with Lytro products).시차에 사용되는 다른 용어로는 "다중 뷰"(예: Raytrix 제품) 또는 "시점 변화"(예: Lytro 제품)가 있습니다.
Since light field technology is based on tracing light rays, it correctly reproduces the effects of optical elements (e.g. lenses or reflecting surfaces) in an image:광필드 기술은 광선 추적을 기반으로 하므로 이미지에서 렌즈나 반사 표면과 같은 광학 요소의 효과를 정확하게 재현합니다:
3D – Single lens, single exposure3D – 단일 렌즈, 단일 노출
Utilizing different views from parallax (see above), we can reconstruct 3D images with a single exposure from a single lens. In contrast to conventional two-lens 3D recording, the baseline is not fixed at recording. Instead it’s possible to rotate a picture and still produce a correct 3D effect, without having to tilt your head in the same direction.시차에서 얻은 다양한 시점을 활용하여(위 참조) 단일 렌즈로 단일 노출로 3D 이미지를 재구성할 수 있습니다. 기존의 두 렌즈를 사용한 3D 촬영과 달리, 촬영 시 기준선이 고정되어 있지 않습니다. 대신 사진을 회전시켜도 머리를 같은 방향으로 기울이지 않고도 올바른 3D 효과를 생성할 수 있습니다.3D stereo is included in the standard software packages by Raytrix, and in Lytro Desktop 3.1 and higher.3D 스테레오는 Raytrix의 표준 소프트웨어 패키지와 Lytro Desktop 3.1 이상 버전에 포함되어 있습니다.
Distance Measurement 거리 측정
If the optical properties of the light field system are known precisely, it is possible to translate the relative depth data into absolute distance from the lens. This can be useful in many use cases, from inspecting manufactured parts for quality assurance, to measuring the dimensions of microscopic samples.라이트 필드 시스템의 광학적 특성을 정확히 알고 있다면, 상대적 깊이 데이터를 렌즈로부터의 절대 거리로 변환할 수 있습니다. 이는 품질 보증을 위한 제조 부품 검사부터 미세 샘플의 치수 측정에 이르기까지 다양한 사용 사례에서 유용하게 활용될 수 있습니다.“3D depth estimation” is available for Raytrix cameras as a software add-on.Raytrix 카메라에는 소프트웨어 애드온으로 "3D 깊이 추정" 기능을 사용할 수 있습니다.
Depth Scaling 깊이 스케일링
LightField pictures can be stretched or compressed in depth. Similar to the “dolly zoom” video effect (or “vertigo zoom”) that is created when zooming in on a subject while moving in the opposite direction, objects in the background seem to move closer to the subject. When zooming out while moving closer, objects in the background seem to move farther away.라이트필드 사진은 깊이 방향으로 늘리거나 압축할 수 있습니다. 피사체에 줌인 하면서 반대 방향으로 이동할 때 생성되는 "돌리 줌" 비디오 효과(또는 "버티고 줌")와 유사하게, 배경의 물체들이 피사체에 더 가까워지는 것처럼 보입니다. 가까이 다가가면서 줌아웃할 때는 배경의 물체들이 더 멀어지는 것처럼 보입니다.Depth scaling has already been demonstrated by both Lytro and Raytrix. Raytrix’ Android App (sadly, no longer available) allowed users to experience the feature first-hand.깊이 스케일링은 이미 Lytro와 Raytrix 모두에 의해 시연된 바 있습니다. Raytrix의 안드로이드 앱(아쉽게도 더 이상 사용할 수 없음)을 통해 사용자들이 이 기능을 직접 체험할 수 있었습니다.
Change lighting conditions in post-processing후처리에서 조명 조건 변경하기
Using the depth data that can be derived from a light field volume, it is also possible to change the lighting of a scene after the picture was taken. Digitally moving the light source in post-processing produces realistic, new shadows in a captured, real scene.라이트 필드 볼륨에서 도출할 수 있는 깊이 데이터를 활용하면 사진을 찍은 후에도 장면의 조명을 변경할 수 있습니다. 후처리 과정에서 광원을 디지털 방식으로 이동시켜 촬영된 실제 장면에 사실적인 새로운 그림자를 만들어냅니다.
LightField Video 라이트필드 비디오
All of the features above apply to both, still light field imaging as well as light field video. Processing large lightfield datasets requires lots of computing power and very high-end hardware, and processing in real time remains a technological challenge.위의 모든 기능은 정지 라이트 필드 이미징과 라이트 필드 비디오 모두에 적용됩니다. 대규모 라이트필드 데이터셋을 처리하려면 많은 컴퓨팅 성능과 매우 고성능 하드웨어가 필요하며, 실시간 처리는 여전히 기술적 과제로 남아 있습니다.However, Raytrix has already demonstrated live 3D light field video at up to 25 frames per second:그러나 Raytrix는 이미 초당 최대 25프레임의 실시간 3D 라이트 필드 비디오를 시연한 바 있습니다:
