| 소니 Photo&TalK |
http://www.imaging-resource.com/ 에 실린 기사의 전문 번역입니다.
Sony unleashed a trio of new cameras last week, with some pretty extraordinary specs ranging from a 42 megapixel backside-illuminated, 100K ISO, phase-detect-AF full-frame monster (albeit a very svelte monster!) to a pair of new RX-series models based on a blazingly fast 1-inch sensor. (How does 1,000 frames-per-second video sound?)
소니는 지난 주 3종의 카메라를 선보였습니다. 그 중에서 특히 눈에 띄는 스펙을 들자면, 무려 4200만 화소의 이면조사형 센서를 장착하고, 100,000 ISO의 고감도 지원, 위상차 검출 AF 기능을 가진 FF 괴물이 나왔다는 것을 우리 모두 알게 되었죠(그 놀라운 스펙에도 불구하고 컴팩트한 크기입니다!). 게다가 같이 동반출격한 RX 형제들도 어마무시한 1인치형 센서를 탑재하였습니다 (초당 1,000장의 프레임을 가지는 동영상이라니, 상상이나 됩니까?)
Shortly after the announcement, I had an opportunity to interview Mr. Kimio Maki, Senior General Manager, Digital Imaging Business Group, Sony Corporation. I'd interviewed Mr. Maki once before,back in December 2013. Back then, Sony hadn't made the transition to the Alpha brand name for their mirrorless models, the Sony RX1 and RX1R were brand new, as were the original QX-series lens-cameras, and nobody -- outside of Sony, at least -- had any idea of just how much they were going to stir the camera market in the years to come. Maki-san is an interesting guy to talk to, because he more than anyone else has been responsible for the product directions that have so dramatically changed Sony's fortunes in the camera business.
Enjoy!
신제품 발표 직후, 저는 마키 키미오 본부장님와 인터뷰를 할 기회가 있었습니다. 이분은 소니 이미징 비지니스 그룹의 렌즈교환식 카메라 총책임자입니다. 예전에, 그러니까 2013년 12월경에 저는 마키오 본부장님과 한차례 인터뷰를 할 기회가 있었습니다. 그 인터뷰 할때만 하더라도 소니는 자사의 미러리스 모델들의 이름에 Alpha라는 네이밍을 붙이지 않을때였고, RX1과 RX1R이 막 시장에 출시하고, QX 시리즈 렌즈-카메라가 쏟아져 나올때였습니다. 그리고 소니 내부에서만 2013년을 기점으로 전체 카메라 시장을 뒤흔들어 놓을 신무기를 비밀리에 준비하고 있다는 것을 알고 있었습니다. 마키 본부장은 매우 이야기 하는것을 좋아하는 분입니다 왜냐하면 딱히 물어보지도 않은 것들에 대해서도 알아서 적극적으로 향후 제품군의 방향에 대해서 이야기 해주기도 하고 그 방향이 결국 카메라 시장에서 소니에게 막대한 이윤을 창출한다는 것도 언급한 적도 있습니다. 이 인터뷰 기사, 재미있을겁니다. 즐기세요!
Interview with Kimio Maki, Sony Corp.
Dave Etchells/Imaging Resource: Thanks as always for making time for me. We had no idea of what was coming, so I didn't have as much chance to prepare questions for you, but of course I had plenty that occurred to me during the presentation.
데이브 이첼스/이미징 리소스: 저를 위해 이렇게 시간을 내어 주시니 감사합니다. 사실 저희들은 어떤 인터뷰가 될 지 특별히 준비한 것이 없었습니다, 그래서 마키 본부장님께 할 질문을 그리 많이 준비하지는 못했습니다. 그러나 물론, 그 프리젠테이션을 보면서 질문할 만한 것이 무궁무진하게 많았다는 것은 사실입니다.
Kimio Maki/Sony Corp: [some joking and laughter over my typically geeky technical questions] You may have multiple questions, but actually, a 30 minute presentation is not long enough to let you understand everything, therefore we also have some samples to show you as a demonstration. These will help you see the true potential of the product itself.
마키 키미오/소니: [여러가지 매우 기술적인 질문을 던지자 약간의 농담과 웃음을 던짐] 아마 여러가지 질문이 한꺼번에 나오는거 같습니다, 그러나 사실 30분정도의 프레젠테이션만으로는 모든 것을 이해시켜드리기에 충분하지 않다는 것은 저도 잘 알고 있습니다. 그래서 우리들은 시연을 통애 여러가지 샘플도 보여드리려고 합니다. 이러한 샘플들은 이 신제품의 진정한 잠재력이 얼마나 대단한지 충분히 보여드릴 것이라 생각됩니다.
DE: Oh, great!
DE: 헐! 그렇군요 (하고 부랄을 탁 쳤다)
[Ed. Note: Maki-san proceeded to show me a number of high-quality prints from the Sony A7R II, with each shot shown full-frame at 13x19 inches, and then a crop magnified to 1:1 relative to the printer's pixels (I don't know the resolution of the printer, so can't say what the equivalent print size might be, but would estimate that it had to be somewhere in the range of 20x24 or 24x36 inches.
He didn't know at what ISO sensitivity the shots were captured, but did say that they were above base ISO. Obviously, the pictures were worth at least the usual 1,000 words, so I can't do them justice here, but I will say that the detail was really remarkable, and I've looked at a lot of prints from high-resolution digital cameras.
(It will be interesting to get a sample of the camera into our lab, and then compare its resolution against that of the medium-format Pentax 645Z, which has so far been the reference for ultimate resolution in our lab shots.]
[편집자 주: 마키 본부장은 Sony A7R II로 촬영한 고해상도의 사진 여러장을 나에게 보여주었다. 각각의 사진들은 모두 19x13 인치 크기의 풀프레임이었으며, 따라서 프린터의 픽셀과 1:1로 매치되는 최고화질 모드라고 한다. (그런데 정작 나는 소니에서 출력했다는 그 프린터의 해상도를 모른다, 따라서 실제 1:1 프린트 사이즈가 얼마나 큰지는 알 수가 없었다. 그러나 대략 추측해보건데 아마도 최고 해상도 출력물은 20x24이거나 24x36 인치급 프린터였을 것이다).
그는 그 사진들이 찍힌 각각의 구체적인 ISO 를 이야기 해주지는 않았다. 그러나 기본 ISO 이상으로 찍었다고 언급하였다. 명백하게도, 백문이 불여일견임은 확실하다, 따라서 일단 여기서 그 사진들의 품질을 이야기하지는 않겠다, 그러나 일단 보면 그 해상도는 너무나 놀랄만큼 뛰어났다는 것만은 단언할 수 있다. 나는 이제껏 각종 리뷰를 통해 디지털 카메라로 찍은 고해상도 출력물을 꽤 많이 봐왔다고 자부하기에 A7R II의 품질이 독보적이라는 것을 말할 수 있다.
아마도 우리 이미징 리소스의 연구실에서 직접 그 샘플들을 찍게 된다면 무척이나 흥미로운 일이 될 것이다. 그리고 나는 당연히 A7R II와 펜탁스 645Z의 해상도를 같이 비교할 것이다. 펜탁스 645Z는 알다시피 우리 이미징 리소스가 그동안 해상도 비교를 함에 있어서 어떠한 기준점이 되는 최고의 바디였기 때문이다.]
DE: My first quick question: I had always understood that backside-illumination was much more of a factor for really small sensors, and that you get progressively less advantage as they get bigger. Now I guess with 42 megapixels, the pixels are still maybe small, but I was surprised that there would be enough extra benefit to go to the trouble of BSI
DE: 일단 짧게 시작할께요: 제가 이제까지 알기로는, 이면조사형 센서는 매우 작은 판형의 센서에나 적합하며, 큰 센서에는 들인 공에 비해 딱히 이점을 찾기 힘들다는 것이었거든요? 자.. 그런데 4200만 화소가 대단하다고는 하지만 제 기준에는 아직 놀랄만큼의 고집적 센서가 아닌데도 이면조사형 센서로 만들었고, 심지어 소니가 A7R II 센서를 만들면서 그 이면조사형 설계로 인해 엄청난 이득이 생겼다는 것을 아직도 잘 믿을 수가 없는데.. 어떻게 된 것입니까?
KM: It is [a] small [benefit from BSI]. Let me explain about why we chose this size. I didn't decide on 42 megapixels first, then the sensor was created. When we created these devices, I prioritized ... I don't like to lose sensitivity, compared to the 36-megapixel [sensor], right? And also, I really wanted to realize 4K movies. They have to read/write faster, right? So 4K movies had to just fit, and also ISO sensitivity should be better than 36-megapixel sensors. So how many pixels is the best pixel size? Let's calculate it! That was the process. From that, the conclusion was that 42-megapixel was the best pixel size to realize 4K movies...
KM: 사실은.. [그 이면조사형 센서로 부터 생기는 장점은] 딱히 크지는 않았습니다. 여기서 잠깐 우리가 왜 구태여 이면조사형 센서를 FF 센서에 적용했는지에 대해 쉴드를 칠 기회를 주시면 고맙겠습니다. 첫번째, 4200만 화소 센서를 만들자! 라고 먼저 기획한 것은 아닙니다. 기본적 센서 제작을 위한 밑작업부터 들어갔습니다. 우리가 이 센서를 만들려고 했을때, 제가 일단 교통정리를 했습니다. 첫째... 무조건 기존의 3600만 호소 센서보다 고감도는 높여야 한다였습니다.. 그죠? 어쨌든간에 그 다음으로는 4K 동영상도 필수요소라고 했습니다. 그 다음 순위는 고속 입출력 센서였습니다.. 그죠? 그래서 4K 동영상은 잘 들어가게 되었고, ISO 감도 또한 3600만 화소 센서보다 더 나아지게 되었습니다. 이러한 이유를 볼 때 과연 얼마나 높은 화소가 최적일까? 하는 고민에 빠지게 된 것입니다. 그래서 한번 계산해 봤습니다! 다양한 계산을 통해 그것이 달성되었습니다. 구체적인 산출값이 나오자, 그 결론은 바로 4200만 화소가 4K 동영상을 뽑아내기 위한 최적의 화소라는 것이었습니다.
Bucking the trend: Thanks in no small part to Maki-san's efforts, Sony has seen both its interchangeable-lens and premium compact product lines grow, despite general contraction in the camera market. This time, I was most interested in learning a few more details about the trio of products that were announced, particularly the sensor and processor technology that led to their groundbreaking capabilites. Mr. Maki obliged with a generous slice of his time, and you can read the results of that conversation here.
카메라 시장 추세에 반대로 발전한 소니: 마키 본부장의 적지않은 노력으로 인해, 소니는 렌즈 교환식 및 프리미엄급 컴팩트 디지털 카메라 시장 모두 성장세를 지속해왔다. 이는 전세계 카메라 시장의 추세와 정반대의 결과이다. 바로 이러한 시점이기에, 소니가 지난주에 발표한 신기종 3총사의 자세한 모든 것에 흥미가 땡길 수 밖에 없는 것이다. 특히 신센서와 프로세서 기술은 소니의 시금석이 될 수 있기 때문이다. 마키 본부장은 꽤나 많은 시간을 들여서 이 인터뷰를 응해주었으며, 독자 여러분은 마키 본부장과 이미징 리소스와의 이 대화를 통해 많은 것을 얻을 수 있을 것이다.
DE: Ah, I see.
DE: 아하.... 그렇군요.
KM: ...on a per-pixel basis, and also to have a Super 35mm base; both were key. Super 35mm gives the best picture quality, from oversampling 15 megapixels down to the eight-megapixel 4K size. The picture quality is better than a professional video camera.
KM: ... (동영상은) 화소 하나 하나 대응하는 것을 기준으로, 그리고 수퍼 35mm 포맷도 고려하여 이것을 실현시켰습니다. 수퍼 35mm 포맷은 아마도 가장 뛰어난 화질을 뽑아줄 것입니다. 왜냐하면 4K 동영상은 800만 화소가 필요한데 A7R II의 수퍼 35mm 포맷은 1500만 화소로 오버샘플링을 하기 때문입니다. 화질은 현존하는 프로페셔널 비디오 카메라보다 낫습니다.
DE: Yeah, yeah.
DE: 아~~ 네에~~~~
KM: And also, in terms of ISO, this sensor's sensitivity is better than 36-megapixel chips. Sensitivity is more than 36-megapixel sensors. It's good. And also [the engineer's] conclusion was that 42 megapixels was best. But 42 is not a good word. <chuckles>
KM: 그리고 여기에 더해, ISO라는 관점에서 보면, 이 센서의 감도는 3600만 화소 센서보다 낫습니다. 감도는 3600만 화소 이상입니다. 매우 좋죠. 흐.. 그리고 [기술진들의] 결론은 4200만 화소가 최고의 선택이라는 것이었습니다. 그러나 제 생각에 4200만 화소는 최고는 아닙니다. <ㅋㅋㅋㅋㅋㅋ>
DE: <laughs> Yeah.
DE: <ㅋㅋㅋㅋㅋ> 글쿤여.
KM: If you say 45, or something, it's understandable.
KM: 4500만 화소나 다른 더 높은 화소였다면, '오~ 이거 납득할만 한데' 라고 했었겠죠.
DE: 45, 50...
DE: 4500만, 5000만 이라... 하아....
KM: Yeah, 45 or 50, it's very clear for people. But actually, the engineers said "if you prefer 50, you have to lose sensitivity." And also, that number doesn't fit 4K movie at all.
[Ed. Note: That is, the pixel counts don't line up well with 4K movie pixel dimensions, to provide optimal results when downsampling.]
KM: 바로 그거죠, 4500만이나 5000만 화소. 사람들에게 뭔가 확 와닿는 숫자입니다. 그러나, 현실은 그렇지 않죠... 기술진들은, "마키 본부장님께서 5000만 화소를 원하신다면, 아마 고감도를 포기해야 할겁니다" 라고 하더군요. 그리고 4500만과 5000만은 4K 동영상과 딱 떨어지지 않는다고고 하더군요.
[편집자 주: 4K 동영상을 고려한다면 카메라의 화소 결정은 정지화상만 고려해서는 안된다. 특히나 오버샘플링을 통한 최적의 결과물을 만들기 위해서는 화소의 결정을 4K 동영상을 고려해서 결정해야만 한다]
DE: Yeah, yeah.
DE: 아.. 네~ 네에~.
KM: Of course, you could use 50 megapixels, but actually, the processor has to work harder, therefore it would be difficult.
KM: 물론 5000만 화소로 그냥 정할 수도 있습니다. 그러나 현실적으로 볼 때, 프로세서가 해야할 부담이 커지게되고, 그 결과는 헬게이트가 열리게 되죠...
While the A7R II can record 4K movies using the full area of the sensor, Sony called particular attention to its Super35 crop mode. Super 35 frame dimensions vary between manufacturers and even within a manufacturer's product line, but are generally in the range of a 1.4-1.5x crop factor relative to full frame - so they're kind of like a HD aspect ratio version of APS-C. The big story with the A7R II's Super 35 crop mode is that the camera's sampling roughly 15 megapixels down to the eight megapixels of 4K frames without doing any line-skipping. The result is incredibly sharp 4K video.
A7R II는 기본적으로 FF 판형으로도 4K 동영상을 촬영할 수 있지만, 여기에 소니는 더해서 특별한 주안점을 두었는데, 바로 그것이 수퍼 35 크랍 모드이다. 수퍼 35 프레임은 회사마다 그 규격이 다르고 심지어 같은 회사라도 그 라인업에 따라서 조금씩 달라지기도 하지만, 일반적으로 FF 판형 대비 약 1.4~1.5배 크랍 비율을 가진다. 따라서 수퍼 35mm 포맷이라는 것은 APS-C 판형의 HD 동영상 비율을 생각하면 유사할 것이다. 수퍼 35 크랍 모드를 탑재한 A7R II의 가장 큰 장점은 바로 오버샘플링일 것이다. A7R II는 약 1500만 화소로 오버샘플링하여 800만 화소의 4K 프레임으로 다운사이징을 실시하고, 이 과정에서 그 어떤 라인스키핑은 없다. 그 결과 믿을 수 없는 또렷한 4K 동영상이 구현되는 것이다.
DE: It sounds like the specific pixel count is really driven a lot by 4K, and then there was the need for sensitivity You really wanted to do everything possible in that area, so even though it's a large sensor, you still used backside-illuminated technology to get a little more signal to noise ratio.
DE: 어째 계속 말을 듣다보니, A7R II의 화소는 마치 4K 동영상에 최적화 시키기 위해 의도적으로 결정된 것 같아 보입니다. 그리고 4K 동영상을 구현하기 위한 모든 경우의 수의 센서 감도가 필요하다는 것처럼 말이죠... 그래서 FF 판형이라는 대형 센서에조차 그 이면조사형 배선을 설계한 것이 아닌가 생각되는군요. 마키 본부장이 생각하기에 진심으로 이 이면조사형 배선 기술이 노이즈를 잡는데 도움이 된다고 생각되십니까?
KM: Exactly. So as a result of other calculations, 42-megapixel is what came out. Then, in order to realize this kind of sensitivity, we have to prefer backside-illuminated. That's the first priority, to gather lots of light, more light, effectively. The other decision was in the wiring layers; we used to use the aluminum, but aluminum is not good enough to transfer the data faster. Therefore we change the material from the aluminum to the copper to make it faster. [Ed. Note: Copper is more conductive than aluminum, so there's less resistance in the circuit lines on the chip, meaning signals can propagate faster.] Therefore, then we could get a faster transition from the light to an electrical signal.
So we could identify the imaging sensor [characteristics]; the story came from the sensitivity, 4K-suitability. From that the number of pixels was decided. We also looked at what is the best way to create such a sensor and reversed it to get lots of light and change the [metallization]material to get faster. That's the kind of process we went through.
KM: 네! 정답입니다. 다양한 계산을 통해 나온 결과를 볼 때, 4200만 화소가 결정되었습니다. 그런 다음, 실제로 요구되는 고감도를 실현시키기 위해서 이면조사형 기술을 채택할 수 밖에 없었죠. 더 많은 양의 빛을, 더 풍부하게, 더 효과적으로 끌어모으는 것, 이것이야말로 센서를 제작함에 있어서 최우선 과제였습니다. 그 외의 결정은 바로 배선층이었습니다. 우리는 그동안 알루미늄 배선을 사용했습니다. 그러나 알루미늄은 데이터 전송에는 그다지 적합한 소재는 아닙니다. 따라서 우리는 전송속도를 빠르게 하기 위해서 과감하게 알루미늄을 포기하고 구리를 선택했습니다. [편집자 주: 구리는 알루미늄보다 더 전도체이다. 따라서 칩에 장착한 배선을 구리로 만들면 저항값이 낮다. 이는 곧 더 빠르게 데이터를 전파할 수 있음을 의미한다] 그 결과, 우리는 빛으로부터 전기신호로 전환하는 속도를 더 빠르게 만들 수 있게 되었습니다.
그러한 작업의 결과, 우리는 이 센서의 특징들을 규정할 수 있게 되었습니다. 나열해 보자면, 고감도 달성, 4K 동영상 최적화 입니다. 이러한 특성들로부터 화소가 최종적으로 결정된 것입니다. 우리는 이러한 센서를 만들기 위해 무엇이 가장 좋은 방법인지 연구해 왔으며, 배선을 뒤집어 뒤로 붙이는 설계를 함으로써 센서 표면에 더 많은 빛을 받아들일 수 있게 되었고, 더 빠른 전송속도를 구현하여 빛의 신호로부터 전기신호로 바꿔 고속으로 전송하는데에도 성공했습니다.
DE: Great, great.
DE: 부랄을 탁! 칩니다.
KM: Therefore we didn't just pick any resolution, and ended up with 42-megapixel. Of course 50[would] give better resolution, and 45 would be more impressive, but it wouldn't be perfectly balanced.
KM: 그 결과 우리는 해상도를 그저 아무렇게나 생각나는대로 정할 수 없게 된 것입니다. 4200만 화소가 그 해답이었습니다. 물론 5000만 화소는 보다 더 나은 해상도를 구현하고 4500만 화소도 인상적일 수는 있겠죠, 그러나 그렇게 되면 밸런스가 무너집니다.
DE: Yeah, the story is that 42 megapixels is what the engineering led you to.
DE: 아하~! 4200만 화소가 된 데에는 그런 엔지니어들의 깊은 뜻이 있었군요!
KM: Yeah, that's right.
KM: 그렇죠, 바로 그겁니다.
DE: How does the noise level compare to that of the Sony A7R? You know, the A7R's resolution is 36 megapixels, but it's sensor technology is older, and so perhaps less advanced.
DE: Sony A7R과 비교했을때 노이즈 레벨은 어떻습니까? 본부장님도 잘 아시듯, A7R의 해상도는 3600만 화소입니다만, 그 센서 기술 자체는 상당히 오래된 기술이고 딱히 최첨단은 아니었죠.
KM: It is better.
KM: 당연히 더 낫죠.
DE: The A7R Mark II has better noise performance; better than the A7R.
DE: A7R Mark II는 더 좋은 노이즈 대책을 보여준다, 그것도 A7R보다 더 좋다는 거겠죠.
KM: Better than the other one. Because the copper layer is a big improvement over aluminum.
KM: 다른 카메라들과 비교해도 마찬가지입니다. A7R II에 적용된 구리배선은 알루미늄 대비 엄청난 진보를 가져왔습니다.
Copper metallization has been around the IC industry for years now - the photo at left is courtesy IBM Corporation, circa 1997. Because copper is 40% more conductive than aluminum, it can increase circuit speeds and reduce power consumption. We believe Samsung was the first with copper metallization on the NX1's sensor, and now Sony's brought it to their product line in a big way. We were surprised to learn that copper metallization helps image noise as well as speed.
구리도금 배선은 수년간 IC 업계에서 각광받는 기술이다. 위에서 보여지는 사진은 IBM에서 1997년에 제공한 것이다. 구리는 알루미늄보다 40% 더 전도성이 좋기 때문에 회로의 속도를 높일 수 있고 전력 소모를 낮출 수 있다. 우리는 삼성이 NX1용 센서에 이 구리도금배선 기술을 적용한 것으로 알고 있으며, 이제는 소니가 더 큰 무대로 이 기술을 이용하고 있음을 알게 되었다. 우리는 구리도금 배선이 노이즈 뿐만 아니라 처리속도에 있어서도 큰 장점이 있다는 것에 놀라움을 받았다.
DE: Oh, and so that helps the noise, not just the speed?
DE: 아~, 그리고 노이즈 감소를 위해서라는 말이죠, 단순히 속도 향상이 아닌?
KM: Yes, a large, large role. Yeah.
KM: 네 그렇죠, 노이즈 잡는데에도 어마 무시하게 그 역할이 큽니다. 네에~
DE: Oh, interesting. I would have though it would be, just... it would be faster, I didn't realize it would improve your noise levels as well. This next question is more of a request maybe, but we've had a lot of questions asking about raw format. And...
DE: 흠 그것이 사실이라면 좀 무섭군요. 저는 사실 그렇게 될 거라고는 일단 생각은 해봐왔는데, 단지... 빠르게 하는데 도움이 될 것이다.. 라고 말이죠. 솔직히 노이즈 레벨을 개선하는데에도 큰 도움이 된다는 생각까지는 미처 못해봤습니다. 이 다음 질문은 질문이라기 보다는 보다 요청에 가까울지도 모르겠네요. 그러나 RAW 포맷에 대애서 꼭 짚고 넘어가고 싶습니다. 그리고...
KM: Ah, raw. <laughs> 14-bit.
KM: 아하! 그 RAW! <ㅋㅋㅋㅋㅋㅋㅋ> 그 14 bit 말하는거죠?
DE: Yeah, well 14-bit is OK, but many people are asking "could we please have uncompressed RAWs?"
DE: 잘 아시네요, 근데 14 bit 자체는 문제는 없어요, 문제는 많은 사람들이 "우리도 제발 비압축 RAW 포맷을 쓰게 해달라" 라고 아우성을 하고 있다는 현실입니다.
KM: Sony RAW is compressed, not uncompressed. But if we're getting a lot of requests for it, we should make such a kind of no-compression raw. Of course we recognize that. But I cannot give you a guarantee when we're going to fix or not fix.
KM: 소니의 RAW 포맷은 압축입니다, 비압축은 아니지요.. 그러나 그것에 대해 요구가 많다면 우리는 당연히 그러한 종류의 비압축 RAW 포맷을 만들겁니다. 물론 우리는 그 사실을 인지하고 있습니다. 그러나 지금 당장은 그것을 고칠지, 안고칠 지 확답을 드리기 어렵습니다.
DE: Right. When you're going to address that, yeah.
DE: 그렇게 나오시네요, 그렇다면... 언제 대체 확답을 해주실건가요, 네?
KM: Sure, sure. And so we recognize the customer's requirement, and actually we are working on it.
KM: 사.. 사실은, 고객의 요구를 인지하고 있으니, 지금 열심히 만들고 있는 중입니다.
DE: So it's something that you're aware of. I'm sure that the image processing pipeline is optimized for the way that it is now, but it seems to me that, while it might involve some trading off some performance, that it could just be a firmware change. Could it? Would you be able to provide uncompressed raw as a firmware update, or would it require new hardware?
DE: 그렇다는 즉슨, 마키 본부장님도 충분히 이 중요성을 인지하고 있었다는 말이군요. 제 느낌으로는 소니의 이미지 프로세싱 파이프라인은 지금 최적화 되어 있다고 확실히 판단은 됩니다, 그런데 제가 보기에, 그 처리속도라 같은 성능을 약간 손해를 감수하고서라도 펌웨어 업데이트를 통해 비압축 RAW 포맷을 도입했으면 하는 바램이거든요. 가능한가요? 네? 펌웨어 업데이트를 통해서라도 비압축 RAW 포맷을 사용할 수 있게끔 지금 약속하실건가요? 아니면 새로운 바디를 통해 펌웨어 업데이트를 할건가요?
KM: Right, yes. So... not hardware.
KM: 알았어요 알았어요.. 허허.. 사람도 참... 바디 펌업은 아닐겁니다.
DE: It is firmware. OK, good! I think people would be willing to accept a slower transfer time or lower frame rate in an uncompressed mode. Some people really, really want that. So the actual data readout from the A7R II sensor, I think I heard in the presentation that it's three times faster than the A7R. Does that mean that rolling shutter is reduced by that same proportion? Is it the case that rolling shutter is one-third as much with the A7R II vs the original A7R, because data readout is three times faster?
DE: 펌웨어 업데이트를 해주신다는 거군요, 잘 알겠습니다. 이거 대박이네요! 제 생각에는 비압축 RAW로 찍었을 때 처리속도가 다소 느려진다고 할 지라도 사람들은 충분히 납득할겁니다. 일부 유저들은 진심, 궁서체로 그것을 바라고 있다니까요.
자 그렇다면 A7R II 센서로부터 나오는 실제 데이터 리드아웃을 고려할 때, 제가 프레젠테이션에서 듣기로는 A7R보다 약 3배나 빠르다고 하지 않으셨나요? 이것을 유추해 보면 롤링 셔터는 3배 정도 더 감소했다고 생각하면 됩니까? 다시 말하자면, 데이터 리드아웃 속도가 A7R보다 A7R II가 3배나 빠르기 때문에 롤링셔터는 1/3 수준이라고 봐도 되는겁니까?
KM: There were many factors, the total is 3.5 [times faster]. As I said, the materials changed, and also the layout was changed, those are the main reasons.
KM: 사실 롤링셔터의 원인은 많은 요소가 있습니다만, 일단 [데이터 전송속도는] 3.5배 빠릅니다. 제가 이미 프레젠테이션에서 언급한 대로, 소재도 개선되었고, 배선 구조도 바뀌었기에 이러한 요소들이 큰 역할을 하겠지요.
DE: Yes - what I was actually asking was whether the rolling shutter becomes better by that same ratio. So 3.5 times faster; do you now have only one-third as much rolling shutter?
DE: 네.. 그렇긴 한데, 제가 알고 싶은 것은 그게 아니라 롤링혀터가 3.5배 만큼 더 개선되었냐는 것입니다. 즉 3.5배 더 빨라졌냐는거죠; A7R II의 롤링셔터는 A7R보다 1/3 수준이라고 봐도 됩니까?
Mark Weir/Sony Electronics: I don't know that there's a numerical, arithmetic ratio.
마크 와이어/소니: 아.. 저도 사실 정확한 수치는 모르겠습니다, 특히 그 비율로 따지자면 말입니다.
DE: OK - I just figured rolling shutter was maybe tied to how quickly you could read it out, so if you could do readout faster...
DE: 좋습니다. 저는 일단 센서의 리드아웃 속도가 얼마나 빨라졌느냐에 따라 롤링셔터도 그만큼 줄었을 것이라고 생각한 것이니까요. 그런 의미에서 볼 때, 리드 아웃 속도가 더 빠르다면...
MW: Well, it's not so much how fast you can read it out, it's how fast you scan it.
MW: 흠... 사실 리드아웃 속도가 빠르다고 해서 그만큼 롤링셔터가 줄어들지는 않습니다, 얼마나 스캔을 빨리 하느냐가 더 중요하죠.
KM: So we're not talking about the speed of the rolling shutter [Ed. Note: That is, Sony is not focusing on promoting it as a key advantage of the A7R II], but of course when we presented about the 1-inch sensor, rolling shutter was faster there, around five times faster, than before. With the 1-inch sensor, before we developed such a sensor, in A/D conversion, one A/D converter [Ed. Note: Analog to Digital converter, the circuitry that translates an analog signal into digital values] controlled four pixels.
KM: 그렇다면, 지금 단계에서는 롤링셔터의 스피드를 논하기에는 적당한 때는 아닌가봅니다 [편집자 주: 그래서 A7R II 신제품 발표를 하면서 롤링셔터가 획기적으로 줄었다고 이야기 하지 않았는지도 모른다], 그러나 저희가 신형 1인치형 센서를 소개할 때, 롤링 셔터가 기존 제품보다 약 5배나 빨라졌다고 발표한 것은 맞습니다. 이 신개발된 1인치형 센서 이전에 1인치형 구형 센서는 A/D 변환에 있어서 , A/D 컨버터 하나가 4개의 화소를 컨트롤하게 됩니다. [편집자 주: AD 컨버터는 아날로그-디지털 변환기이다. 이 변환기는 빛의 신호인 아날로그 신호를 전기신호인 디지털 신호로 바꾸어준다]
DE: Ah! Four pixels?
DE: 아! 화소 4개요?
KM: Four pixels. Four pixels together.
KM: 4개의 화소입니다. 4개의 화소를 묶어서 말이죠.
DE: Oh, not just a line of A/D converters at the top and bottom of each column, then...
DE: 오! 각각의 화소가 배치된 열의 상면 및 하면에 붙은 A/D 컨버터들이 하나씩 컨트롤 하는게 아니라...
KM: Yes, four pixels together. And also, we read out the groups of four pixel in two packages, that means eight pixels together at one time.
KM: 네, 4개의 화소를 동시에 묶습니다. 그리고 그 4개로 묶어진 화소들을 2개 조합으로 또 묶습니다. 결국 한번에 8개의 화소를 처리한다는 것이죠.
DE: Ah.
DE: 아....
KM: Before, the A/D converter was laid out on the topside and bottom side of the array, but now, we have the stacked structure. Now, we moved the A/D converter to the underside of the pixels.
KM: 전에는 A/D 컨버터가 화소의 각각의 배열의 앞 뒤로 다 배치되어 있었죠... 그러나 지금은 아닙니다. 우리는 이른바 적층형 구조를 만들었습니다. 이를 통해 A/D 컨버터를 화소의 밑에 모두 깔아서 배치해버렸습니다.
DE: Oh, on the underside. So the A/D is on the back side of the sensor chip...
DE: 아, 센서 밑에다 깔았다는 것이군요. 그래서 A/D 컨버터는 센서 칩의 뒷면에만 붙어있는 것이구요...
KM: Yes, this means we could increase the number of A/D converters, then we could read eight packages. Eight packages of pixels.This is four times more than it used to be. Therefore, we can read out four times faster than before.
[Ed. Note: It sounds like previously, when they had the A/D converters along the top and bottom sides of the sensor array, they actually had two rows of converters per side (each column of pixels has its own sets of converters), so they could read out a total of four pixels at a time, in two groups, one from the top row of converters, the other from the bottom row of converters.
Now, with the A/D converters on the back side of the chip, they have four times as many of them, so they can read out a total of 16 pixels at a time, four pixels each from four sets of converters, each "set" being four converters. This is a pretty staggering number of A/D converters: There are 5,472 columns of pixels in the Sony RX100 IV's sensor; with 16 converters per column, that means there are a total of 87,552 A/D converters on the chip!]
KM: 예, 이러한 설계를 통해 A/D 컨버터를 더 증가시킬 수 있었습니다. 그리하여 2개씩의 묶음이 아닌 8개씩의 묶음으로 A/D 변환을 할 수 있게 되었죠. 따라서 이전의 1인치형 센서보다 4배 더 많이 처리할 수 있게 되었습니다. 따라서 처리속도가 4배나 빨라지게 된 것이죠.
[편집자 주: 그의 말을 듣자면, 이전에는 센서의 상층부와 하층부에 모두 A/D 컨버터를 배치했었고, 한쪽 면에 두줄의 컨버터가 들어가고 (각각의 줄에는 컨버터가 관리하는 화소가 묶여있고), 그 결과 과거에는 한번에 4개의 화소를 읽어낼 수 있었다는 것이다. 그리고 컨버터가 아래위로 2줄이 들어가니까 8개의 화소를 묶어서 처리했었다.
이제는 칩셋의 뒷면에 A/D 컨버터를 몰아버렸다. 4개의 컨버터를 4개씩 묶어서 한조를 만들었다. 그 결과 4배나 더 많은 A/D 컨버터를 적층시켜 배치할 수 있게 되었고, 이로써 컨버터 한조가 16개 화소를 처리하게 된 것이다. 이것은 상당히 무리수가 따를 수 있는 컨버터 수의 증가이다. 왜냐하면 RX100 IV의 센서에는 무려 5,472개의 열이 있기 때문이다. 각 열에 16개의 컨버터가 존재한다면 전체적으로 컨버터의 수는 무려 87,552개가 그 작은 센서 뒷면에 바글바글하게 몰려있는 것이다!]
KM: I can say that also, it's not only the package read rate, other things are improved also, therefore the total improvement [is] five times faster than before.
KM: 그러한 속도의 향상으로 롤링셔터가 줄었다고도 볼 수 있지만 단지 그 컨버터 묶음의 읽기 속도 증가로만으로는 달성할 수 없고, 다른 개선점이 있었기에 가능한 것입니다. 그 결과 최종적인 롤링셔터 향상은 기존 제품보다 5배나 개선되었다고 말할 수 있습니다.
We couldn't find an illustration of a more recent chip, but this photo shows how the A/D converters are arranged in a row along the long side of the sensor. Newer versions of this technology have A/D converters arranged at both the top and bottom of the sensor array. And now, with the sensor used in the RX10 II and RX100 IV, Sony has moved them to the back of the chip.
우리는 최근 개발된 이미지 센서 칩의 구조도를 구할 수 없었다, 그러나 이 사진은 어떻게 A/D 컨버터들이 센서의 면을 따라 각각의 열에 배열되어 있는지를 보여준다. 새로운 기술의 도입으로 인하여 A/D 컨버터들은 센서 배열의 상면과 하면 모두 배열이 가능하게 되었다. 그리고 Sony RX100 IV 및 RX10 II에서 보여준 최신 기술은 기존의 기술을 완전히 대체하여, A/D 컨버터들이 모두 센서 뒷면으로 적층구조로 쌓이는 방식으로 바뀌게 된다.
DE: So previously, the A/Ds were just at the edges of the array, but now that they're on the backside of the chip, you can have more of them and they can be distributed throughout the array.
DE: 바로 이전 기술을 보았을 때, 그 A/D 컨버터들은 배열상의 가장자리에만 있었는데요, 그러나 지금은 칩의 뒷면에 다 몰아져 있군요. 그 결과 소니는 배열을 쌓고 쌓아 더 많은 컨버터들을 몰아 넣을 수 있었다고 보면 되겠군요.
KM: Exactly, yes.
KM: 바로 그겁니다!
DE: Ah!
DE: 아항!
KM: Then we also put the memory under the A/D converters. Then move [the data from] the A/D converters straight into the memory and then outside to the main chip.
KM: 그리고 나서 우리는 A/D 컨버터 뒤에다 메모리를 적층시켰습니다. 그 결과 데이터 전송이 A/D 컨버터에서 곧바로 메모리로 갈 수 있게 되었고, 또한 프로세서로 직접 전달되는 것이죠.
DE: And so the memory is this stacked structure, it's not like hybrid packaging where you have chips glued on to chips, this is actually...
DE: 그리고 그 메모리는 역시 적층형으로 되어 있다는 말인데... 이게 그저 접착제로 붙였다는 의미는 아니겠죠? 아마 이건....
[Ed. Note: There was a lot of discussion here that I'll skip over. At first, it sounded to me like Maki-san was talking about memory circuitry integrated directly on the back of the sensor chip, but it turns out that a separate memory and processor chip are attached to the back of the sensor. They looked like pieces of silicon themselves, very thin slivers of material apparently bonded directly to the sensor itself. (Perhaps using some sort of solder-bump technology?) The macro shot below shows the back of the sensor package, with the memory and processor chips attached.]
[편집자 주: 이 대화를 편집함에 있어서 많은 부분을 생략했다. 일단 마키 본부장은 메모리 회로가 센서 칩의 뒷면에 '통합'되었다고 했으나 사실을 별도의 메모리 및 프로세서 칩이 센서의 뒤에 '적층'된 것이었다. 이 메모리와 칩셋은 별도의 반도체의 조합이며, 센서 뒷면에 바로 붙어 있는 매우 얇은 은박지 같은 소재로 보인다. (아마도 솔더 범핑 기술?) 공개된 칩셋의 세부 사진을 보면 메모리 및 프로세서 칩이 센서에 다닥다닥 붙어있다]
DE: So this is really the first time that anybody has put circuitry on the back side of the sensor?
[Ed. Note: I was still thinking the circuitry was integrated in the sensor silicon itself at this point.]
DE: 그러면, 이것이야말로 세계 최초로 이미지 센서 뒤에 그러한 회로를 붙인 센서가 되는겁니까?
[편집자 주: 이당시만 하더라도 나는 센서면에 그러한 회로들이 아예 통합되어 있다라고 이해하고 있었다]
KM: That's right, and then that is little bit different from the mobile chips. The mobile phone sensors have a memory, but actually we have got a processor plus memory.
KM: 맞습니다. 그리고 이것은 모바일 칩과는 조금 다릅니다. 모바일 폰에 쓰이는 이미지 센서 칩 또한 메모리를 가지고 있습니다, 그러나 사실 이 RX100 IV 및 RX10 II에 사용된 신센서는 메모리 뿐만 아니라 프로세서까지 붙어있는 것이죠.
DE: You have processing plus memory.
DE: 메모리에 더해 프로세싱까지 다 들어있다는 것이군요.
KM: Signal processing together with memory.
KM: 신호 처리기능과 메모리가 이미지 센서에 같이 붙은 것입니다.
DE: So the mobile phone sensors do have circuitry on the backside...
DE: 모바일 폰 이미지 센서들은 이미 센서 뒤에 어떠한 회로가 붙어 있었군요...
KM: Yeah, that's right.
KM: 네에, 맞습니다.
DE: ...but it's just memory, whereas... And so now you actually have processors, you know, arithmetic processing on the back side.
[Ed. Note: They show me a sample of the sensor, with the two other chips on the back side of it - see further down for a photo of it.]
DE: .... 그러나 그건 단지 메모리일 뿐이고, 그에 반해서... 소니는 메모리에 더해 프로세서까지 붙였다, 그것도 연산 회로를 이미지 센서 뒤에 붙였다는 것이군요.
[편집자 주: 그들은 센서의 샘플을 보여주었다. 뒷면이 다른 두종류의 칩인데 아래 사진에서 확인해 보자]
KM: The point is, we have memory stacked right outside to the main chip, because the speed of the readout is limited. Therefore we need some memory to stack.
KM: 여기서 핵심은 뭐냐면, 우리는 메인 칩 뒤에 메모리를 적층시켜 부착했다는 것이죠. 왜냐하면 리드아웃의 스피드는 한계가 있으니까요. 그 결과 우리는 데이터 전송 속도를 줄이기 위해 메모리를 센서에 직접 연결한 것입니다.
DE: Yeah, yeah.
DE: 네에, 네에~
KM: The memory data have to wait for the interface. Therefore, the readout rate is very fast, data goes to the memory, then memory has to wait for the speed of the interface which goes to the main chip.
KM: 기본적으로, 메모리의 데이터는 인터페이스를 위해 대기해야만 합니다. 그 결과 리드아웃 비율은 매우 느려지고 데이터는 메모리로 전송이 됩니다. 그 다음 메모리는 메인 칩으로 연결되는 인터페이스 스피드를 위해 대기해야만 하죠.
DE: Yeah. That's been a big problem for system design in computers, everywhere, that you have this pipe between the processor and memory that's a real bottleneck.
DE: 예... 그것이야말로 컴퓨터 업계에서 시스템 설계자들이 가장 곤혹스러워 하는 부분이죠. 특히나 프로세서와 메모리 사이의 데이터 파이프라인이야말로 진정한 병목현상을 일으키는 것이구요.
KM: Exactly, that's right. Therefore the interface is very important, the speed of the interface is quite important.
KM: 바로 그겁니다, 그 결과 인터페이스라는 것이 아주 중요해지는 것이고, 특히 인터페이스의 스피드는 매우 매우 중요하죠.
This graphic from the presentation introducing the RX100 Mark IV and RX10 Mark II illustrates the concept of having both high-speed signal processing and DRAM chips attached directly to the back of the sensor chip. (See below for a photograph of the back of the chip itself.)
이 그림은 RX100 Mark IV 및 RX10 Mark II 프레젠테이션에서 나온 것으로, 센서 칩의 뒷면에 직접 연결된 DRAM 칩들과 고속 신호 프로세서의 컨셉을 보여준다. (아래에 첨부한 사진을 보면 칩셋의 실제 사진을 볼 수 있다)
DE: And so you've distributed the memory and the processing. The processing that's on the back of the chip, then, this isn't like a full-blown image processor as have existed separately? These are presumably much simpler chips. Are they just doing things like the interpolation or the pixel-combining, and that sort of thing for video?
DE: 그리고 소니는 메모리와 그 프로세서 모두 달성했다는 것이군요. 프로세서는 칩의 뒷면에 있긴 한데, 이건 아마도 별도로 존재하는 그 이미지 프로센서와는 다른 것이겠죠? 왜냐하면 이미지 칩 뒤에 붙은 프로세서는 꽤 단순해 보이거든요... 이 프로세서의 역할은 아마도 인터폴레이션 (보간)이나 픽셀 컴바이닝, 그리고 일종의 동영상 처리를 위한 것 같은데 말입니다.
KM: Yeah, before we did.
KM: 네.. 예전에 우리는 그랬죠.
DE: For video, yeah.
DE: 동영상 기능을 강화하기 위해서 그죠?
KM: But in terms of one-inch sensor we don't do anything, we are using everything and no pixel binning.
KM: 그러나 1인치형 센서에 관해서, 우리는 아무것도 하지 않았습니다. 모든 화소를 활용하고 픽셀 비닝은 쓰지 않습니다.
DE: Yeah - I didn't actually mean binning, I was thinking that it was... Because you have to translate from many more pixels to just the 4K size, and so I'm thinking it's not a binning, but it's a...
DE: 그렇군요... 사실 제가 말한건 픽셀 비닝이 아니라.. 음 그게 뭐냐면... 많은 화소를 4K사이즈의 화소로 줄이기 위해서 뭔가 필요한거 같은데 제가 생각한 것은 픽셀 비닝이 아니라.. 그건 아마도...
KM: Ah, yes!
KM: 아하, 이제 감잡았네요!
DE: ...arithmetic, you know...
DE: .... 연산 과정, 뭐 잘 아시겠지만....
KM: Two by two, two by two...
KM: 2x2, 2x2.... 4개를 묶어서...
DE: Yes. So it calculates an average, or it fits a curve or something.
DE: 네 그거요. 평균을 계산한다거나 곡선도표나 다른 기타등등에 맞는...
KM: That's right. We are doing two by two.
KM: 맞습니다. 우리는 2X2로 합니다.
DE: And so that all happens on the back of the chip. And is any noise processing there too, on the back of the chip, or is that more...
DE: 그리고 그것은 칩의 뒷면에서 모두 이루어진다는 것이군요. 노이즈 프로세싱은 칩 뒤에서 하는게 아니고, 그 것 이외에도....
KM: Yes, and we are not doing noise reduction on the backside. We are doing the noise reduction on the main chip.
KM: 네, 이미지 칩셋 바로 뒤에서 노이즈 제거를 하지는 않고, 메인 보드에 있는 메인 칩에서 노이즈 제거를 합니다.
DE: On the main chip, OK.
DE: 아.. 노이즈 제거는 메인 칩에서 하는군요. 알겠습니다.
KM: On the main chip.
KM: 메인칩 맞습니다.
DE: Ah, OK. I see.
DE: 아, 이제 알았습니다.
[Ed. Note: To clarify the above, the new sensor in the Sony RX10 II and RX100 IV has both a low-level processor chip and a memory chip on the back of it. The memory chip basically acts as a very fast buffer memory, because it's coupled so closely with the sensor. It probably has a very "wide" structure, so it can clock in many pixels' worth of data on each cycle. Then the processor chip can rapidly access the data there, to downsample to the number of pixels needed for video resolutions, including 4K. (Meaning that this memory will necessarily be dual-ported or even triple-ported, to buffer transfer of the 4K data stream to the off-sensor processor.) I didn't think to ask Maki-san just how much memory was there, but I don't think it would be a large number of full-resolution frames. (On the other hand, though, it might be.)
[편집자 주: 위의 대화를 명확하기 하기 위해 덧붙이자면, RX100 IV 및 RX10 II의 신센서는 기본적인 연산작용을 하는 프로세서가 이미지 칩 뒤에 부착되어 있고, 메모리 칩도 연결되어 있다. 메모리칩은 기본적으로 초고속 버퍼 메모리의 역할을 하게 되는데 센서와 직접 연결되어 있기 때문이다. 아마도 그 메모리칩은 넓은 구조를 가지고 있어서 한번에 많은 양의 데이터를 처리할 수 있게끔 설계되어 있을 것이다. 그리고 프로세서 칩은 바로 데이터를 받아서 처리를 할 수 있으며, 4K 동영상을 위한 다운 샘플링 과정을 즉시 처리할 수 있게 설계 되었다. (이는 메인 보드에 있는 메인 칩으로 효율적으로 전송하기 위해 메모리가 듀얼 포트나 트리플 포트 구조를 가지고 있다는 것을 의미한다) 나는 마키 본부장에게 메모리의 양이 얼마나 되는지 물어보지는 않았으나, 아마도 2,000만 화소에 모두 대응하는 대용량 메모리는 아닐 것으로 본다 (아님 말고)
It seems to me that the most important function of the back-of-chip memory would be to buffer sensor data for 4K video processing. Rather than using pixel-binning or line-skipping to reduce the pixel count, these new RX models sample *every* pixel on the sensor, and then perform a 2x2 pixel convolution or averaging digitally. That's an enormous amount of processing. Just in terms of the raw data, they've got 5,472 x 3,080 sensor pixels in the 16:9 aspect ratio, a total of 16.9 megapixels, that they're reading out at 30 frames/second. That's a bit over 500 million pixels per second, and they have to "slide" the convolution operator over them, to make an awkward 1.425:1 reduction in pixel count in each direction. So there's likely 4x that many multiplication and addition operations taking place. Simple math suggests that it's thus taking ~4 billion multiplications/second to turn the sensor data into a 4K video stream.]
센서칩 뒤에 메모리를 적층시킴으로 써 생기는 가장 중요한 기능은, 아마도 4K 동영상을 위한 버퍼 센서 데이터 처리일 것이다. 고화소를 4K 화소로 줄이기 위해 픽셀 비닝이나 라인 스키핑을 사용하지 않고, 이 신개발 RX 제품들은 모든 화소를 다 읽어들인 후, 2x2 화소 묶음이나 평균화 작업을 실행하는것으로 보인다. 이것은 어마무시한 데이터 처리 과정이 필요하다. RAW 데이터를 기준으로 볼 때, 이 센서는 5,472 x 3,080개의 픽셀을 16:9로 받아들이게 되며 이는 약 1690만 화소에 해당한다. 이 많은 화소를 초당 30 프레임으로 읽고 있다는 것이다. 따라서 1초에 받아들이는 화소만 해도 약 5억 화소가 넘어버린다. 그리고 프로세서는 일일이 그 5억 화소를 잘라서 묶어서 처리해야 하고 화소의 다운 사이징 비율은 1.425:1 이라는 복잡한 비율로 줄여야만 한다. 이는 일반적인 동영상 처리보다 무려 4배나 많은 연산작용이 필요함을 의미한다. 단순 계산만 해봐도 4k 동영상을 구현하기 위해서는 1초당 40억회의 화소 처리 능력이 요구되는 것이다.]
KM: So this is an engineering conversation, right? <laughs> I [just] sell, so this is very hard to explain about, but sometimes I may say everything. <laughs>
[Ed. Note: I think Maki-san is joking that he worries sometimes that he will say too much, in answering all my questions :-) ]
KM: 하다보니 이거 마치 공돌이들의 대화같네요, 그죠? <ㅋㅋㅋㅋㅋㅋ> 저는 단지 팔아먹으려고 홍보하려고 왔는데... 음.. 이건 좀 설명하기 어려운 부분이 있네요. 그러나 가끔 제가 모든걸 다 털어놓기도 하죠 <ㅋㅋㅋㅋㅋㅋㅋ>
[편집자 주: 내 생각에 마키 본부장은 농담을 곧잘 하는데 간혹 내 질문에 너무 많은 정보를 털어놓을까봐 걱정하는 눈치였다]
DE: Oh, no, that's ok. No, we're good. I'll move on to less-deep things. Ah -- but this one more is slightly deep... For phase-detect autofocus, it seems to me that there's maybe...
DE: 어우, 아니에요. 괜찮습니다. 절대 우리는 괜찮아요. 좀 더 심오한 주제로 옮겨보죠. 으음...
KM: You mean phase-detect autofocus on... full-frame, right?
KM: 어째 느낌이 FF 센서의 위상차 검출 오토 포커스 이야기 하고 싶은거 같은데.. 맞죠?
DE: Yes, on the chip, on the full-frame sensor. It seems like a challenge would be to be able to read that data out quickly enough to be able to do a fast autofocus. Do you read out the -- I'll just call them focus pixels, that was Apple's very descriptive term for them -- do you read out those phase-detect pixels more rapidly than the viewfinder refresh? I mean, can you go in and just read those pixels from the sensor separately from the viewfinder refresh?
DE: 네 글쵸. FF 센서 위에 배열된 그거 말입니다. 아무리봐도 이미지 센서위의 AF 센서를 이용하여 그렇게나 빠르게 포커스를 잡아내고 데이터를 처리한다는건 상당한 도전이었을텐데 말이죠... 리드 아웃... 이라기 보다는 그냥 포커스 픽셀이라고 할께요, 암튼 이건 Apple사에서나 주로 사용하는 매우 디테일한 용어같지만, 뷰파인더의 리프레시 속도보다 위상차 검출 픽셀의 읽기 속도가 더 빠릅니까? 제말인 즉슨, 뷰파인더의 리프레시와 별도로 센서로부터 그 위상차 검출 픽셀을 따로 고속으로 읽는게 가능한가 입니다.
KM: Yes. It is faster. That kind of latency is not good... not exactly the same one. The EVF is a little bit delayed, the delay is 0.2v.
[Ed. Note: I'm not sure what Maki-san meant by 0.2v - at least it sounded like "v". The main point is that there's too much latency and too low a refresh rate in the EVF update cycle, so they need to read out the phase-detect pixels separately and more rapidly from the EVF refresh, in order for the autofocus to be able to work quickly enough. I think he said in some of the back and forth that's not included here that the focus readout was twice as fast at that for the EVF refresh.]
KM: 네, 더 빠릅니다. 그 EVF와 픽셀간의 느린 반응성은 사실 같은게 아닙니다. EVF는 약간 딜레이가 생길수 밖에 없고, 그 딜레이는 0.2v 입니다 [편집자 주: 나는 마키 본부장이 0.2v 라고 말한게 아직도 이해가 안된다. v든 뭐든 내가 듣기에는 "v" 발음으로 들렸다. 여기서 핵심은 EVF의 화면 업데이트에 있어서 아직도 큰 반응성의 차이가 있다는 것이고, EVF에 뿌려지는 화상과 별도로 위상차 검출 포커스의 리드아웃은 EVF와 별도로 처리한다는 것이다. 이를 통해 오토 포커스는 EVF의 리프레시 속도와 관계없이 충분히 빠르게 된다. 나는 마키 본부장이 은연중 EVF 리프레시 속도보다 AF 픽셀의 리드아웃 속도가 약 2배 정도 된다는 것을 말한 것이 아닌가 추측하고 싶다.]
DE: What about the low-light limit when you have phase-detect pixels? It seems to me that the separate phase-detect sensors like in an SLR, they can have big pixels, but on the sensor chip, we have, I mean they're limited to the size of the actual pixels.
DE: 위상차 검출에 있어서 저광량의 한계는 얼마입니까? 각각 별도로 구성된 위상차 검출 픽셀들은 마치 SLR 카메라에 있는 것 처럼 꽤 큰 픽셀들 같아 보이는데, 제 말은 실제 위상차 픽셀의 크기에 제한이 따르는가 하는 것입니다.
KM: That's a good question. So, when we use... in terms of autofocus, we are using a hybrid focus, so first we use the phase-detection focus to get close to the object. Then near the object, we start to use contrast AF to get a clear peak. Then we adjust the focus. Then in order to make very precise focus (because 42-megapixel means very very small pixels), and also the focusing point could be a very small one, therefore we phase-detection together with contrast AF, contrast focus.
KM: 매우 좋은 질문이네요. 봅시다... 우리가 오토 포커스라는 것을 다룰때, 우리는 하이브리드 포커스를 채택했습니다. 일단 첫번째 단계로 위상차 검출 포커스는 피사체에 근접하게 초점을 잡아줍니다. 그 다음으로 초점이 피사체와 가까워지면 컨트라스트 AF가 작동하여 또렷하게 만들죠. 그리고 나서 최종 초점을 조정하게 됩니다. 매우 정밀한 초점을 위해서 (왜냐하면 4200만 화소는 매우 작은 픽셀이니까) 포커싱 포인트 또한 매우 작게 설계 했습니다. 그 결과 위상차 검출과 컨트라스트 AF가 같이 작동하다가 최종적으로 컨트라스트 AF가 마무리를 짓는 것이죠.
This graphic shows the process Maki-san was talking about above. Phase-detect AF gives the camera a good estimate of the correct focal distance, so it can command the lens to move to very close to the correct final position. Then, a brief contrast-AF cycle finds the precise optimal setting.
이 그림은 위에서 마키 본부장이 이야기한 과정을 도식화 한 것이다. 위상차 검출 AF는 카메라가 피사체와의 대략적인 거리를 빠르게 잡아서 포커스를 이동시키는 역할을 하고, 재빨리 컨트라스트 AF가 작동하여 정확하고 최적의 초점을 구현하는 것이다.
DE: Right, right. And does that help you deal with lower light levels, as well?
DE: 그렇군요, 그래요. 그건 그렇고 그러한 방식이 저광량에도 도움이 됩니까?
KM: Yes, yes.
KM: 아, 그럼요 그럼요.
[Ed. Note: Again, there was some back and forth here that was pretty fragmented, so I didn't include it. The central point seemed to be that, especially in low-light situations, the phase-detect AF wouldn't be accurate enough by itself, so they use a hybrid of phase-detect AF, to get into the right ballpark, then contrast-detect AF, to find where the actual point of best focus is.
This answered a question I'd always had about on-chip phase-detect focusing, in that the image sensor pixels are quite small, and have to be read out quickly (meaning must have a short exposure time), to have a responsive AF system. The phase-detect pixels are also shaded, to "see" only light rays coming from one side or the other, so they're only getting half as much light as normal image-forming ones. Under low-light conditions, both factors result in a small focus signal with lots of noise on it. Contrast-detect AF is more capable under those conditions, because it's looking across a larger number of pixels to develop it's goodness-of-focus signal.]
[편집자 주: 다시 말하지만, 이 대화를 구성하는데 있어서 약간의 전후관계 편집이 있고, 불충분한 면도 있었다. 그런 요소는 배제하고, 여기서 핵심은, 저광량 상황에서 위상차 AF는 일단 그 자체적으로 충분히 정확할 수가 없다, 따라서 소니는 하이브리드 방식으로 위상차-컨트라스트 AF를 채택하였고, 대략적으로 볼 때, 위상차 검출 AF는 실제 포커스가 어디에 맺혀야 할 지 그 대략적인 위치를 빨리 잡아주는 역할을 한다고 볼 수 있다.
이것은 이제까지 센서면 위상차 검출 포커싱에 대해 내가 여러번 질문했던 것이고, 실제로 센서면 위상차 픽셀은 매우 그 크기가 작을뿐더러 AF 시스템에 응답하기 위해서는 매우 빨리 리드아웃을 해야한다. (즉 노출 시간이 SLR 카메라의 위상차 픽셀보다 짧다는 것을 의미한다). 또한 위상차 검출 픽셀은 또한 간섭을 받게 된다. 왜냐하면 빛이 한방향으로만 도달하기 때문에 일반적인 SLR 카메라의 위상차 검출 센서에 비해 실제로 받는 빛의 양은 절반에 지나지 않는다. 따라서 저광량이 되어버리면, 그러한 요소들로 인해 포커스 신호가 작아지고 노이즈가 끼게 된다. 컨트라스트 검출 AF는 저광량에서 보다 강한 면을 보인다. 왜냐하면 광활한 센서면을 활용하기 때문에 픽셀의 수에 있어서 훨씬 유리하기 때문이다.]
DE: Let me go back to the RX series, the one-inch sensors again. It's a new chip, obviously, with a number of improvements and many more A/D converters. Did those changes improve the basic signal to noise ratio coming from the sensor, or is it really that it's not such a big difference there, it's more just about increased speed?
DE: RX 시리즈로 다시 돌아가 볼까요, 그 1인치형 센서로 말입니다. 사실 이건 신형 센서죠, 명백하게도 말입니다. 여러가지 개선점이 이루어졌고 더 많은 A/D 컨버터가 들어갔습니다. 이러한 변화들이 센서에서 생기는 기본적인 신호대잡음 비율을 개선하는데 도움이 되나요? 아니면 사실 큰 차이는 없는 것일까요? 그냥 스피드만 향상하는게 주 목적인가요?
KM: In terms of noise reduction, that process is existing in a different part, therefore that's directly...
KM: 노이즈 제거에 관해서, 사실은 다른 쪽에 그 프로세스가 들러갑니다. 그러므로, 그 기능들은 직접적으로 볼 때....
DE: Yeah. I wasn't meaning so much noise reduction, but the actual signal coming from the sensor. Is it any cleaner?
DE: 네, 그렇겠죠. 제가 말하는것은 엄청나게 큰 노이즈 제거를 말하는게 아니라, 실제 센서에서 나오는 신호에 노이즈가 덜 끼는가 하는 겁니다. 좀 더 나아졌나요?
KM: Yes, it's cleaner.
KM: 네, 당연히 노이즈가 덜 나옵니다.
DE: Hmm.
DE: 흐으으으응음.
KM: And so we needed to see the back side, here.
[Ed. Note: Maki-san proceeded to show me a little display card with a sensor on it that I'd seen upstairs at the event, but hadn't noticed that there was a cutout in it, so you could see the back of the chip as well.]
KM: 그리고 여기서 잠깐 뒷면을 보자면, 바로 여기 말입니다...
[편집자 주: 마키 본부장은 작은 디스플레이 카드를 보여주었는데, 바로 그것은 프레젠테이션 회장에서 들고나온 그 센서가 붙은 전시물이었다, 그러나 잘린 절단면은 보이지 않았고 그 칩의 뒷면만 볼 수 있었다.]
DE: Oh, yeah.
DE: 네, 거기요..
KM: Or here. Can you see? Can you see the back side of this? The normal one doesn't have this kind of hole. [Ed. Note: There's an opening in the back of the sensor package, exposing the back side of the sensor chip itself.] This is algorithm [Ed. Note: Meaning that it's the processor chip], two pieces of silicon are there, one is memory, one is logic. Can you see that one?
KM: 아니면 여기.. 여기 보이나요? 이 센서칩의 뒷면 말입니다. 보통의 칩은 가운데 이렇게 빈 공간이 없습니다. [편집자 주: 센서 패키지의 뒷면에는 뭔가 비어 있는 공간이 보인다. 그리고 센서칩 그 자체의 뒷면은 뻥 뚤려 있었다.] 이것은 일종의 알고리즘 입니다 [편집자 주: 여기서 마키 본부장이 말하는 것은 프로세서 칩을 의미하는 것임], 두장의 실리콘 칩이 여기 있구요, 하나는 메모리이고 다른 하나는 프로세서 입니다. 이것들이 잘 보이나요?
DE: There's two pieces of silicon. Ah, yes! I see there's... If you get the reflection just right...
DE: 두 장의 실리콘 칩이 있네요. 아.. 예! 보입니다. 바로 거기 반사되서....
KM: That's right, yeah.
KM: 네 바로 그거에요.
This is a shot of the back of the packaged sensor used in the RX100 IV and RX10 II. Maki-san explained that there normally wouldn't be a cavity here, but the two chips shown are a special, high-speed but limited-function image processor and a DRAM chip.
From the look of them, they appear to be raw silicon chips inverted and connected to the bottom of the sensor package using some sort of solder-bump technology. I had thought from the earlier explanation that they'd be directly attached to the sensor chip itself, but it may be that the signals are actually being passed through the ceramic package. Or, it could be that these chips do attach directly to the sensor silicon, via a hole in the ceramic.
Given how thin and therefore fragile backside-illuminated sensors are, my guess is that there's a layer of ceramic all the way across, to provide structural support.
이것은 RX100 IV와 RX10 II에 사용된 센서 패키지의 뒷면 사진이다. 마키 본부장은 대개의 경우 중앙에 공간이 있지 않지만, 그 공간 가운데 보이는 두장의 칩이 바로 특별한 것으로써 고속-제한된 기능을 가진 이미지 프로세서와 DRAM 칩이다.
일단 외견상 봤을때, 솔더 범프 기술의 일종으로 보이는 기법이 적용된 실리콘 칩들로 보이며 이는 센서 패키지의 바닥에 연결되어 있다. 이전까지의 설명을 들었을 때는 센서칩에 바로 연결되어 있다고 생각했는데, 실제로 보면 신호들은 세라믹 패키지를 통해 전달되는 것 같다. 혹은 이 칩들은 센서 실리콘에 세라믹 구멍을 통해 직접 연결되어 있을 수도 있다.
만약 매우 얇고 약한 이면조사형 센서가 있다면, 내 추측으로는 강도를 보강하기 위해서 세라믹 층이 겹겹히 적층되어 있을 것이다.
DE: So with the RAM, you said that it was DRAM, so it's not static RAM?
DE: 그래서 RAM이라고 했는데... 그것은 DRAM이라는 것이죠? SRAM이 아닌?
KM: Yes, DRAM.
KM: 네, DRAM 입니다.
DE: I would think that having the RAM and processor on the back of the chip would cause further heat problems. I mean...
DE: 일단 제 생각으로는 RAM과 프로세서가 칩 뒤에 붙어 있다는 것은 더 많은 열을 발생하지 않나요??? 제 말은...
KM: No. Not really.
KM: 아니오. 막상 실제로는 안그래요.
DE: Not really? Huh, I wouldn't have imagined that!
DE: 실제로는 안그렇다니??? 읭??? 저는 그렇게 생각안하는데요!
KM: In terms of heat.
KM: 열에 대한거라면....
DE: Interesting. I guess the processor there is doing only fairly limited processing; it's not like you have a big DSP or something, so...
DE: 놀랍군요! 저는 저는 그 프로세서라는게 단지 제한적인 프로세싱만 한다고 생각했거든요; 거대한 DSP라던가 뭔가 다른 기능이 있는것이 아니라 말이죠...
KM: Yeah, exactly.
[Ed. Note: It wasn't clear on the audio recording, but I think he said here that the sensor itself generates more heat than the mini-processor or memory.]
KM: 네, 정확합니다.
[편집자 주: 인터뷰 녹음 파일을 들어봐도 뭔가 확실하지는 않다. 그러나 내 생각으로는 그 미니 프로세서나 메모리보다는 센서가 더 큰 열을 발생하기 때문에 그 DRAM이나 프로세서의 열이 큰 장애가 되지 않는다고 하는것 같았다]
DE: One claim in the presentation was that there's really no rolling shutter, that it's really not an issue with this new one-inch chip now, it's really not an issue.
DE: 한가지 프레젠테이션에 대해 특이한게 있는데 말이죠, 롤링셔터가 절대 없다고 한거 이거말입니다. 이 신형 1인치형 센서에서는 진짜로 롤링셔터는 아무 문제될게 없나요?
KM: Ah, well, the chip in the RX, it's not nothing.
KM: 아, 글쎄요, RX에 있는 그 칩은 롤링셔터가 전혀 없는것은 아닙니다.
DE: Yes, of course, there'll always be some rolling shutter.
DE: 물론 그렇겠죠. 얼마간의 롤링셔터라는 것은 언제나 있으니 말입니다.
KM: It still exists. It's getting smaller, five times smaller than before. Because it's five times faster than before, that's what slanting like this. [Ed. Note: Maki-san was gesturing to indicate that, while there's still distortion in moving objects, it's very small.] This is faster, too small. You get it?
KM: 롤링셔터라는 것은 여전히 존재합니다. 작아진거죠. 기존 제품대비 약 1/5 수준입니다. 왜냐하면 기존제품보다 5배나 빠르거든요, 여기서의 관점은 바로 5배나 향상된 롤링셔터라는 것입니다. [편집자 주: 마키 본부장은 움직이는 물체에 대해 여전히 약간의 왜곡이 있다는 것을 보여주기 위해 손짓을 동원하며 이를 설명하려고 했다. 매우 작다는 것을 강조하면서 말이다] 이 센서는 빠릅니다, 그리고 롤링셔터가 작습니다. 이제 아시겠죠?
DE: Yeah, yeah, I understand....
DE: 네에, 네에, 알겠습니다....
KM: Yeah. It's not a global shutter, so in terms of global shutter, that reads everything down to the memory. Pixel by pixel, the data goes straight to memory.
[Ed. Note: He's not speaking of digital memory at this point, but rather that, with a global shutter, the information from the pixels is transferred into analog memory (essentially storage capacitors, integrated into the sensor chip) all at once, across the entire array.]
KM: 그거죠. 이건 글로벌 셔터가 아닙니다, 글로벌 셔터는 아시다시피 모든 것을 순차적으로 메모리에 기록하잖아요. 픽셀 단위로 말입니다. 그 데이터는 곧바로 메모리로 저장되지요.
DE: Yeah, yeah.
DE: 네에, 네에,
So-called rolling shutter (a term from the days of film-based movie cameras) is the bane of action videographers. The progressive capture of each frame can cause severe distortion of moving subjects. This chopper's rotor blades aren't actually curved like that :-)
"Jamtlands Flyg EC120B Colibri" by Jonen. Licensed under CC BY-SA 3.0 via Wikimedia Commons.
이른바 롤링 셔터 (이 단어는 필름 기반의 영화 촬영용 카메라시절에 나온 것임)는 영화 제작자들에게 있어서 재앙과도 같은 것이다. 각각의 프레임을 프로그레시브로 담는다면 움직이는 물체는 매우 왜곡되어 담기게 된다. 이 헬기의 로터 블레이드는 저 사진에 나온 것 처럼 절대 휜 것이 아니다 -_-)
KM: But actually, that is a very difficult technology to create. On the manufacturing side, on the design side.
KM: 그러나 사실, 롤링셔터를 없애는건 엄청나게 어려운 기술이지요. 제조사 입장에서 봤을때는 특히 설계측면에서 말입니다.
DE: Yeah.
DE: 인정합니다.
KM: So actually, this is the alternative, to realize a very similar thing. Of course, there is rolling shutter, but we can achieve a faster rolling shutter.
KM: 그래서 실제로는, 이 방법은 일종의 대안인 셈입니다. 롤링셔터를 없애는 대신 최소화하는 것이죠. 물론 롤링셔터 현상은 여전히 남아 있습니다, 그러나 보다 빠르게 만들 수는 있습니다.
DE: If it's fast enough, then...
DE: 충분히 빠르다면 말이죠, 그렇다면...
KM: It's kind of anti-distortional rolling shutter - we're going to call it Anti-Distortion Rolling Shutter. So therefore... I think it is good enough to make sure to avoid the distortion.
KM: 이것은 일종의 왜곡방지 롤링셔터라고 해둡시다. 정확하게는 Anti-Distortion Rolling Shutter라고 부를 예정입니다. 그래서 그 결과... 제가 생각하기에 그것은 그러한 왜곡을 피하기에는 충분한 수준이라고 봅니다.
DE: Yeah, it doesn't matter whether it's global or it's just very quick...
DE: 네에~. 글로벌 셔터인지 혹은 셔터 자체가 빠른지는 중요한게 아니라는 것이죠?
KM: That's right, yeah.
KM: 바로 그겁니다. 네.
DE: No-one's going to notice anyway.
DE: 아무도 그 차이를 모른다는 것이군요.
MW: And the structure of global shutter is totally different.
MW: 그리고 글로벌 셔터의 구조는 완전히 다르니까요.
DE: Yeah, it's very difficult. In fact, I know, global shutter was easier to do in CCDs I think...
DE: 네 그렇죠. 글로벌 셔터는 만들기 힘드니까요. 사실, 글로벌 셔터가 CCD에서만 쉽게 만들수 있다는 것을 알고는 있습니다...
KM: That's right, yeah.
KM: 맞습니다, 맞구요.
DE: But CMOS, CMOS it's very hard, yeah. Oh, that was one question. So on the A7R II, there's an all-electronic shutter mode, a silent shutter mode.
DE: 그러나 CMOS, CMOS 센서는 글로벌 셔터를 넣기가 무척 힘들죠. 앗! 한가지 질문이 더 떠오르네요. 그래서 말인데요 A7R II는 완전한 전자셔터 모드가 있지 않나요? 사일런트 셔터 모드라고 하는...
KM: Yeah.
KM: 그렇죠.
DE: Our sense, and I'm not sure if we had seen it in... It might not have been a Sony product, it might have been somebody else's, but I know that there was at least one camera we had in the lab not long ago that reduced the bit depth in the raw files when you used its all-electronic shutter mode. And so I'm wondering, I guess there's a tradeoff there. What is the tradeoff in terms of image quality or noise level or whatever, when you're using an entirely electronic shutter as opposed to a mechanical shutter?
DE: 우리가 보기에, 제가 맞는지 틀렸는지는 잘 판단이 안서기는 하는데... 이번 소니의 사일런트 셔터 말고, 다른 회사 제품인데.. 그 뭐더라....최소 우리 연구실에 있던 카메라 중 한개 정도가 완전 전자셔터를 사용했을 경우에 RAW 파일에서 어느정도 화질 저하가 오는 경우가 있었거든요... 그래서 궁금합니다. 제가 생각하기에 전자셔터는 화질을 감소시키는 대신 정숙함을 얻었다고 느끼니까요. 혹시 전자셔터로 인한 등가교환의 법칙으로, 화질 손상이라던가 노이즈 증가 혹은 뭐 어떤것일지라도 손해가 있긴 있나요? 기계식 셔터에 비해서 말입니다.
KM: Just distortion.
KM: 왜곡만 좀 생깁니다.
MW: Yeah. Otherwise, why put the mechanism in?
MW: 네, 바꿔 말하자면 그런 손해가 심하다면 전자셔터를 왜 넣었겠습니까.
KM: Yeah.
KM: 그렇죠.
MW: There are things that the shutter blades can do that the image sensor turning off quickly enough cannot. So there are pluses and minuses, I think what we're going to have to do is put some information together about the pluses and minuses.
MW: 이미지 센서를 통한 전자셔터가 빛을 끊기에는 충분하지 않지만, 기계적 셔터의 셔터 블레이드는 확실히 빛을 차단할 수 있으니까요. 기계적 셔터와 전자셔터는 일장 일단이 있습니다. 제가 생각하기에는, 이 일장일단에 대해서 좀 더 많은 정보를 드려야 할 것 같습니다.
DE: Mmm, that would be really good to see, yeah. Because I don't think that information really exists out there. Tell us, and we'll tell the world.
DE: 으으으믐... 일단 그건 좋은 제안입니다. 왜냐하면 실제로 그러한 전자셔터 및 기계적 셔터의 일장일단에 대해 공식적으로 존재하는 정보를 보지 못했으니까요. 저희에게 정보를 주시면, 우리가 그것을 마구 퍼뜨리겠습니다.
DE: Well that's actually all the questions I have here. I appreciate it very, very much.
DE: 벌써 질문을 다해버렸네요... 너무나 감사합니다.
KM: Woo! <laughter>
KM: 우워어어어! <ㅋㅋㅋㅋㅋㅋ>
DE: You got through another one.
DE: 프레젠테이션에 이어 또 하나의 미션을 클리어 하셨군요
MW: Oh, and we have two demonstrations.
MW: 아, 사실 두개의 시연회도 있습니다.
추천 7
상대에게 상처를 주기보다는 같이 즐거워 할 수 있는 멋진 코멘트 부탁드려요.
상대방에 대한 비방이나 욕설등 부적절한 코멘트의 경우 운영진의 판단하에 삭제될 수 있으니 주의 부탁드립니다.
