2018, Dr. S.Joon Kwon

Ringing meets Quivering

About, GRAYCODE, jiiiiin

2018, Dr. S. Joon Kwon 권석준

Korea Institute of Science and Technology (KIST), Seoul, KR

Ringing meets Quivering

Nikola Tesla, a genius scientist from Hungary, once said:
"If you wish understand the universe, think about energy, frequency, and vibration."

In fact, most signals around us are transmitted to our senses through ringing and resonance. From the birth of the universe there have been ringing and resonance, and these two are, in other words, vibrations. The understanding of the object starts with the detection of the signal that the object makes, for example, the music we hear and feel is mediated by the vibration of the air (strictly speaking, the periodic change of density of air in space and time). The visual arts that we see and feel can be said to be signals that mediate the frequency and amplitude of electromagnetic waves (especially visible light for human). Both the periodic fluctuations of air density and the transmission of electromagnetic waves are transmitted to us by a key mechanism of vibration. The fact that music and visual art have in common that they are vibrations, in other words, may mean that a distinct sense of human hearing and vision can be integrated into one sense when focused on the vibrational movement itself. Of course, the vibration of the air and the transmission of the electromagnetic wave are different from each other, so the visual organs such as the cochlea and the visual cell such as the viscera and the retina have evolved separately. Nonetheless, if there are some specific artificial mediators that can lead to the integration of the two senses, the fusion of sound and visual arts with vibration as a common factor may not be impossible.

The joint work of two artists, Ms. Jinhee Jung and Mr. Taebok Cho, focuses right on this part. The visual arts, that are conveyed only by the vibration of the air, expanded to the visual space by the change of the electric signal of the cheek cells in the cochlea, or the visual art, which is conveyed to the electromagnetic wave and transmitted by the electric signal in the retina, is shifted to the musical space. The work expressed in this way leads to the integration of the sense in a new dimension as an independent art in a time and space. The work of two young artists is not limited to simply visualizing music, or creating BGM suitable for visual arts. There are already well-known ways of expressing music through visualizations such as Spectrogram, Chladni or Lissajous patterns. Conversely, how to convert pattern images with specific symmetry and periodicity into music is also well known to community. However, the works of the two artists are not limited to the simple translation of vibrations such as the one-to-one functional correspondence. Their genuine creativity can be said to be the intuitive integration of invisible objects, not mechanical translations of visible objects. Joh and Jung are boldly borrowing the methodology of physics. The two artists inherited the legacy of the German scientist Heinrich Hertz, using algorithms to interpret vibrations and creating their own electronic signals that can be effectively visualized. This leads to a sensory experience and a higher level of quivering beyond the sampling frequency of human vision. To do this, the two artists decomposed the electronic music into a time and frequency dimension and created a specific mathematical kernel that projected it into complicated but beautiful visual images. Through this, the music as a signal in the frequency-time space is effectively translated into a visualized image of a x-y two-dimensional plane space. Notwithstanding the convergence of the two signals is in accordance with precise methodologies based on physics and electronic engineering, it is taken as an artistic experience for the audience by omitting the cognitive process that this is a sort of functional transformation. It is not difficult to guess that there was a creative fusion of artistic sensitivity and engineering knowledge of the two young virtuosos during the design process for the specific mathematical kernel.

The work of Cho and Jung is attributed to the achievement of the Giga Hertz Award 2018 in German. Interestingly, the name of the German physicist Heinrich Hertz, who is also the father of radio engineering, is not an unfamiliar part when considering the work style of the two artists. It is expected that the work of two young artists who are going beyond the traditional way of appreciation of music and expanding its sensory dimension visually and making creative attempts for it will create a lot of vibrations and quivering in the future.

-
울림이 떨림을 만나다

헝가리의 천재 과학자 니콜라 테슬라 (Nikola Tesla)는 이런 말을 한 적이 있다.
“만약 우주를 이해하고 싶다면, 에너지, 주파수, 그리고 진동에 대해 생각해 봐야 한다.”

실제로, 우리 주변의 대부분의 신호는 떨림과 울림을 통해 우리의 감각 기관으로 전달된다. 우주의 탄생부터 떨림과 울림은 있어 왔고, 이 둘은 다시 말해 진동이다. 대상에 대한 이해는 대상이 만드는 신호의 감지에서부터 시작하는데, 예를 들어, 우리가 듣고 느끼는 음악은 공기의 진동 (엄밀히 말하면 공기 밀도의 시공간에서의 주기적 변화)과 그것의 주파수와 진폭을 매개로 하는 신호라고 할 수 있고, 우리가 보고 느끼는 시각 예술은 전자기파 (특히 가시광)의 주파수와 진폭을 매개로 하는 신호라고 할 수 있다. 공기 밀도의 주기적 떨림과 전자기파의 전달 모두 진동이라는 핵심 메커니즘에 의해 우리에게 전달되는 것이다. 이렇게 음악과 시각 예술이 결국 진동이라는 공통점을 가지고 있다는 것은, 달리 말해, 인간의 청각과 시각이라는 별개의 감각이 진동이라는 움직임에 초점을 맞출 때 하나의 감각으로 통합될 수도 있음을 의미하는 것일지도 모른다. 물론 공기의 진동과 전자기파의 진행은 물리적 근원이 다르므로, 그에 맞게끔 달팽이관 같은 청각 기관과 시세포와 망막 같은 시각 기관이 따로 진화한 것일 것이다. 그럼에도 불구하고, 두 감각의 통합을 이끌어 낼 수 있는 모종의 인위적인 매개체가 있다면, 진동을 공통 분모로 가지고 있는 소리와 시각 예술의 융합적 감상은 불가능한 일이 아닐지도 모른다.

정진희 작가와 조태복 작가의 공동 작품은 바로 이 부분에 초점을 맞추고 있다. 온전히 공기의 진동으로만 전달되어 달팽이관에서 청세포의 전기 신호 변화로 느껴야 하는 음악을 시각적 공간으로 확장하여 표현한 작품, 혹은 온전히 전자기파로 전달되어 망막에서의 전기 신호 전달로 느껴야 하는 시각 예술을 음악적 공간으로 변위시켜 표현한 작품이 하나의 시공간에서 독립된 예술품으로 새로운 차원에서의 감각의 통합을 이끌어 내고 있다.

두 젊은 작가의 작품은 단순히 음악을 시각적으로 표현한 것, 혹은 시각 예술에 어울리는 BGM 등을 만드는 작업에 국한되는 것은 아니다. 이미 음악을 스펙트로그램 (Spectrogram)이나 클라드니 (Chladni) 패턴, 리사주 (Lissajous) 패턴 같은 시각화 작업을 통해 표현하는 방법이 잘 알려져 있으며, 반대로, 특정한 대칭성과 주기성이 있는 패턴 시각화를 음악으로 변환하는 방법도 잘 알려져 있다. 하지만, 두 작가의 작품은 이러한 기존의 일대일 대응 같은 진동의 번역에 국한되지 않는다. 그들의 진정한 창의성은 보이는 대상의 기계적 번역이 아닌, 보이지 않는 대상의 직관적 통합에 있다고 할 수 있다. 그리고 두 작가는 그를 위해 과감하게 물리학의 방법론을 빌려 오고 있다. 두 작가는 독일의 과학자 헤르츠 (Hertz)의 유산을 물려 받아, 진동을 해석하는 알고리듬 (algorithm)을 활용하고 시각화가 가능한 고유의 전자 음악을 만들어 내었으며, 암전된 방에서 그 음악에 맞춰 어우러지는 시각 이미지는 새로운 감각 경험을 이끌어내, 인간의 시각의 샘플링 주파수 (sampling frequency)보다 더 높은 수준의 떨림을 느끼게 해 준다. 이를 위해 두 작가는 전자 음악을 시간과 주파수의 차원으로 분해하여, 그것을 시각 이미지로 사영 (projection)시키는 수학적 커널 (kernel)을 만들어 내었으며, 이를 통해 주파수-시간 공간에 있던 음악이라는 신호는 x-y라는 2차원 평면 공간의 시각화된 이미지로 번역된다. 두 신호의 어울림은 비록 물리학적 혹은 전자공학적 방식을 따른 것이지만, 감상하는 측에서는 이것이 인위적인 함수 변환에 의한 것이라는 사실을 인지 과정을 생략한 채, 하나의 예술적 경험으로 받아 들이게 된다. 특히, 이 수학적 커널에 대한 설계 과정에서 두 젊은 거장들의 예술적 감수성과 공학적 지식의 창의적 융합이 있었을 것으로 추측하는 것은 어렵지 않다.

두 작가의 이러한 노력은 2018년 독일의 기가 헤르츠 어워드 (Giga Hertz Award) 수상이라는 업적으로 연결되었는데, 상의 제목에 이미 전파 공학의 아버지인 독일의 물리학자 헤르츠 (Heinlich Hertz)의 이름이 있는 것은 두 작가의 작품 스타일을 생각했을 때 전혀 낯설지 않은 부분이다. 음악의 전통적 감상 방식을 뛰어 넘어, 그것의 감각 차원을 시각으로까지 확대하고 그를 위해 창의적인 시도를 거듭하고 있는 두 젊은 작가의 작품 세계는 앞으로도 많은 울림과 떨림을 만들어 낼 것으로 기대된다.