AI는 도둑? 도구? AI와 음악의 2인3각이 향하는 길

💁‍♀️ AI 음악의 작곡가는 누구일까?

🍊 : 선생님이 베토벤 스타일을 학생한테 가르쳐서 학생이 베토벤 스타일로 곡을 쓴다면, 그 스타일을 선생님이 가르쳤다고 해도 그건 선생님 작품이 아니라 학생 작품이잖아요. 마찬가지로 사람이 인공지능을 학습시킨다고 하더라도 그 결과물은 사람 작품이 아니라 인공지능의 작품이 되지 않을까요?

🍩 : 하지만 딥컴포저에서의 작곡은 사람이 음악의 핵심 주제가 되는 멜로디를 넣고 음악 스타일을 선택하면 인공지능이 스타일에 따른 작곡을 해 주잖아요. 핵심 주제를 사람이 넣는다는 점에서 최소 인간과 인공지능의 공동창작이라고 봐야 하지 않을까요?

👩‍💻 AI 음악, AI 소설과 비교해보자

🍊 : AI 작곡이 가능하다면, AI로 소설을 쓰는 것 역시 가능할까요? 소설을 인공지능이 쓴다면 어떻게 쓸 수 있을까요?

🐀 : 실제로 인공지능은 소설도 써요. 한 인공지능에게 기존에 없었던 장르와 배경으로 스릴러물을 쓰라고 명령했더니, 독자가 범인인 소설을 썼대요.

🍩 : 학습시킨 사람들은 좀 섬뜩했겠네요. 그런데 소설로 비교해서 생각했을 때에는 정보를 집어넣은 사람이 아니라 인공지능이 작가라는 생각이 훨씬 더 자연스럽게 들어요. 작곡은, 모티브라는 음악의 핵심 요소를 사람이 만들어서 준 거잖아요. 소설은...

🍊 : 시놉시스?

🐀 : 소설에서는 시놉시스, 음악에서는 모티브, 이것만큼은 사람이 만드는 부분이잖아요. 인간이 가지는 창의성이죠. 그런 건 지금 단계의 인공지능은 하기 어렵고 대체할 수 없는 것 같아요.

🧟‍♂️ AI는 일자리 뺏는 도둑인가 일 돕는 도구인가?

🍊 : 인공지능이 나왔을 때 사람들의 반응은 일자리 뺏는 거 아니냐 하는 우려와 일을 도와주는 도구가 되겠다는 기대로 상반되었던 것 같아요. 작곡의 경우 AI가 사람에게 어떻게 도움을 줄 수 있을까요?

🐀 : 만약 제가 학교 다니면서 작곡 공부를 할 때, 인공지능을 도구로 썼다면 작업을 더 수월하게 할 수 있었을 듯해요. 모티브만 딱딱 넣으면 알아서 악기와 코드를 깔아주니까요. 좋든 나쁘든 일단 귀에는 협화음으로 들리니까.
결국 시대가 인공지능 시대잖아요. 우리가 인공지능을 어떻게 바라보아야 할 것인가 ... “인공지능은 내 일자리를 빼앗으니까” 배척하고 외면할 수만은 없어요. 언젠가는 받아들여야 하는데, 어떻게 받아들여야 할까요?

🍊 : 다른 분야에서는 많이 도입이 되어서, 실제로 인공지능의 도움을 받으며 업무를 처리하는 곳이 많죠.

💃 인공지능이 재즈를 한다?

🍊 : 재즈라는 장르 자체가 AI가 참여할 수 있는 영역일까요? 즉흥이 메인이고 서로 상호작용하는 게 핵심인 장르를 해낼 수 있을까, 이것도 궁금해졌어요. 개발자에게는 도전적인 영역일 것 같아요. 사람의 즉흥성으로 작품을 만들어내는, 지극히 인간적인 영역에서 AI가 뭔가 해낸다는 것 자체가요. 알파고 쇼크처럼 그 정도 가치가 있는 결과물이 되지 않을까요?

🍩 : 즉흥이라 해도 어느 정도 패턴이 있잖아요. 코드를 돌리면서 여기서 누구 솔로, 저기서 누구 솔로 하는 루틴이 있으니 불가능할 것 같지는 않네요.

🍊 : 이 마디는 피아노 솔로, 이 마디는 베이스 솔로, 이 마디마디가 정해져 있으니까 AI 악기가 솔로 하면 되는 거죠. 그런데 솔로를 할 때 이미 정해진 멜로디를 하는 게 아니라 AI가 즉흥으로 랜덤 작곡을 해야죠. 협화음이면서도 모티브를 살려야 하고, 실시간으로 다른 사람이 만들어내는 즉흥을 들으면서 응용하는 능력까지 필요하겠어요.

🍩 : 그 과정에서 인간이 듣기에 위화감이 느껴지는 진행이 생길 수도 있을 것 같아요. 그런데 바둑의 경우도 알파고를 통해 이전까지 정석이라고 생각하던 개념이 많이 깨졌다고 하잖아요. 음악도 마찬가지로, 우리가 생각하지 않던 방식으로 음악을 만드는 게 위화감을 불러일으킬 수도 있지만 거기서 우리가 뭔가 배울 수 있지 않을까요? 바둑에서 알파고를 통해 새로운 정석을 발견하듯이 메타적인 도움을 받을 수 있지 않을까... 그런데 자꾸 거부감이 들고 보수적이 되네요.

🎶 우리는 무엇을 기대하며 음악을 할까?

🍩 : 제가 음악하면서 행복한 순간은 제가 직접 음악 속에 깊이 들어가 있을 때거든요. 이 사람이 왜 이걸 이렇게 썼을까, 왜 이렇게 연주할까, 음악을 만드는 사람을 느끼는 게 큰 행복인데, 인공지능으로부터는 음악으로부터 제가 얻는 행복을 얻을 수 없을 것 같아서 자꾸 반발감이 들어요. 인공지능을 이용해 먹을 수는 있는데, 음악이라는 활동에서 의미 있게 생각하는 것들을 인공지능을 통해 얻을 수는 없을 것 같은 느낌...

🍊 : 랩을 예로 들자면, 랩은 자기 이야기를 하는 장르잖아요. 그런데 인공지능이 랩을 한다고 할 때, 사람들이 얼마나 들을지, 듣고 싶어할지의 문제와도 겹칠 것 같아요.

🍩 : 인공지능이 진짜 자아를 갖고(무서운 얘기지만) 자기 얘기 하면 나름 재미있게 들을 거 같아요. 하지만 인공지능이 단순히 사람들이 랩 만드는 걸 흉내 내서, 나 돈 많고 차 있고 잘 나간다 하면 그게 무슨 재미에요. 차라리 인공지능이 진짜 자기 이야기를, “아 오늘 오류가 몇 번 발생해서 CPU가 몇 퍼 깎였어” 이런 랩을 하면 들을 것 같아요. 음악이라는 걸 향유할 때, 음악에 참여하는 사람만의 무언가를 느끼고 싶은 거 같아요. 인공지능이라 하더라도... 본질...? 뭐라고 해야 할까요.

🤔 AI 작품을 감상할 때 느끼는 이질감의 정체는?

🐀 : 영화 "센과 치히로의 행방불명"에서, 센이라는 사람이 랩을 한다고 쳐요. 자기에 어디에 끌려가서 용도 타고... 그건 그 캐릭터의 이야기니까 자기 이야기를 하는 거죠. 그런데 사실은 인공지능이 랩을 했다고 하면? 겉은 센인데, 이야기를 뱉는 속은 인공지능이라 했다 하면 이질감을 느낄 것 같나요?

🍊 : 감쪽같이 한다면 안 느끼지 않을까요. 정말 그 캐릭터의 이야기를 잘 한다면...

🐀 : 케이블 방송에서 홀로그램을 소재로 기획한 "다시 또 한번"을 봤거든요. 제가 인상 깊게 본 게 거북이였어요. 터틀맨이 랩을 하잖아요. 그런데 그게 원래의 노래 가사가 아니고, "내가 사고를 당했는데 홀로그램으로 부활했어" 그런 가사로 노래를 불렀다면 어땠을까요?

🍩 : 소름 돋을 것 같아요.

🍊 : 반발감도 생길 것 같아요.

🍩 : "센과 치히로"의 경우에는, 지금도 그 캐릭터가 아닌 성우가 그 캐릭터를 연기함으로써 캐릭터가 말하게 되는 거잖아요. 그 성우의 역할을 인공지능이 하는 거라 생각하면 그다지 위화감이 들지 않는 것 같아요. 애니메이션 캐릭터의 목소리에는 원래 성우라는 매개체가 있었으니까요. 그렇지만 인공지능 거북이는, 내가 이 존재를 거북이라고 받아들이는 상황에서 “나 홀로그램이야” 하면... 치히로 성우가 치히로 연기를 하다 말고 “안녕 나는 성우 누구누구야” 했을 때의 당혹감을 느끼게 될 것 같아요.

🍊 : TPO의 문제 아닐까요? 애초에 인공지능 거북이의 무대는 감동을 위한 무대였잖아요. 아예 홀로그램을 소재로 재미를 추구하는 행사에서 인공지능 거북이가 “안녕 나는 홀로그램이야”라고 했으면 괜찮을 거 같아요. 하지만 감동을 주려는 무대, 인공지능 거북이가 진짜 거북이로 사람들에게 받아들여지는 것을 염두에 두고 기획된 무대에서 그런 행동을 하는 건 TPO가 안 맞지 않을까요. 인공지능 거북이가 홀로그램인 걸 알지만, 그 존재에 진짜 거북이를 투영하고 싶어하는 행사였으니까요.

🍩 : 약속의 문제네요. 실제가 아니지만 실제라고 약속하고 받아들이는... 연극에서 관객들이 무대에 대해 하는 약속처럼요.

👏 음악의 감동은 어디에서 오나?

🐀 : 저는 음악에 감동을 받은 적이 없습니다. 그냥 듣기 좋다, 그 정도 같아요.

🍊 : 저는 예전에 브람스의 음악을 듣고 운 적이 있었어요. 그런데 AI 작곡이 더 고도화되어서 오케스트라 곡을 브람스 스타일로 잘 만들 수 있게 된다면, 그걸 듣고도 감동받을 수 있지 않을까요?

🍩 : 아주, 아주 잘 만들면 가능할 것 같아요.

🐀 : 브람스 곡에서 감동을 받았다고 하셨잖아요. 브람스의 곡만으로 감동을 받으신 거예요? 아니면 브람스의 생애 등 배경지식과 함께 감상하며 감동을 받으신 건가요?

🍊 : 아뇨 브람스의 생애에는 관심도 없어요. 그냥 그런 거죠. 음악이라는... 음악도 하나의 언어로 보잖아요. 셰익스피어가 "햄릿"을 썼어요. 사람들이 "햄릿"에 감동을 받는 이유는 그 작품을 통해서지 셰익스피어의 생애를 떠올리면서는 아니잖아요. 보통은요. 신춘문예도 작가의 생애를 모르지만 작품을 보고 평가하고 감상할 테고요. 그런 것처럼 음악이라는 언어로 그 사람이 만들어 낸 하나의 스토리, 그 기승전결, 선택한 단어... 이런 것들에서 감동을 받는다고 표현하면 적절할 것 같아요. 브람스의 생애는 몰라요. (웃음)

🤷‍♂️ AI 음악에서 감동을 받을 수 있을까?

🍩 : 저는 아까부터 “인공지능이 충분히 고도화되면 그 음악으로부터 감동받을 수 있지 않을까” 하는 질문을 계속 생각해보고 있었어요. 우리가 작곡할 때에는 작곡 기술과 패턴을 공부한 지식 그리고 내가 가진 직관과 감성 사이를 오가잖아요. 인간에게는 감성이 있는데 인공지능한테는 없다고 한다면, 패턴을 학습하는 것만으로 나아갔을 때, 기술과 지식의 길로만 갔을 때, 기술과 지식뿐 아니라 직관과 감성을 지닌 인간이 나아가 다다른 곳과 같은 곳으로 갈 수 있을까요? 인공지능 음악을 들으면서 위화감을 느끼는 게, 감성적으로 자연스럽지 않음을 느껴서 그런 것 같거든요. 이성만이 충분히 고도화되면 이성과 감성의 조화로 만들어지는 곳에 다다를 수 있는가?

👨‍💻 영화음악을 인공지능이 작곡할 수 있을까?

🍊 : 영화는 장면을 보면서 장면에 맞추어 곡을 쓰잖아요. 인공지능이 그 역할을 수행할 수 있을까요?

🍩 : 영화음악이 만들어지는 공정을 생각해보면, 각 장면마다 레퍼런스가 주어지고 그 레퍼런스를 참고하며 쓰는 방식으로 작곡을 많이 하잖아요. 충분히 고도화되어 있는 인공지능이라면 레퍼런스 등 정보를 충분히 입력해서 괜찮게 작곡시킬 수 있지 않을까 싶어요.
덧붙여 요즘 몇몇 사이트에서는 영상에 붙여 쓰는 용도의 저작권 프리 음악들을 풀어놓았어요. 경쾌한 분위기의 음악, 감성적 분위기의 음악 등 범용성 있게 작곡되어 영상에 그냥 갖다 붙일 수 있는 음악들이죠. 그런 음악들은 인공지능이 고도화되면 충분히 만들 수 있을 것 같아요.

👩‍💻 ❤️ 🎶 음악에서 인공지능이 상용화된다면?

🍩 : 인공지능이 결국 어느 정도 상용화된 도구가 될 것 같아요. 저는 미디를 다루는 데 사용할 것 같아요. 내가 작곡을 하는 데 필요한 스킬과, 미디상에서 예를 들어 스트링 가상악기를 리얼하게 들리도록 만드는 스킬은 영역이 다르잖아요. 미디 고유의 기술은 인공지능하게 맡기고 싶어요. 내가 스트링 스코어를 미디파일로 올려놓으면 인공지능이 1차로 이 스트링 소리를 리얼하게 만들어 놓고, 나중에 내가 다이나믹 밸런스 맞추고 디테일 조정하고 이런 식으로만 해도 시간이 많이 단축될 것 같거든요.
또 후반작업, 특히 믹싱과 마스터링에서 도움을 받을 수 있을 것 같아요. 이큐나 리버브 조절 같은... 곡 스타일마다 어느 정도로 믹싱을 하는 게 적절한지 학습해서 이런 스타일에 이런 편성, 거기에 몇몇 정보를 더 얹어주면 그 정보들을 조합해서 믹싱하는 건 인공지능이 괜찮게 해낼 수 있는 일이 아닐까요?

🍊 : 창조적인 영역보다 그런 부분이 개발하기도 더 쉽지 않을까 싶고, 효용성이 있을 것 같아요. 음악 중 가장 디지털화된 미디작곡 분야도 노트 하나하나 만져줘야 하고 너무 노가다잖아요.
그런데 이렇게 되면 믹싱 마스터링 엔지니어들의 일자리가 위험해지네요... 수요가 있으면 그 부분이 자동화가 진행되는데, 거기에 공급을 해주던 사람들이 일자리를 잃는 상황은 어느 분야를 막론하고 그런 것 같아요.

🍚 AI 음악이 세상을 지배하게 된다면 뮤지션은 뭐 먹고 사나?

🍊 : 만약에 작곡하는 일이 인공지능으로 아예 대체가 된다면, 그러면 뭐할 거 같아요? 살 길을 찾아야 한다면?

🍩 : 작곡은 취미로 하고, 밥벌이는 다른 걸 하겠죠? 인공지능으로 대체가 되어도 내가 작곡을 한다면 하는 거잖아요. 평생 하고 싶어요. 이걸로 밥벌이를 삼든 그렇지 않든.

🎻 아날로그의 경쟁력

🍊 : 결국 아날로그로 돌아오는 날도 올 거 같아요. 요즘 아이팟을 써 본 적 없는 세대가 감성으로 사서 인스타에 올리고 이러기도 하잖아요.

🍩 : 아날로그를 향한 수요는 적게나마 계속 유지되지 않을까요. 어쿠스틱한, 아날로그한 것에 대한 취향은 향유하는 사람의 수가 적더라도 유지될 거 같아요. 대체불가능한 영역 같아요. 좋은 피아노 가상악기를 마스터키보드로 치는 것과, 실제로 내 앞에서 피아니스트가 피아노를 치고 그 소리가 공기를 타고 전달되는 건... 전혀 다른 경험을 주는 것 같거든요.

🍊 : 아무리 잘 쳐도 미디로 찍힌 노트의 소리와 실제 연주 녹음한 게 정말로 많이 다르죠.

🍩 : 가상악기 만드는 방식이 소리를 어떤 기준에 따라 분절한 다음 그 정보를 입력하는 방식이잖아요. velocity가 기준이라면 velocity가 1일 때 소리, 2일 때 소리 이렇게 나눠서 소리를 따고 해당되는 velocity에 소리를 심으니까요. 그러다 보니 어쿠스틱 사운드와 비교했을 때 1과 2 사이에 훼손되는 영역, 사라지는 영역이 있게 되죠. 그것마저 극복하는 가상악기가 나오면 얘기가 달라지겠지만, 아직까지는 어쿠스틱의 대체 불가능함이 있는 것 같아요.

🍊 : 기타는 절대 대체 안 될 것 같아요.

🍩 : 기타를 미디로 하면 진짜 처량한 소리가 나요. 게다가 기타는 연주자가 누구냐에 따라 아예 전혀 다른 악기가 되니까... 대체가 될까요? 아예 에릭 클랩튼 AI라는 악기가 만들어지면 또 어떨지 모르겠네요.

🍊 : 아무튼 그 악기는 비쌀 것이라는 거. 지갑 털리는 소리 납니다.

🍩🍊🐀 소감 한 마디

🍩 : 저는 대담을 하면서 인공지능 작곡에 대한 거부감이 많이 줄어들었어요. 그냥 막연한 거부감이 있었는데, 얘기하면서 좀 더 객관적으로 바라볼 수 있게 되었네요.

🍊 : 알파고를 통해 기존의 정석에 의문이 제기되고 새로운 정석이 제시된 것처럼, 인공지능의 작곡도 그 결과물이 이상하더라도 사람들에게 새로운 질문과 통찰을 줄 수 있을 것 같아요. 그걸 통해 사람들이 만들어가는 예술활동이 더 창의적일 수 있지 않을까 해요.

🐀 : AI는 도구이다. 한 마디로 하자면 그렇습니다.