[Interview] KLleon’s R&D leader

: Ji-su Kang

Self-introduction

Q: 본인 소개 부탁드립니다.

안녕하세요. 저는 클레온 CRO이자 R&D Center의 리더 강지수입니다.

Q: 클레온의 DL research partner 그리고 CRO가 되기까지..

금융권 회사에서 인턴을 했었는데, 당시에 연구 개발한 결과물이 서비스로 활용이 되는 것이 재밌어서 AI 기술에 관심이 생겼습니다. 기술이 교육, 컨텐츠 등 다양한 분야에서도 활용될 수 있겠다고 생각하던 중에 고등학교 동창이었던 대표님의 제안으로 공동 창업을 하게 되었습니다.

초창기엔 혼자서 AI 기술을 연구하다보니 어려움이 많았기 때문에 보고 배울 수 있는 사람들이 필요했어요. 또 회사 내에서 연구를 제일 잘 하는 사람이 되어야겠다는 생각이 들어 KAIST AI 석사에 진학했습니다. 이 기간을 통해서 빠른 성장을 이뤄냈고, 실력있는 좋은 사람들을 만날 수 있었어요. 그 때 만난 사람들과 함께 지금의 클레온 연구소를 만들 수 있었습니다.

DL Research Partner, Jisu Kang

Q: DL researcher가 하는 일은 무엇인가요?

저희 연구원들은 클레온에서 필요로 하는 AI 기술을 연구하고, 해당 기술을 서비스팀에서 활용할 수 있도록 가공하는 역할을 맡고 있습니다. 뿐만 아니라 자사의 코어 기술을 개발하면서 동시에 학문적으로도 유의미한 연구를 진행하여 논문도 작성하고 있습니다.

Q: 클레온에서 연구 개발하면서 이룬 성과는 어떤 것들이 있나요?

제가 자사 모든 기술의 발판이었죠. 하하. 장난입니다.(웃음)

제가 클레온에서 처음 연구를 시작했던 기술은 다대다 얼굴 변환 (Many to Many Faceswap)과 입모양 합성(Voice-Lip Syncroniztion)인데, 후에 실력있는 연구원분들이 영입되면서 각 기술을 고도화시켜 현재는 다양한 서비스에서 사용되고 있습니다. 다대다 변환은 KAMELO에서, 입모양 합성을 KAMELO 뿐만 아니라 Klone,Klling 모든 서비스에서 적용되어 클레온의 핵심 기술로 자리매김했습니다. 입모양 합성은 최근 CES2022에서도 성능이 뛰어나다는 평을 받을 정도로 완성도가 높은 기술입니다.

베토벤의 정면 사진으로 3D face generation 구현한 영상

지금은 3D face generation, 체형 생성(Body Generation)을 개발하고 있습니다. 특히 체형 생성은 춤, 웃긴 동작 등을 만들어 낼 수 있기 때문에 KAMELO에 적용된다면 지금보다 더 재밌는 영상 제작이 가능하고, 현재 Klone에서 대역으로만 체형을 만들 수 있는 이슈를 해결할 수 있을 것 같아 큰 기대를 하는 기술입니다.

Q: 앞으로 연구 해보고 싶은 분야가 있나요?

이제껏 연구하고 논문까지 작성했던 분야는 Lifelong Learning, Few-shot Learning이에요. 최근 NeRF라는 분야에 대해 큰 관심을 갖게 되면서, 이 분야에서는 제가 해왔던 연구가 많지 않다는 것을 알게되었습니다. 그래서 NeRF에 Lifelong Learning 혹은 Few-shot Learning을 적용해보고 싶습니다.

Q: 쓰신 논문에 대해서도 소개해주세요.

저희가 사용하고 있는 생성모델의 경우엔 open-source data들을 많이 활용하고 있는데, 서양인의 얼굴이 대다수입니다. 그래서 동양인 얼굴에 대해서는 생성이 잘 안되는 이슈를 가지고 있어요.

고화질의 동양인 얼굴 데이터를 다량 수집하는 것이 어렵기때문에 소량의 데이터만으로도 학습할 수 있는 Generative model에서의 Lifelong Learning, Few-shot Learning을 적용한 내용의 논문을 이번 NIPS 2022에 제출할 예정에 있습니다. 그 밑거름이 되는 눈문으로 ECCV에 제출한 논문도 있어요.

Q: 현재 같이 일하고 계신 연구원들에 대해서도 소개 부탁드립니다.

저는 회사의 기술력은 내부 구성원이라고 생각해요. 앞으로 지속적으로 기술개발을 해야하는데, 내부 구성원들이 뛰어난 역량을 가져야 가능하기 때문입니다.

현재 클레온은 KAIST 석, 박사 출신이 대다수이고 논문게재이력이 화려하신 연구원분들이 모여있어요. 그래서 지금까지 완성도 있는 기술을 만들 수 있었다고 생각하고 앞으로도 뛰어난 기술이 나올 것이라 기대하고 있습니다.

CRO, Jisu Kang

Q: CRO의 역할은 무엇인가요?

굉장히 어려운 질문인것같네요.(웃음) 회사가 커감에 따라 역할이 변하는 것 같아서 하나로 단정해서 말할 수 없지만, 가장 중요한건 연구소만의 좋은 문화를 만드는 것이라고 생각해요. 혼자하는 연구는 한계가 있기때문에 같이 연구하는 사람들과의 소통을 통해서 시너지 효과를 내야합니다. 그래서 현재는 연구원들이 소통하고 피드백할 수 있는 좋은 문화를 만드는 것이 저의 가장 큰 역할인 것 같아요.

Q: CRO가 만들고 싶은 연구소는 어떤 연구소인가요?

먼저, 좋은 교육 시스템이 구축된 연구소를 만들고 싶습니다. 석사과정에서 연구를 배우기위해 좋은 학교, 좋은 교수님을 컨택하는 방법 뿐일까 의문이 들었어요. 그래서 석, 박사가 아니어도 회사에서 연구, 기술 개발을 하면서 좋은 논문을 쓸 수 있고, 연구 역량도 증진할 수 있고, 기회가 된다면 연구 내용을 바탕으로 학위를 받을 수 있는 사내 시스템을 갖추고 싶어요.

두번째로는 열려있는 연구소를 만들고 싶습니다. 회사의 코어기술은 무조건 숨겨야한다는 분위기가 조성되어 있는 것 같아요. 저는 궁극적으로 좋은 기술을 만들기위해서는 다양한 회사들과의 협업을 하면서 기술 개발을 해야한다고 생각합니다. 열린 마음으로 회사끼리 소통하며 공동 연구를 할 수 있는 환경을 갖추고 싶어요.

Q: CRO가 꿈꾸는 연구소, 어떤 연구원들과 함께 하고 싶으신가요?

독종이었으면 좋겠어요.(웃음) 끈기있게 포기하지않는 것이 가장 중요한 것 같아요. 시작점은 다를 수 있어도 끝까지 최고가 되려는 목표를 갖고 노력할 수 있다면 우리 연구소에 적합한 사람이라고 생각합니다. 그래서 독종이라고 표현하고 싶어요.

Q: 좋은 연구소를 만들기위해서 하고있는일은 무엇인가요?

좋은 회사가 기본이 되어야 가능하기때문에 첫번째로는 회사가 필요로 하는 기술을 개발하는데 힘쓰고 있어요.

두번째는 인프라 구축입니다. 좋은 연구원과 자문 교수님을 모시는 것, 외부 기업간의 협업 관계를 구축하는 것과 같이 회사의 규모를 키우는데 집중하고 있습니다.

세번째는 홍보. 현재 ***Medium을 통해서 기술 블로그를 운영하고있고, [LinkedIn](https://www.linkedin.com/company/klleon-r-d/posts/?feedView=all)***과 같은 SNS를 통해서 저희의 활동과 문화를 알리고 있습니다. 또 대학교를 방문해서 세미나, 강연을 하면서 회사를 홍보하고 있습니다.

Q: 하고싶은 말

제가 처음 연구를 시작했을 때 막막했고 잘 할 수 있을지 스스로 의심을 많이 했었는데, 결국 지금까지 성장해오면서 제가 한 것은 시간을 많이 투자하고 정말 열심히 노력한 것 그게 다라고 생각합니다. 이 글을 읽으시는 분들이 다양하겠지만 하고자하는 열정이 충분하다면 누구든지 딥러닝 분야의 최고가 될 수 있다는 말을 하고 싶어요.

그리고 마지막으로 독립적인 연구소를 구축할 수 있도록 기회를 준 대표님께 감사하다는 말을 전하고 싶습니다.