[사이언스] '세계 상위 1% 연구자' 논란을 보며

[비즈한국] 업계에 오래 있다 보면 인용수나 IF(Impact Factor, 영향력지수) 같은 정량적 점수를 높이는 방법에 얼마나 많은 꼼수가 있는지 자연스럽게 알게 된다.

예를 들어 저널의 경우, IF를 단기에 올리는 가장 좋은 방법은 당대 매우 핫한 분야에 대해 이른바 대가 혹은 빅가이(Big Guy)가 쓴 리뷰를 게재하는 것이다. 

당연히 빅가이가 쓴 리뷰는 그 학문에 진입하려는 대부분의 신진 연구자들의 구글 검색창 1페이지에 뜨고, 자연스럽게 그 페이퍼를 참고할 가능성이 매우 높을 것이므로, 지극히 당연히 리뷰 페이퍼의 인용수가 순식간에 올라가면서, 해당 저널의 IF도 자연스럽게 올라가게 된다. 빅가이 입장에서도 리뷰 페이퍼 한 편으로 자신의 인용수가 또 증가하니 누이 좋고 매부 좋은 이야기다. IF가 ‘2년간 해당 저널에 출판된 페이퍼의 총 인용수/2년간 해당 저널이 게재한 총 페이퍼’의 비율로 산출되기에, 리뷰 페이퍼를 때에 따라 게재하는 것은 분자를 높이기 위한 방편이 되겠다. 

리뷰 페이퍼 말고도 Brevia, Short Communication, Letter to the Editor 같은 매우 짧지만 임팩트 있는 빅가이의 노트를 게재하는 방법도 있다. 리뷰 페이퍼는 나름 수고와 시간을 요하지만, 이런 짧은 노트는 빅가이에게도 부담이 덜 하니, 자주 애용하는 방법 가운데 하나다. 

분자를 높이는 방법은 또 있다. 에디터가 페이퍼의 저자들한테 리비전(Revision, 수정) 하는 과정에서 에디터의 권한으로 “우리 저널에서 나오는 페이퍼를 몇 편 더 인용하라”는 권고를 하는 것이다. 당연히 페이퍼 저자들 입장에서는 에디터한테 밉보여서 좋을 것이 없으므로, 되도록 그 ‘권고’에 따라 몇 편의 해당 저널 페이퍼를 울며 겨자 먹기로 레퍼런스에 추가한다. 대부분 애초 관심 밖의 페이퍼였을 것이므로, 추가된 페이퍼는 사실 그 연구와 별로 상관관계가 없음에도 당당하게 인용수가 1씩 늘어난다. 

후배가 겪은 일인데, 어떤 신생 저널 에디터에게 무려 9편의 해당 저널 페이퍼를 추가로 인용하라는 권고를 받은 적이 있다고 한다. 후배는 그 중 조금이라도 관련 있어 보이는 페이퍼 2편만 인용하겠다고 했다가 에디터 선에서 페이퍼가 3개월째 넘어가지 않아, 결국 울며 겨자 먹기로 5편을 더 인용하는 방식으로 겨우 페이퍼를 출판했다. 물론 그 후배는 그 뒤로는 그 저널에 눈길도 주지 않는다. 

어떤 페이퍼를 인용할 것인지 말 것인지는 연구자, 최대한 봐줘서 리뷰어가 정할 일이지, 에디터가 정할 일은 아니다. 에디터의 인용 권고는 결국 학자의 자존심을 건드리는 것이다.

IF를 높이는 방법에는 분자 말고 분모를 건드리는 방법도 있다. 어찌 보면 이게 더 편하다. 분모를 10%만 줄여도 IF는 11%나 상승하기 때문이다. 만약 20%를 줄이면 무려 25%나 상승한다. 대략 3년 연속 20% 정도를 줄인다고 치면 IF는 불과 3년 만에 2배 가까이(~95%) 뻥튀기할 수 있다. 

분모를 줄이는 과정에서 Initial Screening(첫 심사)을 하게 되는데, 사실 이 과정은 저널의 명성(?)을 높이는 부산물도 창출한다. 굉장히 어려운 저널이라 퀄리티도 높을 것이라는 인식을 유도할 수 있는 것이다. 물론 에디터나 저널에게는 분모를 무작정 줄이는 것은 장기적으로는 손해다. 그 저널에 출판되는 페이퍼 숫자가 매우 작아서, 페이퍼 제출해봐야 시간만 낭비할 뿐이라는 인식이 학자들 사이에 자리 잡을 수도 있기 때문이다. 어쨌든 저널 입장에서는 IF를 크리스찬 베일이 고무줄 몸무게 만들듯 주무를 수 있는 방법이 매우 많다. 

물론 제대로 된 저널이라면 함부로 분자나 분모를 건드리지 않는다. 장기적으로 저널의 평판이 망가지고 결국 퇴출될 수도 있기 때문이다. 대부분 내가 아는 역사와 전통을 자랑하는 저널들은 이런 식의 장난을 거의 치지 않는다. 주로 신생 저널이 빠르게 저널 시장에 진입하려고 무리하거나, 혹은 페이퍼를 돈장사의 수단으로 보는 약탈적 저널(Predatory Journal)들이 이런 짓을 많이 한다.

여기까지는 저널 입장에서 IF를 건드리는 방법에 관한 것이었고, 이제 저자들이 인용수를 건드릴 수 있는 방법을 알아보자.

연구자가 자신의 페이퍼 인용수를 높이는 가장 좋은 방법은 무엇일까? 당연히 원론적으로는 좋은 저널에 좋은 페이퍼를 게재하는 것이다. 순진하게 ‘내 페이퍼는 최선을 다한 결과니, 반드시 알아봐주는 사람들이 있을 것이다’라고 생각할 수도 있다. 물론 정말 좋은 연구고, 그 분야의 문제 몇 개를 해결한 방법을 제시했다면, 인용수는 자연스럽게 올라갈 것이다. 

그렇지만 조금 더 적극적인 방법이 있다. 학회에 가서 그 페이퍼의 내용을 발표하고, 적극적으로 자신의 연구를 홍보하면서, 업계 연구자들과 토론하는 것. 그리고 그 과정에서 서로 이메일을 주고받으며 자신의 페이퍼를 한번 읽어보라고 첨부하는 방식이 있다. 

요즘에는 SNS나 학계 커뮤니티 사이트 등에 저자가 직접 페이퍼를 해설하면서 스스로 홍보하는 경우도 많다. NPG 같은 그룹은 아예 인터넷 사이트에 해당 페이퍼가 SNS에 몇 번 언급되었는지를 셀 정도다. 나아가, 계속 그 분야를 연구하게 된다면 어쩔 수 없이 자신이 어떤 선행 연구를 했는지를 인트로에 언급하기 위해 자신의 예전 페이퍼를 인용하게 된다. 자연스러운 흐름이라면 이를 인위적인 인용수 높이기라고 보기는 어렵다. 

여기까지는 조금 정상적인 방법이고, 이제 좀 과장되거나 인위적인 방법이 있다. 이른바 폐쇄적인 그룹(Closed Group)을 이뤄서 서로 ‘인용 품앗이’를 하는 방법이 그것이다. 내가 이번 페이퍼에서 당신의 페이퍼 몇 편을 인용할 것이니, 다음번에는 당신이 내 페이퍼 몇 편을 인용해달라는 암묵적인 합의가 형성된 그런 품앗이를 말하는 것이다. 점잖게 말해 Closed Group이지, 사실 그냥 인용 ‘카르텔’이라고 부르는 것이 맞다. 

사실 빅가이의 연구가 그 자체의 퀄리티에 비해 더 인용이 많이 되는 경향이 있는데, 이는 빅가이가 학계에서 수십 년간 경력을 쌓으면서 배출한 제자들, 방문 연구자들, 협력 연구자들이 그 빅가이 그룹의 페이퍼를 계속 서로 인용하는 패턴이 일정 부분 기여한 것으로 볼 수 있다. 물론 빅가이 페이퍼의 모든 인용이 인용 카르텔에서 비롯됐다고 말하는 것은 아니다. 그러나 분명히 높은 비율의 인용은 인용 카르텔에서 비롯된 것이라고 볼 수 있다. 

이번에 ‘상위 1% 연구자’라는 기사로 이슈가 된 경상대 수학과-수학교육과 그룹의 인용 패턴은 사실상 인용 카르텔이라고 보는 것이 맞다. 계속 서로의 논문을 직접 또는 간접적으로 인용하고 있으며, 인용 카르텔에서 비롯된 인용수의 비율이 전체 인용수의 50%를 넘을 것이기 때문이다(대략 몇 편을 살펴본 결과이다. 전수조사는 안 해봤다).

사실 이렇게 인위적으로 인용수를 높이는 것은 학계에서 발각될 가능성이 꽤 있다. 어떤 분야의 페이퍼를 찾다 보니, 계속 나타나는 저자 혹은 저자의 그룹이 보이고, 이들이 계속 서로의 페이퍼를 인용하는 것이 뒤에 레퍼런스에 보인다면 의심이 들게 마련이다. 그래서 일부 평가 지표는 인용수에서 Self-citation(자기 인용)을 제외하고 페이퍼의 영향력을 측정하려고 하는데, 이는 매우 지난한 작업이라 제대로 측정하기 위해서는 시간과 돈이 많이 든다. 

이런 지난한 작업을 거치지 않은 채, 클래리베이트라는 기관은 단순히 Web of Science에 등록된 인용수만 가지고 상위 1%니 뭐니 하는 선정을 했기 때문에, 그 인용수에 얼마나 많은 허수가 있는지, 얼마나 많은 인위적 조작이 있는지, 그 페이퍼의 수준이 어떤지를 판별하지 않는다. 인용수에는 다른 저널의 페이퍼에서 인용한 것뿐 아니라 특허, 일반 잡지나 신문 기사, 책 등에서 인용된 것도 포함된다. 또 페이퍼가 실린 저널이 SCI(Science Citation Index, 과학기술논문 인용색인)인지 따지지도 않기 때문에 ‘학계’에 미치는 영향력을 제대로 측정하는 데에는 한계가 있다. 만약 ‘제대로’ 인용수를 걸러내어 평가한다면, 우리가 알고 있는 ‘상위 1%’에 들어가는 인물이 꽤 많이 바뀔 것이라 예상된다.

누가 열심히 일하는지, 얼마나 혁신적인 연구를 하고 있는지는 사실 업계 동료들끼리는 암묵적으로 거의 다 알고 있다. 그 연구자가 늘 쓰던 페이퍼의 템플릿에 내용만 바꿔서 공장에서 물건 찍어 내듯 페이퍼를 쓰는 연구자인지, 아니면 한 편 한 편의 페이퍼에 정성을 기울여 학계에 제대로 된 발자국을 남기는 사람인지는 동료들이 제일 잘 안다. 어차피 과학 소식은 몇 안 되는 저널에서 공유되므로, 그 연구자가 같은 나라의 동료이냐 아니냐는 크게 상관이 없다. 

결국 중요한 것은 내가 얼마나 많은 페이퍼를 써 냈느냐가 아니라, 얼마나 ‘새로운’ 결과를 커뮤니티에 가져왔느냐이다. 그것이 정말 새롭고 중요한 결과라면 수백 편의 쓰레기 같은 페이퍼보다 훨씬 큰 가치를 가질 것이고, 별로 새롭거나 중요하지 않은 결과라면 얼마 지나지 않아 학계에서 외면 당할 것이다. 

그 판별 결과가 ‘인용수’로 나타나는 경향이 있지만, 인용수는 지금까지 살펴봤듯 얼마든지 조작될 가능성이 농후하다. 따라서 참고만 될 뿐, 절대적인 요소가 될 수 없다. 

결국 대안은 객관적이고 정량적인 데이터, 제대로 분석되고 처리된 데이터를 확보한 상황에서 서로 신뢰할 수 있는 업계의 동료들이 서로를 정성적으로 평가하는 것이다. 서로 신뢰할 수 있는 평가는 무엇인가. 그것은 평가 대상자나 평가자가 모두 자신의 평판을 걸고 하는 평가를 의미한다. 아무개가 누군가의 제자라는 이유로, 선후배라는 이유로, 친구라는 이유로, 동료라는 이유로, 의당 받아야 할 평가보다 더 높은 평가를 받는다면, 그 후폭풍은 평가자와 평가 대상자가 같이 짊어져야 한다. 학계의 풀(Pool)이 좁을 때는 이러한 정성 평가가 문제가 될 수 있지만, 어느 정도 규모가 갖춰졌다면, 학계의 자정작용을 믿어보면서 이런 시스템을 도입해야 한다.

이번 ‘상위 1% 수학자’ 논란을 보면서, 결국 해답은 학계에 있으며 해결해야 할 주체도 학계라는 결론에 이르게 된다. 예를 들어 국회나 과기부 등 외부에서 누군가가 인위적으로 이 문제를 해결하게 놔둘 것이 아니라, 내부에서 비판의 시각과 자성의 목소리가 나와야 한다. 그런 면에서 많은 용기를 내어 자신의 시간과 노력을 대가 없이 투입하여 이번 논란의 이면을 제대로 파헤쳐준 아주대 감동근 교수의 희생 정신은 귀감이 되기에 마땅하다. 나 역시 앞으로 학계의 건강한 발전을 위해 더 용기를 내고 더 많이 체질 개선에 참여해야겠다고 마음먹었다.​ 

[핫클릭]

· [사이언스] 'AI 버블'을 대하는 우리의 자세
· [사이언스] 한국은 AI 혁신도 '연공서열'순인가요?
· [사이언스] 우버의 보행자 사망사고, 우리에게 과연 '플랜B'는 있나
· [사이언스] AI 대가들의 '카이스트 보이콧', 못 다한 이야기
· [촛불집회의 과학] 수백만 군중이 안전하게 귀가할 수 있는 길을 찾아라

<저작권자 ⓒ 비즈한국 무단전재 및 재배포 금지>