최고의 연구를 위한 투명성과 신뢰성 보장:
부실학술지로부터 연구자들을 보호하는 방안

박종일(서울대 수리과학부 교수, 대한수학회장)

건전한 학술생태계 구축에
동참하시겠습니까?

수학은 정의(definition)의 학문이다. 새로운 문제를 던지고 푸는 과정에서 수학적 정의는 모든 과정의 시작이다. 부실학술지에 대한 정의가 불분명하여 한국연구재단의 건전한 학술생태계 구축 캠페인에서는 “부실의심학술지”라는 용어를 쓰고 있다. 부실하다는 애매한 용어 대신 “약탈적 학술지”라는 용어로 불리기도 하는 학술지에 대해서 얘기하고 싶다. 최근 생성형 AI 챗GPT 열풍이 대단하다. 인공지능의 기반은 수학이라는 것을 모두가 알고 있을 것이다. 부담 없이 약탈적 학술지가 우려되는 가장 큰 문제점을 물었더니, AI는 가장 먼저 “약탈적 학술지”라는 용어의 정의부터 하고 있다. 역시 수학적 알고리즘을 기본으로 하는 인공지능 챗봇답다. 답변은 이렇다. "약탈적 학술지"라는 용어는 일부 출판사들이 연구자들의 논문을 출판하기 위한 요금을 부과하면서, 그 대가로 약속한 학문적 검토나 편집 서비스를 제대로 제공하지 않는 출판 모델을 가리킨다고 한다. 그리고 제안하고 있는 가장 큰 문제점을 학문적 품질 저하, 신뢰성 손상, 리소스의 낭비, 피해 연구자의 부당한 대우, 정보의 비대칭이라고 던지면서 문제점별로 설명하고 있다. 또한 이러한 문제를 해결하기 위해 연구자들은 출판하려는 학술지를 신중히 선택하고, 가능한한 높은 품질의 학술지를 선정하는 것이 중요하다고 권고한다. 추가적으로 교육 및 인식 증진, 학문적 품질을 보장하는 시스템 구축(여기에는 학계, 연구기관, 출판사 등의 협력을 바탕으로 동료심사(peer review)를 강조한다), 학술지 인증 및 평가 시스템 확립 등을 제안하고 있다. "최고의 연구를 위한 투명성과 신뢰성 보장: 부실학술지로부터 수학 연구자들을 보호하는 방안". 이 제목은 수학 연구자들을 위해서 부실학술지 논문 출판에 대한 우려와 대책에 대해서 기고문을 요청한 것에 대한 답변이다. 비단, 수학자 뿐 아니라 모든 학문분야 연구자들에게 던질 수 있는 메시지라 수학이라는 단어만 제외하고 본 기고문의 제목을 택한 이유다.

이 대화에서 가장 중요한 과정이 엄격한 동료심사라고 생각한다. 한 예를 들어보자. 17세기 프랑스 수학자 피에르 드 페르마가 제안한 미해결 문제 ‘페르마의 마지막 정리’는 페르마의 무덤 비석에 적힌 유언(“이 문제의 해결방법을 발견했지만, 이 공간이 너무 작아 적을 수 없다”)을 통해 이 문제를 풀기 위한 수학자들의 도전이 결국 수학의 발전을 이끌어 냈다는 흥미로운 일화다. 페르마의 마지막 정리는 1994년 영국 수학자 앤드류 와일즈가 해결하였다. 실제 1993년 증명을 공개했지만, 일부 오류가 발견되어 1년여에 거친 수정을 통해 1994년 발표된 이후 수학계에서 인정을 받았다. 이렇듯 문제를 해결하고 이에 대한 검증과정의 엄격함이 바로 수학의 소통방식이다. 이 과정에서 오랜 기간 동료심사와 검증과정이 이 증명을 지지하는 힘이 되었으며, 그 결과, 수학분야 최고의 학술지인 Annals of Mathematics 142호(1995년)에 출판되었다.

수학연구의 평가에 대해서 다시 언급하고 싶다. 수학분야 최고의 학술지로 여겨지는 Annals of Mathematics의 2021년도 JCR 기준 영향력지수(Impact Factor)는 4.795로 순수수학분야 랭킹 1위인 저널이지만 Nature지 63.581, Science지 63.832에 비하면 턱없이 낮은 수치이다. 그렇지만, 피인용 상위 1% 연구자 목록을 각종 분석과 보도에 인용하면서 피인용 횟수에 기반한 정량평가지표가 연구성과의 질적지표로 활용되고 있는 것이 현실이다. 실제로 각종 평가기관에서는 분야별 순위로 보정하고 분야별 상대비교를 하는 툴을 개발, 활용해서 분야간 성과비교를 하는 등 상당히 객관적으로 평가하고 있다고 주장하고 있고, 2018년부터 2022년까지 시행된 4차 과학기술기본계획에서 과학기술이 꿈꾸는 세상 속 주체별 미래모습에서 연구자가 자유로운 연구환경에서 혁신적 성과를 창출하는데 기초연구가 혁신적인 지식이 끊임없이 창출되는 기대를 측정하는 것이 피인용 상위 1% 논문 비중과 5년 주기별 논문 1편당 평균 피인용횟수였다. 또한, 제5차 과학기술기본계획에서도 여전히 피인용 상위 1% 논문 점유율(5년주기, 한국연구재단 제공)을 목표로 하고 있다. 결론적으로 우리 과학기술계의 현실은 연구자의 업적평가에서 가장 큰 요소가 피인용지수라는 것이다. 그런데, Web of Science의 검색 결과, 작년 한국계 최초 필즈상 수상자인 허준이 교수의 논문은 평균 20회 이하의 피인용횟수에 H-index는 9(9회 이상 피인용된 논문수가 9편)이다. 평균적으로 허교수의 논문이 실린 저널의 평균 IF가 약 2.5이고, 순위보정지수도 82가 안된다. 즉, 논문이 실린 저널이 상위 약 18% 수준이라는 의미다. 아마도 한국의 과학기술기본계획의 정량목표에 못미치는 수학자일 수 있다. 이처럼 피인용도 기준의 정량지수로 연구성과를 평가하는 것은 매우 불합리하고 무리한 접근이다. 실제로 정부의 투자대비 효과를 분석하는 경우에도 논문 각각의 피인용횟수를 조사하기 어렵기 때문에 수록된 저널의 2년간 평균피인용횟수를 의미하는 IF 수치를 이용하는 경우가 많다는 점에서 연구업적 평가의 방향도 반드시 개선되어야 한다. 여전히 각종 국가연구개발성과측정 지표에는 저널의 IF와 이를 활용한 분야별 저널의 순위를 기반으로 하는 지표를 질적성과지표라고 제시하는 경우가 많아 매우 안타깝다.

이러한 현상은 비단 한국만의 상황은 아닌 듯하다. 전세계적으로도 과학자의 연구성과를 평가하는 방식이 개선되어야 한다는 요구가 날로 커지고 있다. 이를 논의하기 위하여 2012년 12월 16일, 미국 샌프란시스코에서 열린 미국세포생물학회(American Society for Cell Biology) 연례회의에서 몇몇 학술지 편집자들과 출판인들이 모였다. 이들이 만든 제안서를 ‘연구 평가에 관한 샌프란시스코 선언(San Francisco Declaration on Research Assessment)’이라 부른다. 영문 약어로 DORA인 이 선언을 우리는 ‘새로운 연구 평가 선언’이라 부르고자 한다(https://sfdora.org/ 한글번역본에서 발췌). DORA 선언 홈페이지에서는 모든 과학 분야의 이해관계자들이 이 선언에 그들의 이름을 올려 함께 지지해 주길 호소하며, 아래의 주제에 대해서 제안하고 있다.

• · 연구비 책정, 고용, 승진 등을 심사할 때 학술지 인용지수(IF)와 같이 학술지 지표 사용을 제한할 필요성
• · 연구 평가시 그 연구가 출간된 학술지가 아니라 그 자체의 가치로 평가할 필요성
• · 논문의 온라인 출간을 장려할 필요성 (논문의 글자 수, 그림 수, 참고문헌 수의 불필요한 제한이 사라지고, 연구의 영향력과 중요성을 판단할 새로운 지표를 확인할 기회 등)

[그림 DORA 선언 전세계 참여현황, sfdora.org]

또한, 연구비 지원기관, 연구기관, 출판사 및 평가지표 제공 단체와 개별연구자들에게 18가지의 구체적인 권고를 하고 있다. 이 홈페이지에서는 30개 언어로 선언문을 번역하여 제공하고 있으며 캠페인 동참을 호소하고 있다. 올해가 DORA 선언 10주년이 되는 해이기도 하다. 10년간의 성과와 변화에 대한 증거가 웨비나 등을 통해 재조명되고 발표 영상들은 홈페이지에서 소개하고 있다. 대한수학회는 2021년 이 DORA 선언에 동참하였고, 한국 수학자들에게도 DORA 선언에 적극적으로 동참하기를 독려하였다. 놀랍게도 이 선언에 동참하고 있는 한국의 학술단체는 기초과학연구원(IBS)을 포함하여 5개 밖에 없다. (그림 참조) 본 기고문을 통해 학계에 종사하는 연구자들의 공감과 동참을 제안한다.

대한수학회가 이렇게 건전한 학술생태계 캠페인에 적극적인 것은 앞서 소개한 수학분야 소통방식이 부실학술지에 대한 우려에 가장 민감한 이유이기도 하겠지만, 2022년 한국인 최초 필즈상 수상과 국제수학연맹의 최고 국가수학등급에 포함된 한국 수학계의 자존심이라고 생각해도 좋겠다. 실제로 국내외 수학자들의 자발적인 반성과 지적으로 수학분야 부실의심학술지 출판과 이를 기반으로 한 연구업적 평가의 왜곡을 보정하려는 시도는 지난 2021년 1월 대한수학회장의 소속 회원들에게 보낸 부실학술지에 대한 우려와 대책을 담은 메일로부터 시작되었다. 국내 학술단체 최초의 자발적인 노력의 시작이었다. 실제로 한국 수학계의 부실의심학술지 출판에 대한 자정노력에 기반하여 대표적인 부실의심학술지(M사의 m학술지, s학술지 등)에 대한 논문투고 자제와 업적 인정 제외 등의 권고를 통해 해당 저널 출판 논문수가 상당수 줄어들었고, 이러한 효과에 대한 정부의 기대를 모아 대한수학회는 올 6월부터 관련 정책연구를 시작하게 되었다. “학술단체의 자율적 학술활동 건전성 강화 실천방안 연구”라는 타이틀의 학회의 실천적 자정노력 방안과 모범 사례를 제안하는 시도를 할 예정이다.

대한수학회는 향후 타 분야 학회를 포함하여 DORA 선언 릴레이의 시작과 함께 학회원들에게 권장하는 학술지에 대한 안내와 지속적인 업데이트를 병행할 계획이다. 출판윤리에 대한 국제 학계의 현황과 이슈를 조사하고, 국내 학자들의 인식도 조사를 병행할 계획이다. 지난 몇 년간 정부의 학문분야별 연구지원체계 정착의 선발대로 나서 국가연구개발사업 투자의 방향 전환을 주도했던 경험으로 이번에 다시 선도적인 역할을 수행하려고 한다. 또한, 새로운 평가지표와 의사결정방식을 제안해보려고도 한다.

지금은 인공지능(AI) 기반 연구와 의사결정이 전 지구적 관심이 되고 있는 시점이다. 방대한 데이터와 불확실한 결정의 문제에 AI는 답을 하고 있다. 이것은 수학적 발명인가? 수학적 발견인가? 최적의 답을 찾는 확률적 과정이 인공지능의 핵심 개념이듯 모호한 개념의 부실학술지 해법을 수학에서 찾아보려는 시도를 한번 기대해도 좋겠다. 아니 이러한 문제는 연구윤리의 영역이니 우리 모두 진지하게 같이 고민할 필요가 있다. 건전한 학술생태계 구축에 동참하시겠습니까?

박종일

박종일 대한수학회 회장은 서울대학교 수학과를 졸업하고 미국 미시간주립대에서 박사 학위를 받았다. 1996년 미국 어바인 캘리포니아대 조교수, 1997년 건국대 부교수를 거쳐 2004년부터 서울대 수리과학부 교수로 재직 중이며 대한수학회지(JKMS) 편집위원장, 국가과학기술심의회 기초연구 진흥협의회 위원을 지냈고, 미국수학회(AMS) 초대석학회원으로도 선정되기도 했다.

출처

• DORA, htps://sfdora.org/