Archive for March, 2015

Articlerank

Thursday, March 19th, 2015

학계에는 영향력지수(Impact factor, 피인용지수)라는 것이 있다.
해당 학술지가 얼마나 권위 있는지를 나타내는 지표의 역할을 한다. 학술지의 영향력지수를 산정하여 발표하는 대표적인 서비스는 SCI와 Scopus다. 논문 전체를 대상으로 할 수 없으니, 영향력지수를 산정할 학술지를 선정하고, 선정된 학술지들에 실린 논문들의 인용/피인용 관계를 파악하여 지수화한다. 즉, 내 논문이 SCI나 Scopus에 선정되지 않은 학술지의 논문에서 인용된다고 하더라도, 내 논문이 실린 학술지의 영향력지수가 올라가지는 않는다. 선정된 Pool 안에서의 피인용 횟수를 근거로 산정한다는 한계에도 불구하고, 권위를 갖는 것은 선정 자체가 전문가들의 평가에 의해 이뤄진다는 점 때문이다.
학술계의 Major league라면 적당한 표현일 것이다.

구글을 일약 스타 기업으로 만든 페이지랭크(Pagerank)가 있다.
현재 구글의 랭킹 알고리즘에서 페이지랭크의 영향은 일반인들이 알고 있는 것보다 적다고 하는데, 그럼에도 불구하고 구글의 랭킹 알고리즘은 페이지랭크라고 여긴다. 구글의 창업자세르게이 브린의 페이지랭크는 논문의 인용/피인용 관계에서 아이디어를 얻었다고 한다. 핵심은 많이 인용된 논문이 좋은 논문이듯이 외부에서의 링크가 많이 걸린 웹 페이지가 더 좋은 웹 페이지라는 것. 단순한 아이디어지만, 수식은 제법 복잡하다.

SCI와 Scopus가 사실상 표준(de facto standard)이 되면서, SCI級 학술지에 얼마나 논문을 실었는가가 국내 학회나 연구자의 평가 기준이 되어 버렸다. 그러다보니, 국내 연구자들은 자기의 논문이 SCI級 저널에 실리기 위한 노력을 하고, 그러면서 SCI의 권위가 올라가는 순환구조가 만들어졌다. SCI와 Scopus는 유료 서비스로, 이를 서비스하고 있는 Tomson Reuters나 Elsevier로서는 고마워할 일이다. 국내에서도 한국연구재단이 SCI를 모방한 KCI를 만들어, 2015년 2월 기준 국내 학회/부설연구소 8,137개 중 1,932(23.7%)가 발행하는 2,172개 학술지를 대상으로 영향력지수를 산정하여 제공하고 있다. 한국연구재단에서 평가를 신중하게 하겠지만, 국내 학회/부설연구소의 1/4(역사학에는 무려 109개의 학술지가 있다!)에 해당하는 학술지를 선정했다는 것은 SCI나 Scopus의 ‘선정에 의한 권위’를 갖지 못하는 한계가 있다. (KCI의 영향력지수를 언급하는 곳은 거의 없다.)

다시 영향력지수로 돌아가 생각해 보면, 학술지의 영향력지수는 학술지에 수록된 논문의 피인용수를 기준으로 산정한다. 즉, 순서상 논문이 주인이고 그 논문의 영향력을 학술지가 부여받는 것이다. 그런데 지금 학계는 해괴하게 돌아가는 듯하다. 학술지가 주인이고, 논문은 손님이 된 격이다. 어디에 게재되는가가 논문의 내용과 무관하게 논문의 가치를 결정한다.
좋은 의도에서 시작되었을텐데 왜 이렇게 변질이 되었을까. 본질에는 정량적인 방법으로 학회나 연구자를 평가하고자 하는 국가의 정책이 있다. 이런 부작용을 우려하는 목소리도 존재한다. (나 또한 숫자를 좋아하지만, 모든 것을 획일화하는 정량화에는 반대한다.)

연구자들의 피땀으로 이뤄진 논문이 제대로 평가받기 위해 학계에서 페이지랭크를 역수입하는 것은 어떨까? 구글이 10년 이상 검증해 줬으니 로직의 효과를 의심할 필요는 없을 것이다. 단순한 인용/피인용이 아닌 인용 논문의 피인용의 정도를 고려한 소위 ‘논문랭크(Articlerank)’를 만드는 건 어떨까? 이렇게 된다면 손님(학술지)이 주인 행세를 하는 지금의 기형적인 상황은 멈추지 않을까? 연구자는 더 좋은 논문을 더 쉽게 찾을 수 있지 않을까?

깊이 살펴 볼수록 이 바닥 문제가 적지 않고, 해야 할 일도 많다.