Saturday, September 18, 2010

Christoph Drösser on impact-factor manipulation

This is a follow-up to El Naschie and He to receive unwelcome attention.


Yesterday a reader tipped us off as follows:

This week's print issue of Die Zeit has another article by Christoph Drösser about impact factor manipulation, especially the He/El Nashie connection. It seems that Arnold has written a paper about this phenomenon, with a detailed analysis of citation networks. El Naschie Watch is not mentioned, though it is said that He has lost several editorial positions recently. The text is not online yet, unfortunately.


Today Shrink noticed the article has appeared on line. And here it is on Zeit Online. A reader advised keeping an eye out for sockpuppetry in the comments. SIAM president Douglas Arnold has also posted it as a PDF: http://www.ima.umn.edu/~arnold/press/zitate-farm.pdf It's important enough so that I am putting the full German text in this post. If Drösser or Die Zeit object to that I'll take it down -- unless they also take it down, in which case, haha, I'll put it back up, because that's what El Naschie Watch does. Google's English translation is here: Professor He's quotes farm. If someone provides a good English translation I'll add it to this post.

Comments after the article.




Professor Hes Zitate-Farm
VON CHRISTOPH DRÖSSER

Wie zuverlässig sind wissenschaftliche Zeitschriften? Der Impact Factor soll es messen - doch er ist wenig aussagekräftig und zudem manipulierbar.

Es ist verlockend, komplizierte Dinge auf eine einfache Zahl zu bringen, vor allem in den Medien. Fernsehmacher messen ihren Erfolg an der Quote, Onlineredakteure schauen auf die Klickzahlen, Zeitungsmacher auf die Auflage. Ist die Zahl hoch, hat man gute Arbeit geleistet. Aber kann man diese Zahl mit Qualität gleichsetzen? Für die über 100 000 wissenschaftlichen Zeitschriften auf der Welt gibt es auch so ein magisches Maß: den sogenannten Impact Factor. Er soll die Bedeutung eines Journals wiedergeben. Der Gedanke hinter diesem Faktor ist ein ähnlicher wie der hinter dem Reihenfolge der Google-Suchergebnisse: Wichtig ist, worauf sich viele andere beziehen. Bei Google stehen Webseiten oben, zu denen Links von vielen anderen Seiten führen, eine wissenschaftliche Zeitschrift bekommt einen hohen Impact Factor, wenn ihre Artikel häufig von Wissenschaftlern zitiert werden. Der Faktor gibt an, wie oft im vergangenen Jahr ein Artikel aus den beiden vorangegangenen Jahren durchschnittlich zitiert wurde.

Weil die Landschaft der akademischen Zeitschriften immer unübersichtlicher wird, ist der Impact Factor zu einer Art Standardwährung geworden. Forscher publizieren in Journals mit hohem Impact, um gelesen zu werden. Bibliothekare entscheiden anhand der Zahl, welche Zeitschriften sie abonnieren. Und der Impact Factor färbt von der Zeitschrift auf den Autor ab - bei Berufungen hat größere Chancen, wer in Journals mit hohem Faktor publiziert. Das Schielen auf den Impact Factor treibt bisweilen absurde Blüten: Das International Journal of Algebra and Computation warb damit, dass sich sein Faktor von 0,414 im Jahr 2007 auf 0,421 im Jahr 2008 verbessert habe - »Glückwunsch an die Herausgeber und Autoren«! Rechnet man nach, bedeutet der Erfolg genau ein zusätzliches Zitat aus einem der 145 Artikel, die in den vergangenen zwei Jahren in der Zeitschrift erschienen.

So wie im Intenet getrickst wird, um einen möglichst hohen Platz auf der Google-Trefferliste zu bekommen, so treiben manche Zeitschriftenherausgeber ihren Impact Factor künstlich in die Höhe. Einen besonders dreisten Fall hat nun der amerikanische Mathematiker Douglas Arnold, Präsident der Society for Industrial and Applied Mathematics (Siam) näher untersucht. Sein bisher unveröffentlichter Fachartikel liegt der ZEIT vor. Mathematische Journals haben im Vergleich zu anderen Disziplinen einen eher niedrigen Impact Factor. Das liegt vor allem an der Beschränkung der Zitationsbeobachtung auf zwei Jahre - mathematische Wahrheiten sind langlebiger als etwa neue Verfahren in der Biomedizin, die Artikel werden auch noch nach vielen Jahren zitiert. In der angewandten Mathematik liegt der Faktor daher meist zwischen 0,5 und 3, keine Zeitschrift hat mehr als 4 - bis auf eine: das International Journal of Nonlinear Science and Numerical Simulations (IJNSNS). Impact Factor 2008: 8,91! Doch nur wenige Mathematiker kennen das Blättchen, es wird in der Zunft als drittklassig eingeschätzt. Wie kam es zu diesem hohen Wert?

Arnold schaute genauer hin: Wer zitierte diese Zeitschrift im Jahr 2008? Die meisten Zitate kamen von Ji-Huan He, dem Herausgeber selbst. Am zweitfleißigsten war ein weiteres Mitglied des Herausgebergremiums. Und auf Platz drei ein Name, der ZEIT-Lesern nicht unbekannt ist: Mohamed El Naschie, der nicht nur Mitherausgeber des IJNSNS ist, sondern auch bis Ende 2008 die obskure Zeitschrift Chaos, Solitons & Fractals (CS&F) verantwortete. El Naschie verlor seinen Job, als er die Seiten seiner Zeitschrift mit wissenschaftlich fragwürdigen Artikeln aus eigener Feder füllte. Auch zitierte er mit Vorliebe seine eigenen Werke und trieb damit den Impact Factor von CS&F in die Höhe. Der Elsevier-Verlag trennte sich zwar im Unfrieden von seinem Herausgeber - mit dem Impact Factor von 3,315 bewirbt die Firma die Zeitschrift aber heute noch. Beim IJNSNS sorgten die drei Herausgeber zusammen schon für ein knappes Drittel aller Zitate. Weitere 20 Prozent stammten aus einem Sonderband des Journal of Physics, herausgegeben anlässlich einer Konferenz, die Ji-Huan He an seiner Heimatuniversität in Shanghai veranstaltete. Der Tagungsband, verantwortet von He, warf 294 Zitate ab, 30 davon in einem dünnen dreiseitigen Artikel, den He auch noch selbst verfasst hatte. Und insgesamt 154-mal verwies El Naschies CS&F auf Hes Zeitschrift.

Und so verwundert es kaum, dass Ji-Huan He auch einen Herausgeberposten bei CS&F innehatte - so wie bei knapp 30 weiteren wissenschaftlichen Zeitschriften, von der Zeitschrift für Naturforschung A bis zum Iranian Polymer Journal. Insgesamt, schätzt Doug Arnold, stammen etwa 70 Prozent der Zitate, die in den Impact Factor des IJNSNS des Jahres 2008 eingegangen sind, aus diesem seltsamen Netzwerk von Herausgeberschaften - unter dem Motto: Zitierst du mich, zitier ich dich. Im Internet nennt man Websites, die nur erstellt werden, um auf andere zu verweisen, »Linkfarmen«. Hier könnte man mit Fug und Recht von einer »Zitate-Farm« reden. Natürlich fielen bei all diesen Manipulationen auch viele Zitate für Ji-Huan He selber ab. Der Forscher verweist stolz darauf, dass seine Arbeiten mehr als 6800-mal zitiert worden sind. Die Website ScienceWatch.com, betrieben von dem Medienkonzern ThomsonReuters, der die Impact-Statistiken erstellt, hat Ji-Huan He schon mehrmals in Artikeln als rising star der Informatik gewürdigt. Fragt man dagegen Informatiker nach ihm, erntet man meist nur ein Achselzucken. Und langsam dämmert auch den wissenschaftlichen Verlagen, wie der umtriebige Chinese an seine eindrucksvollen Impact-Werte gekommen ist - mindestens 13 seiner Herausgeberposten hat er im vergangenen Jahr verloren.

Um nicht nur Anekdoten zu sammeln, wollte Doug Arnold zusammen mit der Bibliothekarin Kristine Fowler zumindest für die mathematischen Journals auf breiterer Basis ergründen, ob der Impact Factor wirklich mit Qualität einhergeht. Die beiden verglichen für 170 Zeitschriften aus der angewandten Mathematik den Impact Factor mit einem Ranking des Australian Research Council, das die Journals aufgrund des Urteils von Fachleuten in vier Klassen, von A* (»eines der besten seines Fachs«) bis C (»erfüllt nicht die Kriterien für Exzellenz«) einsortiert. Ihr Fazit: »Als Annäherung an die Expertenmeinung schneidet der Impact Factor schlecht ab.« Viele C-Journals haben einen ähnlichen Faktor wie die A*-Zeitschriften, und der Quotenkönig IJNSNS liegt als B-Journal bestenfalls im Mittelfeld.

Die Mathematiker, denen gern Zahlenverliebtheit unterstellt wird, sind nun die ersten Wissenschaftler, die den Unsinn mit dem wenig aussagekräftigen Faktor nicht mehr mitmachen wollen. Auf Arnolds Anregung hin haben sie inzwischen erste Schritte beschlossen, um zumindest für ihr eigenes Fach eine Alternative zu schaffen. Auf ihrer Versammlung im indischen Bangalore beschloss die Internationale Mathematische Union (IMU) im August, zusammen mit dem Internationalen Rat für Industrielle und Angewandte Mathematik (ICIAM) nach neuen Wegen zu suchen. »Eigentlich weiß jeder Mathematiker, welche Journals die wirklich wichtigen sind«, sagt Arnold. Deshalb sollen in Zukunft menschliche Experten die Qualität von Zeitschriften beurteilen. Insbesondere wolle man sich gegen den »unangemessenen Gebrauch des Impact Factor und ähnlicher manipulierbarer Indizes« schützen, so die IMU. Mathematiker wissen eben, dass eine Zahl nur so seriös ist wie die Methode, mit der sie gewonnen wurde.

Aus DIE ZEIT :: 16.09.2010




Indeed, El Naschie Watch isn't mentioned. As I commented earlier,

Christoph, you really should have mentioned us. We took exception when Richard Poynder didn't cite us. That's not a threat, and I'm not angry, just a little hurt. El Naschie Watch is the girl everyone dates and no one marries.


El Naschie Watch was certainly the source for some things. For example the fact that He has lost at least 13 editorships. Or that he's an editor of the obscure Iranian Polymer Journal. Meh. Whatever.

Drösser refers to a new paper on impact factor manipulation by Douglas N. Arnold. I have asked Arnold if I can see it. Readers will remember the earlier Arnold piece.

How are Mohamed El Naschie and Ji-Huan He going to like the article?

They are not going to like it, not one bit. El Naschie and He are criticized from beginning to end, as are their journals Chaos, Solitons & Fractals (CSF) and International Journal of Nonlinear Science and Numerical Simulation (IJNSNS).

IJNSNS is a third-class journal with which few mathematicians are familiar, Drösser correctly says; and its 8.91 Impact Factor for 2008 is absurd.

He says of the great man:

El Naschie lost his job when he filled the pages of his magazine with scientifically questionable items from his own pen. He was also fond of citing his own work, driving up the impact factor of CSF.


And regarding He's IJNSNS:

Overall, estimates Douglas Arnold, about 70 percent of the citations making up the Impact Factor of IJNSNS in the year 2008 have been received from this strange Editorial network - under the motto: you quote me, I quote you.


Drösser calls this "quote farming" (citation farming would be a better name, but maybe the title works well in German) and likens it to "link farming", the practice of creating Web sites whose only purpose is to link to other Web sites to increase their ranking.

For El Naschie to file another law suit would be a futile waste of money. The piece was surely vetted by Die Zeit's lawyers. And it looks completely correct.

UPDATE: Thilo Kuessner is covering this story on Mathlog. And at RelativKritisch, site admin galileo2609 links to the posts on Mathlog and El Naschie Watch. This is good. The story has legs.


Posts about Die Zeit and Christoph Drösser:


Translate English to Arabic
محمد النشائى El Naschie Watch محمد النشائي El Naschie News محمد النشائى محمد النشائي All El Naschie All The Time محمد النشائى
StumbleUpon.com

11 comments:

  1. I think Drösser refers to this:

    http://plus.maths.org/content/how-good-your-maths

    ReplyDelete
  2. Excellent work by Droesser. Sadly, this is now almost common practice in many less-than-reputable scientific circles, El Naschie and He are just the most egregious case because of the journal IF manipulation. Another aspect of "quote farming" is that many busy and/or careless editors choose referees for a paper from its reference. Cite only "friendly people" and voila, you get good reviews on terrible papers because these "friendly people" want the citations.

    ReplyDelete
  3. Here's Shrink's URL with a working link: How good is your maths? Yes, it is absolutely germane and Drösser probably used it. I don't see where he mentioned it though.

    Anonymous, Yes, He and El Naschie are outliers of egregious badness. There are many milder cases that nobody looks at or looks for.

    ReplyDelete
  4. It seems Arnold wrote a similar text for Die Zeit as the one presented at this year's International Congress of Mathematicians. It would be interesting to know why the text wasn't published.

    ReplyDelete
  5. BTW: Arnold put Drösser's article to his page:

    http://www.ima.umn.edu/~arnold/press/zitate-farm.pdf

    ReplyDelete
  6. Thanks Shrink, I added that link.

    ReplyDelete
  7. @ Jason: "I don't see where he mentioned it though."

    Well, it is possible and likely that Freiberger and Drösser just had the same sources.

    Especially since they were at the same time in Hyderabad and presumably spoke with the same people there.

    ReplyDelete
  8. Arnold's second article was not intended for the Zeit, and has not yet been published. He showed me (and many others) a preprint in Hyderabad; there were also explicit diagrams indicating the de-correlation of impact factors with the Australian (more intellectual) ranking.

    ReplyDelete
  9. The article "Professor Hes Zitate-Farm" is now online on the ZEIT website:

    http://www.zeit.de/2010/38/Impact-Factor

    It may be interesting to keep an eye on the comment section, which could attract the usual sock puppets.

    ReplyDelete
  10. Last time Drösser published a Zeit piece critical of El Naschie, the great man sued, and Die Zeit took down all the comments. (Fortunately El Naschie Watch has them archived: Comments on the ZEIT article) I don't think that will happen this time.

    ReplyDelete