FreshRSS

🔒
❌ About FreshRSS
There are new articles available, click to refresh the page.
Before yesterdayYour RSS feeds

Appel pour les abstracts du prochain congrès sur le peer review, ou congrès sur la recherche ?

Le 9ème congrès sur le peer-review se tiendra bien à Chicago (toujours au Swissôtel) en septembre 2022, au lieu de la date initiale de septembre 2021. En présentiel ? OUI à priori, mais hybride avec des transmissions live. C’est un éditorial commun publié par le JAMA et le BMJ qui annonce les dates de soumission […]

Le peer-review conventionnel en voie de disparition ? Arrivée des ‘overlay journals’

C’est un billet sur le blog Scholarly Kitchen du 9 septembre 2021 qui nous interpelle…. La soumission simultanée d’un manuscrit à deux revues…  engage des rédacteurs et des reviewers qui perdent leur temps…  etc.. Pour les revues qui rejettent plus de 80 % des articles (ou toutes les revues ?), quel gaspillage du temps des […]

Peer-review : amélioration par des interventions au niveau des relecteurs en allongeant la durée

C’est une revue systématique publiée en juillet 2021 par JAHA qui expose un travail original important. Accès libre de l’article. Le protocole a été enregistré sur Prospero et il y a beaucoup d’annexes (le pdf fait 44 pages). Le peer-review, c’est l’étalon-or de la qualité des publications, mais peu de bonnes recherches ont été faites […]

Motivations des chercheurs évaluant des articles avant publication (peer-review) : excellente analyse

Peer reviewPeu de littérature concerne les motivations des chercheurs qui acceptent de consacrer du temps à l'analyse des manuscrits soumis aux revues, travail en général bénévole. Cette étude de portée (scoping review), sous l'égide d'Ana Marusic, est de bonne qualité, et montre que la recherche manque pour mieux répondre à cette question. L'article de 31 pages est très complet, avec de bons tableaux et figures... Publié en septembre 2020 dans Accountability & Research. Cette recherche fait partie du projet PEERE.

Recherche bien faite : Medline, WoS et Scopus avec mise à jour en juillet 2019 ; 5 250 articles identifiés, 382 lus et 11 inclus dans l'étude de portée ; méthodologie du Joanna Briggs Institute (JBI) que j'ai toujours trouvée excellente, bien que peu utilisée dans les sciences de la vie ; sélection des articles avec les grilles CACSS et CQR du JBI ; rédaction en respectant PRISMA pour les études de portée...  énorme travail de qualité. Il y a des bons tableaux avec les détails. Quels sont les motivations des relecteurs d'articles :

  • Facteurs incitatifs internes : obligations communautaires et réciprocité notifié par 8 des 11 articles ; occasion d'apprendre quelque chose de nouveau ; satisfaction, plaisir ; se tenir à jour ; contribution au contrôle qualité de la science ; prestge de la revue ;
  • Facteurs incitatifs externes : avancement dans la carrière ; être reconnu comme un expert ; construire une relation avec  les rédacteurs et les revues ;
  • Facteurs de dissuasion internes : manque de temps ; suggestions ignorées par les revues ; peer-review non valorisé ; être trop utilisé ;
  • Facteurs de dissuasion externes :mauvaise qualité des manuscrits ; peer-review insuffisamment valorisé ; comportement inapproprié des rédacteurs ; mauvaise réputation de la revue

Les 21 revues du groupe Lancet vont être rigoureuses sur les données sources... et les auteurs signeront-ils par complaisance

C'est une conséquence de la rétractation de l'article de Mehra et al sur COVID-19/HCQ/AZI dans The Lancet en juin 2020. Tous les rédacteurs des 21 revues du groupe Lancet ont signé un éditorial commun le 17 septembre 2020 expliquant des contrôles renforcés lors du peer-review. Ces contrôles auraient dû exister auparavant et quelques revues ont des politiques plus dures que The Lancet. Il est très fréquent que des auteurs n'aient pas vu les données sources, mais quelle en est la fréquence ?

Depuis 2013, les recommandations de l'ICMJE (ex Vancouver group) ont ajouté un quatrième critère aux 3 existants Lancet learning from retractionattribuer la paternité d'un article : "Engagement à assumer l’imputabilité pour tous les aspects de la recherche en veillant à ce que les questions liées à l’exactitude ou l’intégrité de toute partie de l’oeuvre soient examinées de manière appropriée et résolues." Nombreuses sont les revues qui ont ajouté un 'data availibility statement' à faire signer aux auteurs montrant qu'ils s'engagent sur l'intégrité et la disponibilité des données de leur recherche. Les auteurs signent mais souvent cette signature est une convenance sociale. The Lancet sera plus rigoureux sur le data sharing statement de l'ICMJE. Ils vont aussi s'assurer que les relecteurs connaissent les méthodes d'analyse des grosses quantités de données.

Voici un extrait de cet éditorial : "Les modifications apportées aux déclarations signées par les auteurs dans le formulaire de déclaration des auteurs exigeront que plus d'un auteur ait directement accédé et vérifié les données figurant dans le manuscrit. Nous exigerons que les auteurs qui ont accédé et vérifié les données sous-jacentes soient nommés dans la déclaration des contributeurs. Pour les articles de recherche qui sont le résultat d'un partenariat universitaire et commercial, l'un des auteurs nommés comme ayant accédé et vérifié les données doit être issu de l'équipe universitaire."

En juillet 2019, The Lancet nous avait questionné à propos du cas Latchman : "Les leaders de la recherche ayant des responsabilités complexes et un temps limité pour la recherche devraient se demander s'il est approprié de continuer à être nommés comme auteurs de travaux menés en grande partie de façon indépendante." Suivez mon regard vers Marseille !

J'ai observé des auteurs français n'acceptant pas ce genre de demande de la part des revues ! ETONNANT !

Open, single-blind, double-blind peer-review : choix complexe pour les 96 revues de physique qui vont vers le double-blind

Un billet sur Scholarly Kitchen (10 septembre 2020) nous informe que IOP (Institute Of Physics) a choisi le double-blind pour IOPl'évaluation par les pairs des manuscrits soumis à ses 96 revues. Ces revues vont abandonner le single-blind pour aller vers le double-blind pour fin 2021, d'après le communiqué de presse de IOP. Avant cette décision, IOP a fait une belle enquête auprès de son public qui a eu 1200 réponses (dont 86 % d'hommes, ce qui reflète la population des reviewers !). Une image de cette enquête ci-joint (76 % n'ont pas observé de biais dans le peer review ; ils ne demandent pas de compensation).

Bien comprendre les options aveugles ou ouvertes pour le peer-review est nécessaire, et comprendre que selon les disciplines, les pratiques changent beaucoup. Double-blind ne veut pas dire qu'il y a deux relecteurs ! Double-blind signifie que ni auteurs, ni relecteurs ne sont identifiés par l'autre partie : les relecteurs n'ont pas les noms des auteurs ; les auteurs n'ont pas les noms des relecteurs. C'est beaucoup de travail pour bien faire.

Il existe des données montrant que le double-blind est le modèle le plus honnête, mais pour l'open, il existe aussi des données. L'open review semble plus utilisé dans les domaines de la biomédecine, mais je n'ai pas de données. Les arguments de Kim Eggleton (IOP) sont nombreux dans ce billet : le double-blind protège les femmes auteurs ; les jeunes chercheurs n'aiment pas l'open car ils ont peur que les séniors identifient ceux qui sont critiques ; pas de bonnes réponses à l'argument qui dit que les reviewers identifient les noms des auteurs en cherchant les pré-publications ;.... le double-blind suppose la soumission de deux manuscrits (l'un est anonymisé par les auteurs... en enlevant tous les éléments de reconnaissance..).

Je fais partie de ceux qui pensent que l'aveugle n'est pas éthique et que l'open peer-review doit être développé. Je l'ai pratiqué, avec parfois quelques frottements, mais c'est satisfaisant.

PEERE : une conférence gratuite sur le peer-review avec un bon programme

Peere
Le projet européen PEERE est une recherche approfondie sur l'évaluation par les pairs. La visite du site vous apportera plein d'informations, de présentations. Ce projet a débuté en 2014, avec des représentants de nombreux pays dont la France. Le responsable est un italien, Flaminio Squazzoni, professeur de sociologie à Milan.

La deuxième conférence, prévue à Valence, Espagne, devait durer deux jours et a été remplacée par trois sessions d'après-midi les 29, 30 septembre et 1 octobre, sous forme de webinars. Le programme est intéressant, sauf que je dois faire un séminaire pendant ces périodes... Je me suis arrangé pour suivre des communications. Les conférences pré-enregistrées seront accessibles dès le 28 septembre pour préparer les discussions. Il y a des orateurs français BRAVO.

L'inscription est gratuite et le sujets abordés sont très nombreux :

  • Quantitative and qualitative analysis of peer review in scholarly journals, funding agencies and research assessment
  • Estimating editorial and reviewer bias
  • The impact of different peer review models (single vs. double blind, confidential vs. open etc.) on reviewer attitudes and editorial decisions
  • Incentives, motivation and recognition in peer review
  • Social network analysis of peer review and editorial policy
  • Models and theories of peer review: principles, functions and management
  • Computer simulation studies of peer review dynamics and outcomes
  • Applications of bibliometrics, altmetrics and scientometrics to peer review
  • Perspectives from policy makers, grant funding agencies, libraries and publishers

COVID-19 : Un site pour le peer-review de prépublications à suivre en attendant une pérennité du projet

RR C19Il s'agit d'une initiative intéressante, qui pourrait être étendue à tous les articles, car actuellement, seuls des préprints COVID-19 sont évalués. Voici une traduction d'extraits de la page de garde :

Rapid Reviews : COVID-19 est une revue en libre accès qui accélère l'examen par les pairs des prépublications de la recherche liée à COVID-19 afin de faire progresser les nouvelles et importantes découvertes, et d'empêcher la diffusion de nouvelles scientifiques fausses ou trompeuses. Les rédacteurs, dirigés par le professeur Stefano Bertozzi et basés à l'université de Berkeley, abordent COVID-19 et ses effets à grande échelle dans une perspective multidisciplinaire et mondiale, en examinant des manuscrits dans les domaines de la médecine, de la santé publique, des sciences physiques, biologiques et chimiques, de l'ingénierie, des sciences sociales et des sciences humaines. RR:C19 a réuni des étudiants de réseaux universitaires du monde pour identifier les prépublications importantes.... La question la plus importante que nous posons aux évaluateurs est de savoir si les principales affirmations d'un article sont fiables et dignes de confiance.

C'est original. Il y a peu de pré-publications évaluées, mais pour celles que j'ai lues (trois), c'est plutôt bien fait et utile. L'équipe semble solide et motivée. Quel avenir pour ce projet, et comment le disséminer ?

 

 
 
 
 
❌