En el resumen de un reciente artículo de Aliaga, F. M.; Almerich, G.; Suárez-Rodríguez, J. M. (2013). El European Reference Index for the Humanities (ERIH) como criterio de calidad de las revistas académicas: análisis de la lista revisada de educación. Rev. Esp. Doc. Cient., 36 (2): en008, doi (pulsar aquí para acceder al artículo a texto completo) se señala que:
"El European Reference Index for the Humanities (ERIH) se ha propuesto (y reconocido oficialmente en nuestro país) como una alternativa europea al predominio de índices y bases de datos que presentan un conocido sesgo anglosajón. Se pretende con ello dar una mayor visibilidad a la investigación europea en Humanidades y en algunas Ciencias Sociales. Se espera cubrir mejor la diversidad cultural y lingüística del viejo continente. Analizamos algunas de las circunstancias que determinan los resultados obtenidos en la lista recientemente actualizada de ERIH (‘revisada’), haciendo especial hincapié en el ámbito educativo. Los resultados muestran la necesidad de mejorar los criterios de entrada en el índice (exhaustividad y calidad) si ERIH quiere alcanzar sus objetivos".
Tras ofrecer aquí el resumen de este artículo, destacamos seguidamente algunos de los análisis más interesantes que se desarrollan en el cuerpo de mismo :
1) En primer lugar, en el apartado dedicado a las listas revisadas de ERIH 2011 los autores manifiestan que su propósito es ver qué importancia relativa ocupa el ámbito educativo en el ERIH. Señalan en este sentido que dicho índice cubre quince disciplinas distintas cuyos porcentajes son bastante desiguales, pues van desde el 27,5% en la disciplina de Historia al 2,4% de la disciplina de Filosofía de la Ciencia.
En relación con el campo de la educación, la disciplina denominada “Pedagogía e investigación educativa” representa el 14,4% de las revistas, lo que supone la tercera disciplina con mayor peso dentro de todas las revistas que constituyen la Base de Datos ERIH 2011 (Revisada)
2) En segundo lugar, en el campo de “Discipline” de ERIH (2011 Revisada) aparecen hasta quince categorías diferentes. Filtrando por la categoría “Pedagogical and Educational Research” (la que recoge las publicaciones de Ciencias de la Educación”) nos encontramos con un total de 518 publicaciones seriadas, de las cuales sólo 25 son revistas españolas (aparece otra revista publicada en español, la ‘Revista Latinoamericana de Investigación en Matemática Educativa – Relime’, pero que se publica en México).
En la lista inicial de 2007 de la categoría “Pedagogical and Educational Research”, 16 revistas ya formaban parte de ERIH, por lo que han incorporado 9 revistas más del ámbito de las Ciencias de la Educación al “Listado revisado de ERIH 2011”, listado en el que no figura la Revista Interuniversitaria de Formación del Profesorado en ninguna de sus dos versiones (impresa y electrónica).
3) En tercer lugar, en la Base de Datos ERIH 2011 (Revisada), tan sólo un exiguo 4,8% de las publicaciones de la categoría “Pedagogical and Educational Research” se ocupan de la producción española de esta especialidad (un 5% si añadiésemos la revista mexicana). Este raquítico porcentaje podría estar señalando una muy escasa visibilidad de la investigación educativa española, pero también podría estar indicando un escaso conocimiento (y hasta poco interés) en la realidad española por parte de los paneles de expertos que han realizado ERIH, al menos en el ámbito de educación.
De hecho, esas 25 revistas apenas suponen un 15% de las 166 publicaciones seriadas españolas de educación recogidas en la edición de 2010 (publicada en 2011) de InRECS, o el 12,82% de las 195 publicaciones si se atiende a la última revisión del RESH (publicada en 2011), lo que ciertamente deja fuera una gran parte de la edición científica de nuestro país sobre el tema.
Para explorar esta última posibilidad se ha revisado la procedencia del grupo de expertos que han realizado el análisis y valoración de las revistas europeas de la categoría “Pedagogical and Educational Research” desde su creación. En este sentido se observa que hay una desproporción muy acusada de los paneles a favor de miembros procedentes de países escandinavos (50%), lo que tiene una muy escasa vinculación tanto con su peso demográfico como con el de su producción científica o representatividad. Un 25% de ambos paneles procedía de Bélgica (el único miembro que ha repetido en ambos equipos). Por último, sólo hay un miembro de países de idioma latino o del sur de Europa, un portugués. Se da el caso de que dicho integrante ha sido sustituido por un alemán en el panel actual.
La ausencia de miembros procedentes de una parte relevante de los diferentes ámbitos culturales europeos no es precisamente el mejor procedimiento para recoger toda la variedad social y lingüística que compone Europa, máxime cuando ERIH se presenta como un intento de “resaltar la enorme cantidad de investigación de clase mundial publicada por investigadores de humanidades en lenguajes europeos”.
La eventual influencia que el origen de los miembros de los paneles pueda tener sobre el resultado de la lista ERIH, al menos en lo referente al ámbito educativo, tiene su reflejo en el hecho de que aparecen más revistas portuguesas (7) que italianas (4), a pesar de que Italia quintuplica el peso demográfico de Portugal y multiplica por 10 su potencia económica (tamaño del PIB).
También es relevante el hecho de que aparecen en el listado revisado ERIH de educación el triple de revistas canadienses o más del doble australianas que italianas, lo cual es muy llamativo para un índice que nace con vocación de fomentar, valorar y difundir la investigación europea.
Suecia y Finlandia, países escandinavos de tamaño moderado, pero con una gran representación en el Comité de educación, empatan en número de revistas del listado ERIH con Italia.
Otro indicio bastante negativo sobre la adecuación de la representatividad de la lista revisada de ERIH podemos hallarlo al revisar los países que no aportan ni una sola revista a la versión revisada de 2011. Así, están excluidos países como Austria, Ucrania, Letonia, Estonia, Lituania, Eslovaquia, Eslovenia o Serbia. Parece evidente que todavía el carácter paneuropeo del índice deja algunas áreas culturales importantes sin cubrir adecuadamente.
Existen otros datos que ponen en duda la exhaustividad y representatividad de la lista ERIH, al menos por lo que hace referencia a educación. Por un lado tanto Francia como Alemania son superadas en número de revistas aportadas al Índice por España. Holanda prácticamente duplica, ella sola, a la suma de Alemania y Francia. Es cierto que algunas potentes multinacionales de la edición científica están radicadas en los Países Bajos, pero no es menos cierto que ni el potencial económico ni el demográfico ni el investigador avalan, ni remotamente, esa desproporción.
Parece evidente, a la vista de estos resultados, que el procedimiento de selección de revistas no ha sido adecuadamente planificado. De hecho, se ha dejado a la iniciativa puntual, casi anecdótica, de algunos individuos que ostentaban la representación de algunas instituciones nacionales (Lituania, por ejemplo, que tiene tantas ‘Organizaciones Miembro’ de ESF como España, no ha incluido ninguna revista en el listado).
En cualquier caso, los desequilibrios por países que se han mostrado deben ser corregidos en próximas rondas de actualización si se desea que ERIH llegue a ser un índice europeo representativo, comprehensivo y coherente.
4) En cuarto lugar, el artículo hace una interesante referencia a las Revistas españolas de educación que están presentes en la Base de Datos ERIH Revisada 2011. Y así, a fin de comprobar la validez de ERIH como criterio de calidad de las publicaciones periódicas españolas se procede a realizar un análisis de validez concurrente.
Para ello se compara el listado con otros indicadores del mismo constructo, tales como:
a) El listado de revistas españolas que se encuentran incluidas en la categoría “Education & educational research” en JCR de 2011, con el de las revistas incluidas en el primer cuartil de In-RECS, tanto para el último lustro como la última década, que son los que muestran mayor estabilidad
b) La valoración de la difusión internacional de la base de datos DICE. En este sentido, los autores del artículo aprecian que seis de las revistas que figuran en el listado ERIH de educación revisado en 2011 aparecen en los cuatro indicadores de calidad, mientras que 10 revistas aparecen en otros dos indicadores más. Sin embargo, hay seis revistas que aparecen en ese listado de ERIH revisado de educación que no están presentes en ninguno de los otros indicadores.
Respecto a la relación entre la pertenencia al listado ERIH revisado y la valoración de la difusión internacional de la base DICE, en conjunto se puede apuntar que existen algunas revistas con una alta valoración que no se encuentran incluidas en el listado actual de ERIH, y que algunas con una valoración menor que sí se hallan incluidas.
Todo ello denota que si bien en bastantes casos ERIH confirma una calidad acreditada por otras fuentes, una cuarta parte (un 24%, para ser exactos) de las revistas que aparecen en su lista no cumplen con los criterios de calidad exigidos por las otras fuentes. De hecho, algunas de esas revistas ni siquiera aparecen en el catálogo Latindex. Ello denota que se necesitan criterios de entrada en la lista más rigurosos que los actualmente existentes si ERIH quiere convertirse, de verdad, en un índice de referencia a nivel europeo.
5) En quinto lugar serán necesarias, como poco, nuevas fases de actualización, así como la exigencia de mayores criterios de calidad en la aceptación de revistas.
Como muestra del escaso nivel de exigencia y supervisión diremos, a modo de ejemplo, que el listado “actualizado” de 2011 incluye, al menos, una revista española de educación que dejó de publicarse en 2008.
Sin el adecuado desarrollo de esos requisitos de calidad, ERIH sufre el riesgo de quedar solamente como la opinión de un grupo muy restringido de expertos que no conocen bien la enorme variedad cultural, lingüística y nacional de la investigación europea en Humanidades y Ciencias Sociales.
6) En sexto lugar, y por lo que a nosotros afecta, queremos resaltar que la Revista Interuniversitaria de Formación del Profesorado (RIFOP), no forma parte de la Base de Datos ERIH revisada 2011, a pesar de que está incluida con un buen posicionamiento en diferentes índices de calidad.
Así, tal como se recoge en el artículo que venimos citando, la RIFOP está incluida:
6.3) En DICE, con una valoración de 10,5, calificación ostensiblemente superior a la que alcanzan buena parte de las publicaciones españolas presentes en la Base de Datos ERIH Revisada 2011. En este sentido, once de tales publicaciones tienen valoraciones que oscilan entre el 1,5 y el 7,5 (muy por debajo del 10,5 de la RIFOP); y dos de ellas tan sólo figuran en ERIH, estando ausentes en DICE y en InRECS.
7) En séptimo lugar, querríamos aportar algunos datos adicionales que consideremos relevantes:
7.2) En el "Índice H de las Revistas Españolas de Ciencias Sociales" proporcionado por Google Scholar, la RIFOP ocupa el puesto número 6 sobre un total de 128 revistas del área de Educación, según una reciente investigación realizada por el GRUPO EC3 de la Universidad de Granada, a cuyo texto íntegro se puede acceder pulsando aquí: Cabezas-Clavijo, Álvaro; Delgado-López-Cózar, Emilio (2012). “¿Es posible usar Google Scholar para evaluar las revistas científicas nacionales en los ámbitos de Ciencias Sociales y Jurídicas? El caso de las revistas españolas. EC3 Working Papers, 3, 23 de abril.
En este estudio quedan bien posicionadas tanto la Revista Interuniversitaria de Formación del Profesorado (número 9), como la Revista electrónica Interuniversitaria de Formación del Profesorado (número 23).
7.4) En un informe disponible en este mismo blog (pulsar aquí) se ofrecen los datos que constaban en InRECS el día 4 de diciembre de 2009 sobre el histórico (1996/2009) del índice de impacto de las revistas científicas españolas del sector educativo que estaban indizadas en 2009 en el "ISI Web of Science". En el citado informe se puede observar que la trayectoria de la RIFOP era por aquellas fechas ostensiblemente superior a la acreditada en InRECS por algunas de las revistas españolas de Educación que habían sido indizadas por aquel entonces en el "ISI Web of Science".
7.5) Según la tercera versión de Scholar Metrics, recientemente publicada, la Revista Interuniversitaria de Formación del Profesorado está entre las 100 revistas más destacadas de todas las áreas de conocimiento que, indexadas por Google a nivel mundial, se publican en español, ocupando en el momento actual el puesto número 42, un rápido ascenso si tenemos en cuenta que en las dos primeras versiones de Scholar Metrics ha ocupado los puestos 97 (primera versión) y 89 (segunda versión).
Si nos fijamos exclusivamente en el campo de la educación, la Revista Interuniversitaria de Formación del Profesorado queda clasificada como la séptima revista más citada de entre todas las de su ámbito que se publican en español a nivel mundial (pulsar aquí).
Google Scholar es una herramienta que mide el impacto de los artículos indexados por el buscador Google. Nació en noviembre de 2004. Vinculada a este mismo buscador, el día 1 de abril de 2012 Google lanzó Scholar Metrics (pulsar aquí), una herramienta que permite agrupar las 100 revistas con mayor índice de impacto H5, índice que toma como referencia los artículos publicados en los últimos cinco años (2007-2011). Nos encontramos ante una herramienta que está dando sus primeros pasos, que no está suficientemente normalizada, que clasifica las revistas en listas independientes por idiomas, en lugar de hacerlo por especialidades..., pero que a pesar de ello debe ser tenida ya en consideración. Lo más probable es que Scholar Metrics se perfeccione progresivamente y que termine por convertirse en una alternativa a otros productos de carácter comercial como es el caso del JCR, el modelo que domina en la actualidad en el ámbito de la evaluación de las publicaciones científicas.
Si nos fijamos exclusivamente en el campo de la educación, la Revista Interuniversitaria de Formación del Profesorado queda clasificada como la séptima revista más citada de entre todas las de su ámbito que se publican en español a nivel mundial (pulsar aquí).
Google Scholar es una herramienta que mide el impacto de los artículos indexados por el buscador Google. Nació en noviembre de 2004. Vinculada a este mismo buscador, el día 1 de abril de 2012 Google lanzó Scholar Metrics (pulsar aquí), una herramienta que permite agrupar las 100 revistas con mayor índice de impacto H5, índice que toma como referencia los artículos publicados en los últimos cinco años (2007-2011). Nos encontramos ante una herramienta que está dando sus primeros pasos, que no está suficientemente normalizada, que clasifica las revistas en listas independientes por idiomas, en lugar de hacerlo por especialidades..., pero que a pesar de ello debe ser tenida ya en consideración. Lo más probable es que Scholar Metrics se perfeccione progresivamente y que termine por convertirse en una alternativa a otros productos de carácter comercial como es el caso del JCR, el modelo que domina en la actualidad en el ámbito de la evaluación de las publicaciones científicas.
En línea con lo anterior, Álvaro Cabezas-Clavijo y Daniel Torres-Salinas han señalado (Pulsar aquí) que "Pese a la juventud del producto, ya surgen los primeros análisis en algunos blogs, como el que realiza Brian Kelly, de las más destacadas universidades británicas, o el del bibliotecario holandés Wouter Gerritsma, que presagia que en cinco años Google habrá cambiado completamente el mercado de las bases de datos científicas (Pulsar aquí)".
______