O acaso no ocaso

O primeiro texto que publiquei neste meu novo blog no WordPress foi Sobre volume e impacto de publicações brasileiras, que foi uma resposta a uma série de artigos do professor Marcelo Hermes. Ele publicou recentemente uma nova análise em seu blog, intitulada De volta ao “ocaso da Ciência Brasileira”, e gentilmente me convidou a comentar. Retribuo aqui a gentileza, respondendo ao convite no presente texto.

Em sua primeira análise o professor Marcelo calculou a posição do Brasil no ranking de todos países do índice CpD (citações por documento) e apontou a drástica queda na colocação do Brasil neste rol. No novo artigo entendo que ele apenas realizou uma normalização do valor, considerando o número de países em cada ano.

Infelizmente devo manifestar que minha posição ainda é de total desacordo com esta metodologia. Eu vejo alguns méritos no ranqueamento: o primeiro é a simplicidade conceitual do índice e o segundo é a normalização indireta que faz do índice CpD em cada ano. Este índice não pode ser comparado sem algum tipo de normalização porque artigos continuam recebendo citações por anos após suas publicações. Apesar destas qualidades, acho os defeitos da técnica de ranquemento a tornam um instrumento muito ruim. E estou falando da técnica em geral, a análise do professor Marcelo possui ainda um outro problema que não foi resolvido em sua nova análise.

O primeiro problema é que ao compor o ranking os países foram selecionados do banco de dados reiteradamente dentro de cada ano. Assim ao invés de criar uma série histórica com um grupo fixo de países cujos dados podemos analisar ao longo de todos os anos, estamos olhando para um conjunto mutável. O resultado é que países pequenos com bons índices de CpD entram subitamente na estatística quando cruzam o limiar, e empurram o Brasil e outros países de CpD menor para baixo, enquanto eles já estavam abaixo daquele novo país.

O segundo problema é que o ranqueamento achata um conjunto de dados naturalmente bidimensional em uma dimensão só. Simplifica demasiadamente um cenário muito mais complexo, e ainda distorce as grandezas originais, que são as que deveríamos dar mais atenção. Uma mudança de posição de um ou dois lugares no ranking pode significar sim uma variação drástica no índice de CpD, mas o mais comum é ser apenas “ruído”, é apenas consequência de algum país vizinho ter tido um desempenho ligeiramente melhor, ou ainda consequência de algum país ou muito menor ou maior em volume ter tido uma variação, caso no qual a comparação não deveria ser feita de forma tão direta.

Por todos estes problemas: perda de noção de vizinhança e não-lienaridade, acho que o certo é nos atermos aos índices originais, e estudar o desempenho dos países em gráficos como os que já apresentei anteriormente neste blog. Abaixo mostro um novo gráfico baseado nos mesmos dados, recriado para discutirmos em mais detalhe os resultados e entendermos exatamente o que se passa.

Como nos gráficos anteriores, as curvas são a evolução ao longo to tempo do número de artigos publicados, e do CpD normalizado, ou RCI para cada país. Desenhei uma linha no ponto de 1000 artigos mostrar os tais países que entram artificialmente na análise, e também uma linha no nível s de RCI=0,6 para vermos quais países estão acima e abaixo do Brasil.

Vamos estudar primeiro a questão dos países “penetras”. São eles Quênia, Estônia, Vietnã, Indonésia e Colômbia. Estes países surgem “do nada” no ranqueamento se selecionarmos os países com mais de 1000 artigos a cada ano, empurrando o Brasil para baixo subitamente nos últimos anos, sendo que eles já estavam melhores do que nós antes disso. Se a seleção dos países fosse feita de forma mais cuidadosa estes países já estariam desbancando o Brasil desde antes, e a curva de nossa posição no ranking seria menos decrescente e menos abrupta.

Agora vamos falar do fenômeno “correto”, a verdadeira ultrapassagem ao longo do tempo de um país e que tinha um RCI pior do que o Brasil, e hoje tem um índice melhor. É isto que interessa: saber que país melhorou ao longo do tempo enquanto o nosso piorou, ou simplesmente não melhorou tanto… Queremos saber até mesmo para eventualmente estudar o que está havendo neste países para saber se poderíamos fazer parecido. Interessa também olhar para outros países que não estejam melhorando, para saber o que eles estariam fazendo errado para evitarmos seguir o caminho.

Se seguirmos a linha horizontal no nível 0.6 vamos ver quais países superaram o Brasil em RCI nos últimos anos. Os maiores são Polônia, México e República Tcheca. Esta última apresenta um crescimento formidável, aliás, mas já é um país com um terço do nosso volume de publicação. Atrás desta encontramos então um grupo grande de países com crescimento considerável: Eslováquia (vizinha da Tcheca…), Eslovênia, Tailândia e a própria Colômbia. Argentina e África do Sul também são países que já apresentaram RCI pior do que o Brasil, mas estão hoje à nossa frente.

É verdade portanto que existem países superando o Brasil em RCI, mas se olharmos para o gráfico veremos que estes países formam um grupo, um grande feixe de vários países pequenos em crescimento. Na vizinhança do Brasil temos apenas Taiwan, Coréia do Sul e Índia, nenhum deles apresentando taxas de crescimento muito significativas. Só a já citada Polônia é que mostra um volume parecido, mas grande velocidade de crescimento de RCI.

Se eu fosse da república da Eslováquia, e notasse que a curva de nosso país estava se afastando do formato da curva da República Tcheca, eu ficaria preocupado. O Chile e Colômbia deveriam se perguntar o que fazer para ficarem mais parecidos com a Argentina… Mas o Brasil está num grupo de países muito diferente destes, muito peculiares, e não estamos mal. O ranking da Coréia do Sul também “despencou” nos últimos anos, e este é um país frequentemente sugerido como modelo para o Brasil. Não diria que está havendo um ocaso na ciência da Coréia do Sul, gostaria de conhecer algum pesquisador lá para pedir comentários. O ranking da Polônia não demonstra o seu claro crescimento neste gráfico.

Eu diria que o desempenho do Brasil em publicações acadêmicas está longe de algum tipo de recessão, mas também não está em nenhuma evolução fantástica. Não estamos nem no crepúsculo nem na aurora da ciência brasileira, estamos em um pacato meio-dia, tirando uma sesta depois do almoço.

Finalizo lembrando que eu tenho minhas críticas à política científica do governo. Sinto que o presidente da Capes, Jorge Guimarães, é um dos grandes responsáveis pelos atrasos nos aumentos das bolsas de pós-graduação, defendendo ardorosamente o aumento no número de bolsistas em detrimento da manutenção do valor das bolsas. Mas simplesmente não posso concordar com a idéia de que a ciência brasileira está sofrendo algum tipo de retrocesso ou recessão. Os investimentos estão vindo, por mais que a repartição não seja ótima na minha opinião, e a produção mantém um crescimento natural, com qualidade (mediana) sustentada.

Quanto à questão da pressão pela publicação, eu tenho aos poucos me rendido à idéia… Ainda mais na era dos blogs e twitters da vida, temos mais é que começar a migrar para a “ciência 2.0”, e tornar a publicação um ato rotineiro, diretamente associado à nossa produção. Não é legal aquela coisa de ficar anos num projeto e aí de repente soltar um artigo milagroso que revoluciona o universo. A ciência fast-food pode ser simplesmente impressão devido à mais rápida amostragem dos resultados dos trabalhos dos pesquisadores, e não diminuição na qualidade destes trabalhos…

Mas isto é tema para outro artigo. Espero aqui apenas enterrar o uso do ranqueamento nas análises de CpD, e defender que só há prejuízos em abandonar o contexto do número de artigos publicados em qualquer análise. precisamos também buscar melhores formas de normalizar o número de citações. O RCI não é melhor do que utilizar uma janela de citações, porém estes dados mais detalhados não estão ao nosso alcance.

Finalizo o texto com gráficos mostrando o ranqueamento de países realizado da forma como falei: olhando para um conjunto fixo ao longo do tempo, e olhando para todos os países, e não só para o Brasil. É mais uma informação contextual que acho indispensável.

O primeiro gráfico mostra países com mais de 20.000 publicações. O Brasil perde posições apenas para Coréia, Taiwan e Polônia, países bastante próximos. Não é algo significativo, não é como se Taiwan e Coréia estivessem passando de 0,6 para 0,8. A Polônia teve mesmo um crescimento grande, de 0,5 para 0,7, mas isso é mérito deles, e não demérito destes outros 3 países. Além da “disputa” entre estes países, há apenas algumas outras no resto da lista, e o gráfico é bastante estável. Não há nenhum “foguete” nem “meteorito”, como seria o caso se o Brasil ou qualquer outro país estivesse mesmo indo para o bueiro.

O próximo gráfico foi feito com um limiar menor, de 2.000 artigos. Notem como o gráfico já começa a ficar extremamente ruidoso. É interessante notar que existem grupos de países separados “brigando” uns com os outros. Acho muito mais interessante tentar entender o que ocorre dentro de cada aglomerado destes, do que simplesmente olhar para curvas individuais. Será que a curva do Brasil neste gráfico está mesmo muito pior do que a de outros países? O que há de tão certo nos países que estão tomando as posições dos outros, e o que há de tão errado nos que estão perdendo as posições? E a pergunta mais importante: olhar para este gráfico te dá vontade de tentar fazer um pós-doc na Estônia ou na Eslováquia?…

Por fim, o gráfico contendo todos os países com mais de 1000 artigos. Notem a grande semelhança com um ninho de mafagafos… É verdade que o Brasil caiu muitas posições entre 2005 e 2006, e “caiu consistentemente desde então”, mas olha só pra bagunça que são esses números! Tem vários países que subiram várias posições neste período de tempo, e outros caindo muitas posições. Esses números não revelam nada interessante sobre o resultados das políticas científicas destes países, ou sobre o desempenho de seus pesquisadores. Isso é ruído. Para cada posição que o Brasil perdeu nos últimos dois anos teve um outro país que ultrapassou o Brasil, mas um outro país que caiu e compensou. Não é uma “queda”… É como se você tentasse falar que andou em uma fila, sendo que a fila na verdade é um aglomerado de pessoas embarcando em um ônibus no centro de São Paulo, vindo de todas direçõs possíveis.

Em meu gráfico bidimensional o Brasil até apresenta sim um leve decaimento no CpD nos últimos anos. Mas este fenômeno perde-se no meio desta confusão que causa o ranqueamento. Eu só poderia dizer com segurança, olhando para esta macarronada, que o Brasil está em algum lugar entre a China e a Suíça. Não recomendaria jamais ninguém a tirar qualquer conclusão ou tomar qualquer decisão sobre a política científica brasileira olhando para o ranking de CpD. É um péssimo indicador. Eu recomendo, ao invés, olhar simultaneamente para RCI e volume ao longo do tempo, o que revela apenas que o Brasil tem tido um desempenho similar a outros países, sendo que nenhum deles está em nenhum tipo de recessão, estão apenas num saudável ritmo de crescimento.

Último comentário: é possível que o desempenho científico total do Brasil seja composto por uma elite que publica com volume e qualidade comparável à República Tcheca ou Argentina, somado a outro grupo de desempenho menor, como talvez o Irã, Romênia ou Rússia. O Brasil é marcado por desigualdades deste tipo. Não é uma questão bem mais interessante de se investigar?…

EDIT: O texto está extenso, mas não gostaria de fazer um segundo, por isso vou colocar aqui um último gráfico que preparei. É novamente um ranqueamento, mas desta vez utilizando dados colhidos da média móvel do CpD, em três anos. Mudei o limiar também até sumir com alguns países de comportamento muito estranho (a Sérvia, por algum motivo, teve um surtoi de publicações no início dos anos 2000…)

Notem primeiro que o limiar ainda é bastante generoso: estamos considerando países até 10 vezes menores que o Brasil.

A suavização aplicada aos dados (média móvel de três anos) deixa as curvas muito mais bem-comportadas. Agora sim acho que dá pra pensar em fazer alguma análise do ranqueamento, apesar de ainda preferir muito mais olhas praquele meu gráfico 2D por todos motivos já ditos.

Nestas condições de estudo a posição do Brasil é bastante estável. Há perda de apenas 2 posições nos últimos 10 anos. Ao mesmo tempo que o Brasil apresenta esta estabilidade, há outros países claramente subindo e alguns em “derrocada meteórica”. Alguns dos “foguetes” são os mesmos já vistos anteriormente, como a Eslováquia, República Tcheca. Já a subida da Polônia não foi significativa o bastante para passar pela filtragem.

Vários países, como a Coréia do Sul, variam lentamente no gráfico, e alguns que pareciam bater o Brasil antes acabam se mostrando piores, como México.

Alguns países neste gráfico apresentam uma queda bastante acentuada, como Malásia e Finlândia, mas o que isto pode significar?… A Finlândi anão parece estar tendo um desempenho tão terrível se olharmos no meu gráfico 2D… Parece ser apenas mais um país daquele grupo dos países nórdicos (onde também entra Israel e outros).

A China, país que apresenta apenas crescimento de volume mas RCI quase constante nos últimos anos, mostra uma subida e descida neste ranking. Acho que isso dá uma ilusão de dinâmica oposta aos fatos. Pode pareces que o CpD da China melhorou e depois começou a piorar, mas não foi isso que aconteceu.

O único país que está em queda no ranking, e também no meu gráfico, é a Malásia… Seria nteressante procurar saber se há algo peculiar acontecendo por lá. Mas ao mesmo tempo temos na lista países como o Japão, que está estagnado tanto em volume quando RCI. Quer dizer, são vários países “despencando” no ranking que na análsie de volume e RCI estão simplesmente parados no lugar. Não quero desprezar a infomação de que há países menores crescendo além destes maiores e estagnados, mas é preciso ter uma perspectiva maior das coisas. Botar tudo em um ranking unidimensional e ruidoso não é legal…