James E Kennedy
Os escritos metodológicos de JB Rhine
anteciparam diversas reformas posteriormente associadas à crise de replicação
na psicologia, incluindo o pré-registro, dados abertos e uma distinção mais
nítida entre pesquisa exploratória e confirmatória. O artigo também contrasta a
meta-análise pioneira de Rhine com seu ceticismo posterior em relação à
meta-análise retrospectiva como fonte de evidências confirmatórias.
§ Décadas antes da crise de replicação, Rhine argumentou
que os estudos confirmatórios deveriam ser registrados junto aos colegas e os
registros mantidos disponíveis para revisão.
§ As reformas na psicologia após 2012 — pré-registro,
dados abertos e distinções mais rigorosas entre estudos exploratórios e
confirmatórios — assemelham-se bastante às suas propostas de 1974.
§ A crítica posterior de Rhine à meta-análise
retrospectiva antecipou preocupações recentes de que tais análises são
exploratórias, e não evidências confirmatórias.
Introdução
Em 1974, quando tinha quase
oitenta anos, JB
Rhine escreveu suas ideias sobre a condução de pesquisas experimentais.
Esses escritos receberam pouca atenção de parapsicólogos ou outros cientistas
na época. Cerca de 38 anos depois, a psicologia começou a vivenciar uma
"crise de replicação" que alterou drasticamente a forma como a
pesquisa era realizada e avaliada. A metodologia de pesquisa atualizada que
emergiu da crise de replicação implementou as ideias articuladas por Rhine em
1974 de forma notável.
As opiniões de Rhine sobre
meta-análise foram ainda mais notáveis. Um princípio orientador para a pesquisa
psicológica e parapsicológica nas últimas décadas tem sido que a meta-análise
(combinar um grupo de estudos semelhantes) fornece a evidência mais forte para
um efeito. Rhine e seus colegas são amplamente reconhecidos por conduzirem a
primeira meta-análise relacionada à psicologia em 1940[2].
No entanto, em 1976, Rhine argumentou que tentar combinar todos os estudos
disponíveis para tirar conclusões sobre se um efeito ocorre é uma análise post
hoc que tem pouco valor. Essa foi uma mudança significativa em relação aos seus
escritos anteriores. Argumentos semelhantes à rejeição tardia de Rhine às
visões otimistas usuais sobre meta-análise começaram a surgir em escritos
psicológicos cerca de 40 anos depois.
A evolução da metodologia na
pesquisa psicológica e parapsicológica parece estar acompanhando o pensamento
de Rhine, mas com uma defasagem de algumas décadas.
JB Rhine sobre Métodos de Pesquisa, 1974
Rhine (1974) descreveu uma boa
metodologia de pesquisa como:
Ele [o pesquisador] deve ter liberdade para realizar
sua própria exploração preliminar na área, mais ou menos como preferir; porém,
após realizar um experimento piloto promissor e desejar estabelecer um projeto
confirmatório, precisa registrar o trabalho com seu grupo e tentar compartilhar
abertamente seu projeto com um ou mais colegas. A pesquisa deve passar por uma
rodada de confirmação experimental após a outra, com o sistema de revisão do
centro mantendo os registros completos . Isso é necessário para evitar o risco
de omissões e seleção inadequada de dados relevantes. Com revisões frequentes
em reuniões de equipe e (à medida que o trabalho se desenvolve) em convenções
apropriadas, esse compartilhamento do progresso (bem como das falhas) pode
manter o registro de dados organizado, completo e sempre pronto para revisão e
reexame[3]
.
Os pontos principais aqui são:
a.
a distinção entre
pesquisa exploratória e confirmatória;
b.
a necessidade de
registrar com outras pessoas os planos de pesquisa para pesquisa confirmatória;
e
c.
disponibilizar os
dados para outras pessoas.
Rhine também reconheceu a
necessidade de mudar a cultura de pesquisa para dar maior ênfase à pesquisa
confirmatória:
A maior dificuldade será obter a cooperação necessária
para a repetição em larga escala exigida. Atualmente, há muito pouca
"vontade de repetir" nesta área; a maioria dos pesquisadores quer ser
inovadora, pois isso parece mais criativo. Mas aqueles que desejam que a área
seja levada a sério além de seu próprio pequeno grupo perceberão, com o tempo,
a necessidade fundamental desse reforço de segurança por meio da repetição dos
experimentos uns dos outros[4] .
O tema principal do artigo de
Rhine de 1974 era a fraude por parte do pesquisador. Ele considerou essas
recomendações metodológicas valiosas para reduzir o potencial de fraude por
parte do pesquisador, bem como para reduzir outras deficiências metodológicas.
Rhine também defendeu que os pesquisadores trabalhassem em conjunto, utilizando
métodos de cegamento e outras estratégias para prevenir a fraude por parte de
um pesquisador agindo isoladamente. Seu comentário de que um pesquisador que
planeja uma pesquisa confirmatória deve "tentar compartilhar abertamente
seu projeto com um ou mais colegas" refere-se à implementação de tais
medidas de prevenção de fraude.
A Crise da Replicação, 2012
Os principais fatores que
motivaram a crise de replicação na psicologia foram os estudos
de Daryl Bem sobre precognição, utilizando métodos padrão de pesquisa
psicológica; um caso recente de fraude extensiva por parte de pesquisadores em
psicologia; e o reconhecimento de que a flexibilidade ou os graus de liberdade
dos pesquisadores permitiam pesquisas substancialmente tendenciosas, que não
podiam ser identificadas nas publicações[5].
Os artigos sobre "Replicabilidade na Ciência Psicológica: Uma Crise de
Confiança?", publicados na revista Perspectives on Psychological
Science em 2012, representam uma clara demarcação de que a crise de
replicação havia começado com força total[6]. Esses
artigos descreveram fontes comuns de viés e propuseram práticas que poderiam
abordar esses vieses.
A fonte mais insidiosa de viés
parece ser a flexibilidade do pesquisador. Os pesquisadores geralmente tinham
flexibilidade para tomar decisões metodológicas após analisarem os dados. Essas
decisões posteriores incluíam a alteração das análises e hipóteses. Simulações
revelaram que o grau de viés que poderia ser obtido com essa flexibilidade era
impressionante e consistente com os efeitos comumente relatados em psicologia[7].
O problema subjacente era a
falta de pesquisa confirmatória formal e a falha em distinguir entre pesquisa
exploratória e confirmatória[8]. A
flexibilidade comum na pesquisa psicológica era apropriada e esperada para a
pesquisa exploratória. O passo que faltava era que essa pesquisa flexível
precisa ser seguida por uma pesquisa confirmatória formal que não possui essa
flexibilidade.
As práticas desenvolvidas para
lidar com a crise de replicação seguem basicamente as ideias de Rhine, de 38
anos antes. Essas práticas incluem:
a.
a distinção entre
pesquisa exploratória e confirmatória;
b.
o registro prévio
dos planos de um estudo;
c.
práticas de
ciência aberta, em especial a disponibilização de dados para verificação e
análise; e
d.
mudanças na
cultura de pesquisa para dar maior ênfase à pesquisa confirmatória em vez de
à divulgação de novas descobertas e à publicação de estudos confirmatórios que
não corroboram as hipóteses dos pesquisadores.
Com o advento da internet, o
pré-registro de estudos e os dados abertos são gerenciados online, em vez de
pelas instituições de pesquisa, como proposto por Rhine na década de 1970.
Em parapsicologia, o Registro de Estudos da KPU
(Unidade de Parapsicologia de Koester), que iniciou suas atividades
em 2012, é especializado no pré-registro de pesquisas psi[9],
e o Psi
Open Data é um repositório de acesso aberto para dados de pesquisa psi.
Até 2026, as práticas para
prevenir fraudes em pesquisas receberam pouca atenção em resposta à crise de
replicação, embora a fraude tenha sido um dos principais fatores que motivaram
essa crise.
Meta-análise de J.B. Rhine, 1940
A primeira meta-análise
abrangente relacionada à psicologia é geralmente reconhecida como sendo a
realizada no Laboratório de Parapsicologia de Rhine, na Universidade Duke, e
publicada em 1940[10].
Rhine e seus colegas utilizaram métodos estatísticos para combinar os
resultados de todos os estudos sobre percepção extrassensorial (PES) que
conseguiram encontrar após extensas buscas. Eles também avaliaram diversas
variáveis moderadoras possíveis e problemas metodológicos. O grupo de Rhine
estava muito à frente de seu tempo. Trinta e cinco anos depois, em meados da
década de 1970, o termo meta-análise foi proposto e métodos formais começaram a
ser discutidos para o tipo de avaliação que Rhine e seus colegas haviam
pioneiro[11].
JB Rhine sobre Meta-Análises, 1976
Embora Rhine provavelmente
considerasse a meta-análise útil quando realizou a primeira em 1940, em meados
da década de 1970 ele já havia rejeitado a utilidade de combinar
retrospectivamente todos os estudos para avaliar a evidência de um efeito. Uma
das principais razões era:
Não é possível tal aplicação estatística generalizável
a experimentos independentes. As estatísticas são aplicáveis apenas ao uso
designado previamente, para o propósito específico em um determinado conjunto
de condições[12].
Rhine reconheceu que evidências
robustas ou confirmatórias exigem que a análise estatística planejada seja
designada antecipadamente (pré-registrada). Esse tipo de pré-especificação não
é possível para uma metanálise retrospectiva de todos os estudos, que é
intrinsecamente post hoc. Entre 1940 e meados da década de 1970, Rhine parece
ter desenvolvido uma melhor compreensão das diferenças entre análises
estatísticas confirmatórias e post hoc, e entre pesquisa exploratória e
confirmatória. Rhine enfatizou a pesquisa confirmatória e parecia acreditar que
a parapsicologia eventualmente alcançaria o objetivo de efeitos confirmatórios
confiáveis. Ele considerava que a área estava em um estágio inicial de
desenvolvimento do controle necessário.
Meta-análise após a crise de replicação
As lições sobre a flexibilidade
do pesquisador e as análises post-hoc decorrentes da crise de replicação
aplicam-se tanto a meta-análises quanto a estudos individuais. Uma meta-análise
retrospectiva típica é uma forma de análise post-hoc com grande flexibilidade
para que os analistas tomem decisões metodológicas que enviesam o resultado[13].
Esse potencial viés soma-se à flexibilidade e ao viés inerentes aos estudos
incluídos na meta-análise.
As limitações da metanálise
retrospectiva típica são cada vez mais reconhecidas[14].
Como outras formas de análise post hoc, a metanálise retrospectiva é
considerada apropriadamente uma forma de pesquisa exploratória e não evidência
confirmatória.
Conclusões
Os escritos metodológicos de JB
Rhine na década de 1970 foram amplamente rejeitados ou ignorados, inclusive por
parapsicólogos. A falta de distinção entre pesquisa exploratória e
confirmatória não mudou significativamente, assim como o entusiasmo pela metanálise
retrospectiva. Não há indícios de que os escritos de Rhine tenham contribuído
para a justificativa da crise de replicação ou para as soluções propostas.
Mas o fato é que várias das
ideias metodológicas de Rhine, de meados da década de 1970, são amplamente
reconhecidas como boas práticas padrão. Entre elas, destacam-se a distinção
entre pesquisa exploratória e confirmatória, o pré-registro de estudos, os dados
abertos e a mudança na cultura de pesquisa para dar maior ênfase à confirmação.
Algumas outras ideias presentes
nos escritos de Rhine ainda não foram acolhidas. O reconhecimento das
limitações da metanálise retrospectiva parece estar aumentando, mas ainda não
está amplamente estabelecido na parapsicologia ou na psicologia. Além disso,
métodos práticos para prevenir fraudes em pesquisas, como os propostos por
Rhine, permanecem em grande parte fora do processo de pensamento da maioria dos
parapsicólogos e cientistas acadêmicos em geral. Essas ideias parecem ter
grande probabilidade de serem cada vez mais aceitas, assim como as outras
contribuições de Rhine sobre metodologia de pesquisa.
Obras citadas
§ Ferguson, C.J. (2014). Comment: Why
meta-analyses rarely resolve ideological debates. [Abstract.] Emotion Review 6/3, 251-52.
§ Glass, G.V. (1976). Primary,
secondary and meta-analysis of research.
[Full text.] Educational Researcher 5/10, 3-8.
§ Kennedy, J.E., Wiseman, R., & Watt, C. (2026). The emerging
disenchantment with retrospective meta-analysis. [Abstract.] Nature Human Behaviour. Advance
online publication.
§ Pashler, H., &
Wagenmakers, E.-J. (2012). Editors’ introduction to the special section on replicability in
psychological science: A crisis of confidence? (ditorial). [Download PDF.] Perspectives on Psychological Science
7/6, 528-30.
§ Pratt, J.G., Rhine, J.B., Smith, B.M., Stuart, C.,
& Greenwood, J.A. (1966). Extra-Sensory
Perception after Sixty Years.
[Download PDF.] Boston, Massachusetts, USA: Bruce Humphries. (Original work published
1940.)
§ Rhine, J.B. (1974).
Comments: Security versus deception in parapsychology. Journal of
Parapsychology 38/1, 99-121.
§ Rhine, J.B. (1976).
Comments: “Publication policy on chance results: Round two.” Journal of
Parapsychology 40/1, 64-68.
§ Simmons, J.P., Nelson, L.D., & Simonsohn, U.
(2011). False-positive psychology: Undisclosed flexibility in data collection and
analysis allows presenting anything as significant. [Full text.] Psychological
Science 22/11, 1359-66.
§ Stanley, T.D.,
Doucouliagos, H., & Ioannidis, J.P.A. (2022). Retrospective median power, false positive meta-analysis
and large-scale replication. [Full text.] Research Synthesis Methods 13/1,
88-108.
§ van Elk, M., Matzke, D.,
Gronau, Q.F., Guan, M., Vandekerckhove, J., & Wagenmakers, E.J. (2015). Meta-analyses
are no substitute for registered replications: A skeptical perspective on
religious priming. [Full text.] Frontiers
in Psychology 6, art. 1365.
§ Wagenmakers, E.-J., Wetzels, R., Borsboom, D., van der
Maas, H.L.J., & Kievit, R. (2012). An agenda for
purely confirmatory research. [Full
text.] Perspectives on Psychological Science 7/6, 632-38.
§ Watt, C.A., & Kennedy, J.E. (2015). Lessons from
the first two years of operating a study registry. [Full text.] Frontiers in Psychology 6,
Article 173.
§ Watt, C.A., & Kennedy, J.E. (2017). Options for
prospective meta-analysis and introduction of registration-based prospective
meta-analysis. [Full text.] Frontiers
in Psychology 7, art. 2030.
Traduzido com Google Tradutor
[1] PSI-ENCYCLOPEDIA - https://psi-encyclopedia.spr.ac.uk/articles/jb-rhine-and-the-replication-crisis-in-research/
[2] Pratt et al. 1940/1966).
[3] Rhine (1974), 118;
emphasis in the original.
[4] Rhine (1974), 117.
[5] Pashler & Wagenmakers
(2012).
[6] Pashler & Wagenmakers
(2012).
[7] Simmons et al. (2011).
[8] Wagenmakers et al. 2012.
[9] Watt & Kennedy
(2015).
[10] Pratt et al. (1940/1966).
[11] Glass (1976).
[12] Rhine (1976), 67.
[13] Ferguson (2014); van Elk
et al. (2015); Watt & Kennedy (2017).
[14] Kennedy et al. (2026);
Stanley et al. (2022).
Nenhum comentário:
Postar um comentário