See more comics from Calamities of Nature
O artigo que gerou celeuma está aqui. Vale a pena também ler esta matéria na Science (infelizmente o acesso não é livre a todos). Em resumo, nada de novo: a evidência é fraca e o uso da estatística, enganoso. Uma série de críticas podem ser encontradas aqui e aqui.
Postagens
9 comentários:
Oi Pessoal,
Eu tenho acompanhado em minha instituição e mesmo em vários outros lugares que
as análises estatísticas utilizadas em muitas áreas da ciência, mas com mais ênfase em
áreas biomédicas, tem gerado muita confusão.
Entre os maiores problemas está a interpretação dos resultados. Pelo pouco que eu entendo de estatística o p_value, apenas indica a probabilidade do modelo nulo ser verdadeiro.
Mas em muitos casos um p_value baixo tem levado as pessoas a concluírem
que isso implica em relação de "causa-efeito" e permite o uso de expressões
como "cientificamente comprovado".
Não quero aqui demonizar a estatística, mas cabe
reconhecer que existem importantes limitações para o uso de qualquer
resultado matemático em alguma aplicação prática.
No caso estatístico, por exemplo é imprescindível que as amostras sejam não correlacionadas,
o que em geral é muito difícil de garantir. Isto implica em controlar todas as variáveis que atuam no processo. Em experimentos biológicos isso até consegue ser realizado, mas em experimentos com humanos é basicamente impossível. Mas mesmo nestes casos
a comprovação "científica" no meu humilde entendimento só é operacionalmente
atingida com a existência de um modelo "mecânico" que explique a correlação.
Sem estes elementos eu acho que vamos correr o risco de ter de conviver com a
"comprovação científica" de muitas teorias irracionais, como acupunctura, homeopatia,
ou mesmo como um aluno nosso comprovou: o crescimento das plantas
é influenciado pela música que elas ouvem!
Na minha humilde opinião não basta
usar estatística bayseana, deve haver um modelo subjacente.
Um abraço
É bom que se diga que nos próprios links que vocês postaram Bem respondeu as críticas. E que replicações positivas do trabalho de Bem já podem ser encontradas.
Retrocausal Habituation and Induction of Boredom: A Successful Replication of Bem (2010; Studies 5 and 7)
Alexander Batthyany
University of Vienna
O estudo pode ser baixado aqui:
http://papers.ssrn.com/sol3/papers.cfm?abstract_id=1715954
Recentemente foi publicado um estudo que mostra que médiuns conseguem adquirir informações por meios paranormais.
Journal of Nervous & Mental Disease:
January 2011 - Volume 199 - Issue 1 - pp 11-17
doi: 10.1097/NMD.0b013e31820439da
Original Articles
An Investigation of Mediums Who Claim to Give Information About Deceased Persons
Kelly, Emily Williams PhD*; Arcangel, Dianne MA
Mais uma resposta de Bem a seus críticos aqui:
http://dl.dropbox.com/u/8290411/ResponsetoWagenmakers.pdf
Um exemplo de NÃO replicação dos experimentos:
http://papers.ssrn.com/sol3/papers.cfm?abstract_id=1699970
e uma carta publicada na revista Nature explicando porque devemos esperar algumas replicações dos resultados MESMO não havendo fenômeno algum e mostrando a necessidade de publicar resultados negativos para que tenha uma noção correta (atualmente, dificilmente se publica um resultado negativo, o que leva a superestimar os resultados positivos):
http://www.nature.com/nature/journal/v470/n7332/full/470039a.html
Posso enviar o pdf caso não tenham acesso.
Em relação ao artigo sobre os médiuns, eu cuidaria um pouco no palavreado tão categórico. Não li o artigo, mas para quem estiver interessado, neste forum há um link para o pdf e um comentário interessante sobre porque os resultados estatísticos não validam a hipótese dos autores:
http://forums.randi.org/showthread.php?p=6377701
Jeferson,
eu gostaria que me enviasse o artigo da Nature. Agora, é bem falsa essa história de "dificilmente se publica um resultado negativo". Posso citar diversos exemplos do contrário, especialmente em relação a psi ou ao paranormal. Quer exemplos?
a) Using Neuroimaging to Resolve the Psi Debate
Samuel T. Moulton and Stephen M. Kosslyn
Journal of Cognitive Neuroscience, January 2008, Vol. 20, No. 1, Pages 182-192
(doi: 10.1162/jocn.2008.20009)
b) Testing alleged mediumship: Methods and results. Ciaran O’Keeffe and Richard Wiseman
British Journal of Psychology (2005), 96, 165–179
c) Does Psi Exist? Lack of Replication of an Anomalous Process of Information Transfer. Julie Milton & Richard Wiseman. Psychological Bulletin
1999, Vol. 125, No. 4, 387-391
E sabe-se muito bem que algo que desafia o "mainstream" é bem mais difícil de ser aceito para publicação. Basta ver a reação extrema que o artigo de Bem causou em céticos como Ray Hyman, que disse: "It’s craziness, pure craziness. I can’t believe a major journal is allowing this work in,” ... “I think it’s just an embarrassment for the entire field.”
Agora, o experimento que publicou uma replicação negativa dos experimentos de Bem possui falhas. O experimento foi realizado online, não num laboratório como o de Bem, e assim os cientistas não sabem se os procedimentos que eles sugeriram foram de fato seguidos pelos participantes, e os próprios autores admitem isso.
"it is unclear the extent to which people fully attended to the key elements of the procedure. We used two methods for excluding these hypothetical inattentive participants. First, we asked them to self-report if they had stopped paying attention at some point during the experiment. Eight people said that they had. (pp. 7-8)"
E no final, os autores ainda dizem:
"our single failure to replicate is hardly sufficient to seriously undermine an entire paper."
Oi, Jeferson
o artigo sobre médiuns está disponível para download aqui:
http://drgaryschwartz.com/files/
QuickSiteImages/
Kelly_1__JNMD_Mediumship_study.pdf
Li os comentários publicados no JREF. Ela diz: "A análise estatística não é válida. Como parece típico das pesquisas parapsicológicas, os autores não estabeleceram uma linha de base empírica para a comparação com um grupo controle. Em vez disso, eles compararam os resultados com o acaso, mas parece ingênuo supor que uma leitura baseada em uma foto não contenha informações distintas. Assim, a análise não nos diz se esses resultados são improváveis usando os meios normais de coleta de informações. E já que isso é tudo o que interessa, o experimento não oferece suporte para psi."
Ou seja, pela crítica o experimento deveria ter colocado mentalistas ou especialistas em leitura fria ou quente para dar descrições sobre as pessoas falecidas mostradas nas fotos, e então comparar o resultado dos médiuns com o resultado dos mentalistas. Se os mentalistas se saíssem mal e os médiuns bem a um nível significante, aí então poderíamos dizer que o experimento oferece suporte para psi.
Não penso que a crítica seja muito válida, porque as informações fornecidas pelos médiuns realmente não parecem possíveis de serem extraídas das fotos. Os autores abordam enfaticamente esse ponto. Mas eu acho interessantíssimo comparar os resultados dos médiuns com os resultados dos mentalistas.
Oi, Jeferson
coloquei uma tradução do artigo sobre os médiuns aqui:
http://tinyurl.com/4f3tr9y
Enfant,
Estou tentando colocar minha vida pós-férias em ordem. Assim que conseguir, procuro novamente e te mando o artigo.
Abs,
Jeferson
Postar um comentário