Nasilenie efektu nale�y zawsze rozwa�a� w powi�zaniu z obliczon� w tym celu istotno�ci� statystyczn�, kt�ra podaj e wielko�� nieprawdopodobie�stwa i uznaje, �e wynik-tu:...

Alleluja! W samą porę dwa debile zorientowały się, że są dla siebie stworzeni!

Pomo�e to zrozumie� przedstawiony ni�ej przyk�ad. W po�owie lat 80. furor� zrobi�o badanie medyczne, podczas kt�rego nale�a�o stwierdzi�, czy lek o nazwie aspiryna mo�e zapobiega� zawa�owi serca. Metaanaliza przeprowadzona dla 25 pojedynczych eksperyment�w wykaza�a wyra�ny efekt na korzy�� spodziewanego dzia�ania aspiryny47. Badania przerwano przedwcze�nie, poniewa� efekt zosta� zademonstrowany wyra�nie, a osoby prowadz�ce do�wiadczenie uwa�a�y, �e nieetyczne jest dalsze powstrzymywanie grupy kontrolnej od poddania si� leczeniu. Spojrzenie na pojedyncze testy daje niespodziewany obraz. Tylko pi�� z nich osi�gn�o warto��, przy kt�rej z 99% pewno�ci� statystyczn� mo�na wyj�� z za�o�enia, �e wynik nie zosta� uzyskany w spos�b przypadkowy. Wi�ksza cz�� opisywanych bada� nie osi�gn�a tego przedzia�u bezpiecze�stwa. Gdyby interpretowano tylko te pr�by pojedyncze, to z pewno�ci� wyci�gni�to by wniosek ko�cowy, �e aspiryna nie wykazuje takiego efektu terapeutycznego. Metaanaliza przynios�a jednak ca�kiem inny obraz i przyczyni�a si� do chwalebnego prze�omu w medycynie: by�a wysoce istotna statystycznie mimo tego, �e nasilenie efektu r�wne 0,03 stanowi�o o wiele mniejsz� warto�� ni� nasilenie efektu zmierzone przy do�wiadczeniach nad psi. Studia nad aspiryn� pokazuj �, �e nie wolno przecenia� samego znaczenia warto�ci, jak� wyra�a si� nasilenie efektu. Nie m�wi ona nic o zasi�gu i mo�liwo�ci zastosowania. Robert Rosenthal z Uniwersytetu Harvarda, jeden z czo�owych ekspert�w w dziedzinie metaanalizy, zauwa�a to w trafny spos�b: �Kontrowersyjne obszary bada� charakteryzowane s� przez niewielkie efekty, co nie oznacza jednak, �e takie efekty nie maj� �adnego znaczenia"48. Dotyczy to r�wnie� bada� psi. Wst�pienie na terytorium metaanaliz by�o dla bada� psi por�wnywalne z odkryciem nowego kontynentu. Od razu nowym �wiat�em rozb�ys�y badania ukryte we wn�trzach zakurzonych szuflad, uda�o si� rozwik�a� powi�zania, kt�re w spos�b decyduj�cy rozszerzaj� nasze pojmowanie psi, a tak�e znale�� punkty zaczepienia dla skutecznych i ekonomicznych bada� w przysz�o�ci. Rozw�j nowych technik by� d�ugo wyczekiwanym szcz�liwym trafem, gdy� parapsychologii grozi�o rozbicie si� o ska�y problemu powtarzalno�ci. Wi�kszo�� krytyk�w czyni�a zarzut, �e stwierdzane przez ni� zjawiska nie daj� si� dowolnie powt�rzy�. Metaanalizy tylko potwierdzi�y, �e zjawiska psi mo�na w rzeczywisto�ci przedstawi� za pomoc� eksperyment�w i powt�rzy�. Ze wzgl�du na og�ln� s�abo�� sygna�u psi" nie s� one dowolnie powtarzalne w dotychczasowym znaczeniu. Po zastosowaniu narz�dzi metaanalizy okaza�y si� jednak trwa�ymi i mocnymi efektami, kt�rych nie da si� ju� usun�� z naszego obrazu �wiata. W badaniach indywidualnych zjawisko uwa�a si� za udowodnione, je�li osi�gnie ono istotno�� statystyczn�. W przeciwie�stwie do tego metaanaliza opiera si� na jednorodnym rozk�adzie sprawdzanego zjawiska na liczne pr�by pojedyncze. Je�eli istnieje zgodno��, to mo�na m�wi� o powtarzalno�ci efektu. Aby uzyska� jednorodno�ci danych, nale�y wy��czy� z metaanalizy niekt�re badania. Okre�la sieje mianem �zbieg�w", poniewa� dostarczaj� albo nadzwyczaj dobrych, albo bardzo z�ych wynik�w. Przy zastosowaniu metaanaliz w innych dziedzinach bada� do uzyskania jednorodnego rozk�adu nasilenia efektu konieczne jest cz�sto wy��czenie nawet do 45% eksperyment�w. W por�wnaniu z tym dane parapsychologiczne uzyskuj� konieczn� jednorodno�� bez tak silnych ingerencji. Inn� wielk� zalet� metaanaliz jest bardzo dobra mo�liwo�� udowodnienia skutk�w b��d�w zawartych w strukturze do�wiadczenia. Dodatkowo mo�na tak�e uj�� w spos�b liczbowy oddzia�ywanie wielko�ci wp�yw�w (zmienne moderacyjne) na zjawisko. Dzi�ki temu istnieje mo�liwo�� zdecydowanej poprawy nowych projekt�w bada�. Metaanaliza rozwi�zuje r�wnie� inny problem, znany ka�demu przedsi�wzi�ciu naukowemu, kt�ry bywa ch�tnie przemilczany: tendencj� do publikowania tylko tych wynik�w, w kt�rych naukowcy znaj duj � potwierdzenie swoich hipotez. To w�a�nie parapsychologi� krytycy cz�sto podejrzewaj� o skrz�tne pomijanie i chowanie do kufr�w negatywnych wynik�w test�w. A zatem je�li kto� opublikuje jedn� prac� eksperymentaln� prezentuj�c� pozytywne wyniki, nie mo�na mie� nigdy pewno�ci, jak wiele negatywnych, nigdy nie opublikowanych bada� zalega jego szuflady