Warygodność ślepych testów?

[Edward]

Przepraszam, a komu i na co są potrzebne te naukowe testy? Mogłyby ewentualnie przydać się w dziale marketingu, aby w reklamie napisać, że w ślepych testach nasze sprzęty są uznawane za lepiej brzmiące niż sprzęty konkurencji za taką samą cenę. Ale jakoś nikt takiej techniki nie stosuje w branży audio.

 

Moim zdaniem jedyny sensowny ślepy test może wykonać każdy z nas dowolnie określając sobie warunki i prosząc kogoś z domowników lub przyjaciół o przełączanie testowanych urządzeń. Bez wielkiego szumu, bez naukowych metod, bez publikowania wyników, BEZ UDOWADNIANIA czegokolwiek komukolwiek. Taki test wykonany tylko dla siebie zazwyczaj uczy pokory.

[Rolandsinger]

No tak, ale przeszarżowałeś z tym upraszczaniem, bo w badaniach tego typu najważniejsza jest próba.

 

A zatem pytanie brzmi: kto ma odróżnić/nieodróżnić.

 

Jeśli chcemy dowieść tezy, że np. Rafał z Krakowa może odróżnić, to ok. I jeśli potwierdzimy ją w eksperymencie, to oznacza to i tylko to, że RAFAŁ ROZRÓŻNIA. Ale czy o to chodzi w poznaniu naukowym?

 

Problem powinno się raczej sformułować:

 

"Czy statystyczny człowiek w wieku 20-50 lat jest w stanie rozróżnić system....", wówczas wynik badania miałby jakąkolwiek wartość naukową

 

albo przynajmniej:

 

"Czy przeciętna osoba interesująca się sprzętem audio jest w stanie rozróżnić...."

 

Jeśli jest, to i tak potencjał generalizacji uzyskanego wyniku będzie dość wąski (wprawni audiofile).

 

Dlatego XYZ, a raczej badacze, których cytuje mają rację pisząc, że statystycznie te systemy są nierozróżnialne przy zachowaniu dość rygorystycznych parametrów statystycznych. Ja osobiście wierzę, że te wyniki są stosunkowo wiarygodne.

 

Z drugiej strony warto zauważyć, że te tańsze systemy w tych badaniach nie składały się z jakiegoś kompletnego bardziewia.

[Less]

Edward, to technokraci wściekle domagali się naukowości, to i ją dostają.

 

Roland, czy dostrzegłeś moje pytanie - nie było retoryczne.

6 Maj 2008, 09:45

[Rolandsinger]

@ less

 

Ktoś tu pisał o testach ABX w przypadku zmysłu smaku i powonienia. Im więcej było prób, tym więcej błędów popełniali badani.

 

To jest kompletny nonsens, gdyż są to zmysły szybko adaptujące się, tzn. po kilku chwilach z danymi zapachami/smakami przestajesz je rozróżniać.

 

Słuch nie adaptuje się szybko z wyj. poziomu ciśnienia akustycznego, ale w ABX-ach nt. audiofilskich gniazdek ów poziom jest constans.

[Terrapin]

_Kuba_, 6 Maj 2008, 14:23

 

>Terrapin, 6 Maj 2008, 00:36

>

>>-->>_Kuba_

>>

>>Czy naprawdę przeczytałeś opis zakładu Carvera? Tam nie chodziło o ślepy test

>

>Ale właśnie taką metodę zastosowano.

----------------------------------------------

 

 

Jeszcze raz: zakład Carvera polegał na uzyskaniu brzmienia podobnego do jednego wybranego wzmacniacza poprzez MODYFIKACJĘ innego. I to dopiero sprawdzano w ślepym teście.

 

Nie jest to dowód na to, że wszystkie wzmacniacze brzmią tak samo!!!

[electro]

proba ma byc reprezentatywna, to czy sa to ludzie z tego forum czy losowo wybrani nie ma wiekszego znaczenia jesli przeprowadza sie slepy test czy slychac roznice czy nie, optowalbym za losowo wybranymi ludzmi, najlepiej jakas wieksza grupke, tak z 500 osob, takie prace sam lubie, bez chorujacych na uszy, nieslyszacych ,itd. itp. oczywiscie, ludzie wbrew pozorom nie sa tacy glupi jak tutaj niektorym sie wydaje i nawet zupelnie niezorientowani w branzy spokojnie odrozniaja lepszy dzwiek od gorszego i nawet najlepszy system od muzyki na zywo, zreszta dotarlismy chyba do granic absurdu, bo jakby nie bylo roznic to to forum nie mialo by racji bytu:))))))) wogole hi-fi i wiele innych dziedzin gdzie chodzi o jakosc, wogole te kablowe rozterki mnie smiesza, bo czym innym jest twierdzenie ,ze jest maly postep w dzwieku w porownaniu z kosztami super okablowania, a czym innym twierdzenie ze nie slychac zmian, w slepym tescie, puszczaniu krotkich kawalkow w kolo macieju i przelaczaniu jest cos meczacego na dluzsza mete, ja jesli testuje elementy wnoszace male roznice w dzwieku jak lampy czy kable przygotowuje sobie z 10 plyt oddzielnie na boczku, wymieniam lampy i slucham po 1 kawalku z kazdej z plyt z roznych gatunkow i po 2-3 dniach wracam do starej konfiguracji i jesli mam watopliwosci to znow do testowej , zwykle jednak roznice sa widoczne jak na dloni, caly zestaw lamp , ktore wymieniam jest dla mnie rownocenny, bez wzgledu na pochodzenie lamp i wszystko inne, z radoscia przyjmuje jak lamka tania gra lepiej u mnie niz droga bo oznacza to dla mnie oszczednosci:)))))))) to samo dotyczy kabli:))))))) jakby dobrze graly to bym takie za 5 pln mial:)))))

[Terrapin]

_Kuba_, 6 Maj 2008, 14:41

 

 

>>na bodaj 32 osoby biorące udział w teście aż 8 udzieliło

>>prawidłowych odpowiedzi!

>

>czyli gorzej niż gdyby strzelali losowo?

--------------------------------------------

 

Jak to wyliczyłeś? ile było zmiennych?

[Gość]

Rolandsinger

 

Jeśli chodzi o tzw. przeciętnego słuchacza, to były przeprowadzone szeroko zakrojone badania na temat słyszalności SACD vs CD (setki słuchaczy, ponad rok badań):

 

http://theaudiocritic.com/blog/index.php?op=ViewArticle&articleId=41&blogId=1

 

wynik: jak zwykle, brak różnic odsłuchowych...

 

W większości testach jakie podawałem wcześniej, brali udział głównie audiofile, czyli ludzie twierdzący, że są różnice i takich różnic szukający.

 

Moja żona np. zawsze twierdziła, że żadnych różnic nie słyszy... Ale jak wymieniłem zwrotnice w kolumnach (różnica 10 dB w zakresie średnich), to dźwięk ją zaczął bardziej drażnić (faktycznie nabrał ostrości).

 

Paweł

[Gość]

Terrapin, 6 Maj 2008, 19:53

 

>Nie jest to dowód na to, że wszystkie wzmacniacze brzmią tak samo!!!

 

Oczywiście, że nie brzmią, nikt tak nawet nie twierdzi, brzmią inaczej wzmacniacze z popsutą charakterystyką częstotliwościową, albo z dużymi zniekształceniami (np. sprzęt lampowy).

[_Kuba_]

Terrapin, 6 Maj 2008, 19:53

>>Nie jest to dowód na to, że wszystkie wzmacniacze brzmią tak samo!!!

 

Przecież wcale tak nie napisałem:

 

"Co do tezy, że wszystkie wzmaki grają jednakowo, to nie jest ona taka znów kontrowersyjna w świetle powyższego testu i wielu innych."

 

poza tym to temat na osobny watek, "czy wszystkie wzmacniacze brzmią tak samo" :)

[Gość]

electro

 

>zreszta dotarlismy chyba do granic

>absurdu, bo jakby nie bylo roznic to to forum nie mialo by racji bytu:)))))))

 

astrologia to bzdura, a fora astrologiczne są, chociaż wg Twojej definicji ich nie powinno być...

 

Ludzi masowo biorą "leki" homeopatyczne, a to też jedno wielkie oszustwo.

[_Kuba_]

Co niezmienia faktu, że niektórzy eksperci tak uważają, np. pan Aczel, na którego się XYZ ciągle powołuje.

[electro]

ufff eksperci bardzo rozne rzeczy uwazaja, w kazdej dziedzinie tak jest, na 10 glupich ksiazek przypada 1 madra, jak sie w jakas dziedzine wgryzasz to z czasem widzisz , ze wiekszosc to praca odtworcza , sztuka dla sztuki i nie pisze tu tylko o wiekszosci tych naszych 'doktoratow'.....

[electro]

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

 

z tego co tutaj jest napisane facet zasymulowal brzmienie wybranego przez nich wzmacniacza swoim tanszym wzmacniaczem po przerobkach , ktore na biezaco uskutecznial, nie bylo tam slepego testu tylko fachowcy ze stereophile w pewnym momencie uznali , ze brzmienie jest tak podobne , ze nie rozroznia miedzy wzmacniaczami, co pokazuje ze wzmacniacz za okolo 1000 dolarow moze grac nie gorzej niz taki za pewnie kilka/kilkanascie razy wiecej bo taki pewnie wybrali, jesli to prawda to carver powinien duzo swojego sprzetu sprzedawac....

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

[_Kuba_]

A wracając do tematu, doszliśmy rozumiem do zgody, że porządnie metodologicznie przeprowadzone testy są wartościowe.

 

A co sądzicie o testach amatorskich takich jak ten:

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

[marianek]

"Slepe testy nie maja zastosowania w audio"-a testy w prasie mają?(w kazdej inna ocena?)Przykład z winem jest idealny-ostatnie badania dowodza,ze drozsze wina lepiej smakuja(gdy znamy marke-tak jak w audio),a w slepym tescie najlepsi smakosze mieli problem ze wskazaniem drozszego(moze nie bylo dostatecznie dlugo wygrzane?)Dlaczego slepy test tannoy m1 kontra wilson aleksandria mozna uznac za oczywisty,a test kabli,sieciowek a nawet wzmacniaczy(jeszcze nie slyszalem ,zeby ktos zgadl 10/10 porownujac pioneera z levinsonem)jest bez sensu?Wszyscy sie boja slepych testow kabli bo nie wiadomo co jest w srodku?

[Terrapin]

XYZPawel, 6 Maj 2008, 20:10

 

>Ludzi masowo biorą "leki" homeopatyczne, a to też jedno wielkie oszustwo.

 

Nasz kolega jest nie tylko wielkim znawcą audio, ale też wybitnym farmaceutą! Ciekawe, czy w językoznawstwie też przewodzi stawce światłej i postępowej części ludzkości?

[electro]

ciekawy test, pokazuje m.in to ze glosniki to najwazniejsza czesc systemu, ze na tym polu najwiecej mozna ugrac lub przegrac, z drugiej strony pytanie , ktory system bardziej ci sie podoba nie wyklucza mozliwosci ze ten tani gral nie gorzej, a moze nawet lepiej niz drogi i dlatego byl wybierany, z drugiej strony przy takiej roznicy jakosci komponentow powinien byc wybierany zawsze ten drogi, kluczem do zagadki jest chyba uzycie tych samych kolumn jako elementu najbardziej ograniczajacego jakosc brzmienia, przy niezmiennych innych warunkach glosniki maja ogromna wage dla jakosci brzmienia....w dobre glosniki oplaca sie co najmniej 50-60 procent kasy na system zainwestowac, a nie w cd czy inne popierduly...

[Qubric]

electro, 6 Maj 2008, 20:20

>

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

>jesli to prawda to carver powinien duzo swojego sprzetu sprzedawac....<

 

Wydaje mi sie że wcale niemało sprzedaje jak na amerykańskie warunki. Niestety nie mam porównania bo jesli dobrze pamietam przed 15 laty był w Polsce jeden sprzedawca Carvera. I sprzedawał wzmacniacze w cenach znacznie wyższych niż ówczesne Haflery czy Adcomy. A moce, styl i maniery tych urządzeń były podobne.

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

[Gość]

Terrapin

 

>Nasz kolega jest nie tylko wielkim znawcą audio, ale też wybitnym farmaceutą! Ciekawe, czy w

>językoznawstwie też przewodzi stawce światłej i postępowej części ludzkości?

 

Rozumiem, że masz takie same pojęcie w farmaceutyce jak w audio ?

 

http://www.sluzbazdrowia.com.pl/html/more3556a.php

 

Warto poczytać, włos się jeży na głowie co można ludziom wcisnąć, a najgorsze jest to, że często to robią lekarze !!! (po polsku !!! ;)

 

Ale świnia ze mnie, że mam na wszystko co piszę dobry link, no nie ? ;)

[Gość]

electro

 

>ciekawy test, pokazuje m.in to ze glosniki to najwazniejsza czesc systemu, ze na tym polu najwiecej

>mozna ugrac lub przegrac, z drugiej strony pytanie , ktory system bardziej ci sie podoba nie

>wyklucza mozliwosci ze ten tani gral nie gorzej, a moze nawet lepiej niz drogi i dlatego byl

>wybierany,

 

To jest największa słabość tego testu, ale zrobili to celowo, ale uważam, że zrobili błąd.

[Qubric]

A może raczej sprzedawał. Nie jestem pewien czy jeszcze żyje.

[_Kuba_]

>

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

 

>Warto poczytać, włos się jeży na głowie co można ludziom wcisnąć, a najgorsze jest to, że często to robią lekarze !!! (po polsku !!! ;)

 

mocne !

 

a co do Carver chellenge:

 

>we would be subjected to a blind

A/B test in which the only criterion would

be whether we identified the reference

amplifier correctly more than 50% of the

time.

 

do ślepego testu faktycznie nie doszło, wbrew temu co Wikipedia podaje, bo się panowie wcześniej zgodzili, ze różnic juz nie słychać.

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

[_Kuba_]

XYZPawel, 6 Maj 2008, 20:43

 

>To jest największa słabość tego testu, ale zrobili to celowo, ale uważam, że zrobili błąd.

 

faktycznie mogli zrobić poprawny test ABX. A tak to nie wiemy czy ci co rozróżniali to im się tylko wydawało czy nie.

[electro]

profesora i te sprawe znam, niemcy i francuzi celuja w tej homeomedycynie, tam to jest nawet podspecjalizacja:)))) straszne , ale prawdziwe, trzeba jeszcze za prawde przepraszac i moze do wiezienia pojsc bo firma ktora sprzedaje kilka kaczych erytrocytow rozbeltanych w butelce wody ma duzo kasy...

[Terrapin]

XYZPawel, 6 Maj 2008, 20:41

 

>Ale świnia ze mnie, że mam na wszystko co piszę dobry link, no nie ? ;)

 

Być może masz jakieś problemy, ale czemu zaraz "świnia"? Nie pojmuję... Chyba, że masz jakieś powody, o których nie wiem?

 

Ad rem: skąd ta pewność, że w Sieci jest tylko prawda jedynie słuszna i objawiona? Kiedyś taką prawdę można było znaleźć tylko w dziełach klasyków: "Oj dana, dana, nie ma szatana, a świat realny jest poznawalny"...

 

Aha, też mam link, oficjalne stanowisko amerykańskiej FDA:

 

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

[mako]

Jeśli chodzi o samą procedurę testową, to wydaje mi się, że ślepy testy AX[X=A?B] powinny lepiej sprawdzać się niż ABX. W przypadku testu ABX użytkownik świadom faktu, że jako trzeci z kolei odsłuchuje jeden z dwóch pierwszych elementów, nawet w sytuacji gdy nie jest wewnętrznie przekonany, będzie próbował dokonać wyboru (nie wiem czy tego typu testy dopuszczają odpowiedź „nie wiem”, jeśli nie to jeszcze gorzej). W przypadku pierwszej procedury użytkownik udziela odpowiedzi czy słyszy czy nie słyszy różnicę, więc nie ma tej presji co w drugim przypadku. Poza tym z ewentualnego faktu, że błędne odpowiedzi to jedynie przypadki nie stwierdzenia różnicy gdy w rzeczywistości odsłuchiwał różne elementy AB, też można wyciągnąć jakieś wnioski (oczywiście w sytuacji gdy udało mu się chociaż kilka razy stwierdzić tego typu różnice poprawnie). Można nawet starać się w takim przypadku doszukiwać przyczyny tych chwilowych „niedomagań”.

 

Natknąłem się dziś przypadkiem na opis jakiegoś ślepego testu, więc wklejam >

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

[electro]

Terrapin

no stanowisko podobne do stanowiska profesora:The American Medical Association does not accept homeopathy, but it doesn't reject it either.

 

z tym ze oprocz kilku odwaznych osob u nas nikt otwarcie tego nie napisze ze homeopatia nie dziala , bo za duza kasa za tym stoi i nikt nie chce miec pozniej klopotow jak gregosiewicz i udowadniac w sadzie ze nie jest wielbladem, problem nie lezy w tym ze to szkodzi, tylko ZE TO NIE LECZY i dla mnie jest to koniec tematu, szkoda mi czasu zeby sie zajmowac czyms co nie leczy, ale ze czesc pacjentow wymusza przepisywanie tych'lekow' i czesc lekarzy robi z tego 'kursy' i 'szkolenia' bo widzi potzrebe rynku to inna sprawa, najwieksze pieniadze sa w lekach OTC czyli nie na recepte, podobnie duze pieniadze sa w lekach , ktore nie dzialaja, wiekszosc dobrych lekow , w tym te ratujace zycie to tanie specyfiki:)))

[Terrapin]

-->> electro

 

Dlaczego nie wybrałeś akapitu niżej?

 

the American Academy of Pediatrics has no specific policy on homeopathy. If an adult asked the academy's Sanders about homeopathy, he would tell that person to "do your own investigation. I don't personally prescribe homeopathic remedies, but I would be open-minded."

 

open-minded... Tylko o to mi chodzi.

[electro]

Terrapin

w akapicie nizej tez nie ma ze to dobre leki sa, otwarty umysl nie moze przeslaniac rozsadku i szacunku do swojej profesji, nie zapisze czegos co nie dziala, bez wzgledu na to ile mi zaplaca, a mam pewnosc ze TO akurat nie dziala , jesli mam podawac placebo to niekoniecznie musi to byc lek homeopatyczny, moze byc np. witamina c, silimarol czy cokolwiek innego, w tej niby odezwie fda czy tez okolniku jest pomieszanie pojec, bo czosnek, dziurawiec czy co tam bylo to nie jest homeopatia tylko medycyna natutalna, sa w tym zwiaki dzialajace leczniczo co wielokrotnie dowiedziono, homepoatia to np. kilka kropel kaczej krwi wrzucone do jeziora (mniej wiecej taka proporcja ) a nastepnie woda z tego jeziora przerobiona na ktopelki czy kapsulki, to jest pier**lone oszustwo, cos z dziedziny magii w medycynie, slepa sciezka medycyny, a ze niektorzy majka sumienie to przepisywac to mnie nie dziwi, mengele nie takie rzeczy robli....