Warygodność ślepych testów?

[Gość rochu]

No właśnie. Tyle się o tym pisze.

Jak myślicie, czy mogą być one rzeczywiście wiarygodne?

 

W końcu każdy z nas słyszy jednak inaczej, ma inne uwarunkowania psychofizyczne, inne gusta, różne doświadczenia z dźwiękiem, inaczej ustaloną skalę porównawczą, etc, etc.

 

Jak w takim razie można mówić o obiektywiźmie ślepych testów?

[Staszek_s]

Ale chyba te indywidualne uwarunkowania nie mają znaczenia, skoro, powiedzmy, w próbce A i B uczestniczy ta samam osoba o tych samych uwarunkowaniach. Przynajmniej dla tej osoby te "osobnicze" parametry nie powinny mieć?

pzdr

[ArtiQ]

przede wszystkim nie da się mówić o wiarygodności testów czy badań nie znając metydologii w nich zastosowanych,

dlatego po pierwsze należy odpowiedzieć sobie co to jest "ślepy test" (ciekawe, czy wszystki przebiegaja dokładnie tak samo?!), po drugie co chcemy na ich podstawie zbadać?

[octavarium]

ArtiQ, 5 Maj 2008, 13:57

 

Zgodzę się,pewnie żeby uwiarygodnić tzw."ślepy test" potrzeba by wieloletniej pracy naukowej,badań aby wypracować najbardziej trafną metodę przebiegu takiego testu.W innym przypadku każdy taki test, powiedzmy-"przeprowadzany na dziko"-może jedynie służyć do opowiadania później jedynie jako anegdota.

[JarlBjorn]

Podobnie jak slepy test win klasy premier cru classé - pozwoli odroznic fakty od mitomanstwa i autosugestii kojarzonych z etykietkami roznych brandow audio.

 

Na slepych testach win najlepsi enolodzy polegli mocno nadszarpujac swa reputacje:)

[Redaktor]

Cel ślepych testów? Bo chyba nie uzyskanie informacji o brzmieniu, w tym w różnych okoliczościach i konfiguracjach - metodyka na to nie pozwala. A jeśli ślepy test ma służyć tylko uzyskaniu informacji, czy (a nie "jak" i "na ile") A różni się od B, to jaka jest w sumie wartość tego odkrycia?

[Rolandsinger]

@ Redakcja

 

No ale jeśli A nie jest do rozróżnienia w teście ABX od B, to czy dokładania np. 10 kzł do klocka B ma sens? No chyba, że ma to nam poprawić nastrój, to w porządku.

[matee]

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

[matee]

ślepe testy dają pewność, że różnica występuje ... nieślepe dają pewność, że różnica powinna występować ...

 

a samo pytanie jest stare jak sam audiofilzm: czym słuchamy? uszami czy oczami i portfelem?

 

zdania są podzielne ;o)

[ArtiQ]

Rolandsinger,

ale przecież ZAWSZE gra CAŁY system,

więc co dają takie testy, jeśli poszczególne elementy całości zawsze są inne?!?!

a do tego dochodzi akustyka pomieszczenia, ustawienie kolumn, gusta słuchacza, itp, itd.

zmiennych jest tak wiele, że nie można mówić o żadnym rozsądnym i miarodajnym wyniku takich testów

[Rolandsinger]

@ JarlBjorn

 

Zastawiające jest, że w procedurze certyfikacji farmaceutyków podstawowym kryterium dopuszczenia leku do obrotu jest jego statystycznie istotnie większy efekt farmakologiczny niż placebo.

 

I tylko kompletny ignorant lub szaleniec mógłby próbować podważać tę procedurę.

 

W audio jeśli coś za 100 kzł na ślepo gra tak samo jak klocek za 10 kzł w tej samej konfiguracji, nikt sobie z tego nic nie robi, a nabity w butelkę klient jest paradoksalnie nawet zadowolony z bezcelowego wydania tych 90 kzł.

[Perkoz_1]

Kiedyś zaaplikowaliśmy z kolegą ślepy test takiemu nadmuchanemu nowobogackiemu co to zarówno mnie jak i kolegę miał za kompletne zero w dziedzinie zasobności. Niby on sam się zwał "audiofil" ale jego audiofilizm po pierwsze polegał na wydawaniu multum kasy na coraz droższe klocki tylko po to aby mieć czym nas pognębić a po drugie na totalnym szpanerstwie. Apogeum swojego snobizmu osiągnął kupując kiedyś na zamówienie jakiś najdroższy model odtwarzacza CD Sony z Serii ES. Minęło kilkanaście lat od tego momentu dlatego nie pamiętam jaki to był model. Pamiętam tylko, że był złoty i cholernie ciężki.Do tego miał jakiś wzmacniacz lampowca bodajże B&S i kolumny podstawki też mocno drogie jakieś Celestion.

Do testu odtwarzaczy stanął jego Sony ES, mój bidny i tani TEAC CDP 1800 oraz kolegi jakiś taniutki NAD. Klient Kazaliśmy klientowi wyrychtować sobie na karteluszce rubryczki w których miał wpisywać plusy i minusy dźwięku z poszczególnych sesji tego ślepego testu. Wybrał sobie też płytę testową ze swojej kolekcji. Potem koleś zostawał zamknięty w drugim pokoju. My podłączaliśmy jakiś odtwarzacz z tych 3 testowych. Zawiązywało sie kolesiowi oczęta i wprowadzało jak barana do pokoju odsłuchowego znajdującego sie nota bene w jego mieszkaniu.Koleś miał czas bez ograniczeń. Następnie wyprowadzaliśmy go znowu na odosobnienie i zamykaliśmy i miał wtedy czas na pisanie plusów i minusów. I tak było 3 razy. Następnie po zakończeniu testu wygłosił nam swoją opinię popieraną plusami i minusami. Zapytaliśmy go na koniec czy jest pewny swego werdyktu. Był pewny jak diabli bo przecie on audiofil i co mu tutaj takie pikusie podskakują.Przecież i tak wiadomo, że ten odtwarzacz który on określił po teście jako referencyjny to jego ES.No to mu ogłosiliśmy, że w/g jego werdyktu najlepszym i bezkonkurencyjnym okazał się mój odtwarzacz za 790,00 zł. TEAC CDP 1800. Koleś dostał najpierw furii a potem załamki. I więcej już, przynajmniej w stosunku do nas, nie swołoczył się.

Dlatego nie wierzę w ślepe testy.

[Gość rochu]

Perkoz_1 >

 

Wybacz Chłopie, ale jakoś nie wierzę w Twoją opowieść. Zwłaszcza tu:

 

>Zawiązywało sie kolesiowi oczęta i wprowadzało jak barana do pokoju

>odsłuchowego znajdującego sie nota bene w jego mieszkaniu.

 

Proszę Cię serdecznie, konfabuluj w innym wątku.

[Rolandsinger]

@ ArtiQ

 

>> Rolandsinger,

ale przecież ZAWSZE gra CAŁY system,

więc co dają takie testy, jeśli poszczególne elementy całości zawsze są inne?!?!

a do tego dochodzi akustyka pomieszczenia, ustawienie kolumn, gusta słuchacza, itp, itd.

zmiennych jest tak wiele, że nie można mówić o żadnym rozsądnym i miarodajnym wyniku takich testów

[Gość rochu]

Panowie.

 

Mnie nie chodzi o opowiastki o przewadze tego czy tamtego sprzetu (zwłaszcza budźetopwego) w ślepych testach.

 

Pytanie, brzmiało - czy ślepe testy mają sens i czy można je uznać za wiarygodne?

[Gość rochu]

Miało być - budźetowego.

Sorry.

[crategus]

tu ciekawy wpis lancastera z 7 Paź 2006, 20:20:

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

Gdzieś wpis o tych obrazkach już widziałem, z rozdzieleniem ich na 2 różne posty. Faktycznie ciężko czasem poprawnie wskazać, choć różnica jest oczywista (prawda?).

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

[Rolandsinger]

Oczywiście, że mają, ABX to procedura eksperymentalna nie stworzona ze względu na rynek audio, lecz w celach prowadzenia badań naukowych z psychologii poznawczej. Mieliłem to przez 2 ostatnie lata na studiach, broniłem dysertację właśnie z metodologii badań empirycznych w naukach społecznych.

[_Kuba_]

>Jak w takim razie można mówić o obiektywiźmie ślepych testów?

 

Ślepe testy stosowane są powszechnie wszędzie tam gdzie trzeba wyeliminować czynnik psychologiczny, czyli uprzedzenia, sugestie itd. Ślepe testy mają bardzo mocną podstawę naukową i są stosowane w dziedzinach o niebo poważniejszych niż audio hobby (medycyna chociażby).

Teza, że nie są stosowalne do tak trywialnej rzeczy jak słyszenie różnic w sprzęcie audio wymaga naprawdę uzasadnienia "wagi ciężkiej".

[Redaktor]

"No ale jeśli A nie jest do rozróżnienia w teście ABX od B, to czy dokładania np. 10 kzł do klocka B ma sens? No chyba, że ma to nam poprawić nastrój, to w porządku."

 

Jeśli nie jest do rozróżnienia, to porszę bardzo, owszem, procedurę ABX można by nawet przeprowadzać na początku każdego testu sprzętu - żeby stwierdzić czy klocki sie od siebie różnią, czy też jest tak jak twierdzi PawełXYZ, że różnią się od siebie tylko kolumny, zaś wszystkie CD-ki i wzmacniacze grają tak samo. Tylko ze jeśli ktoś sobie na to pytanie odpowiedział już dawno, to może nie mieć potzreby powtarzania tego w formie sformalizowanego testu, z dużym nakładem środków i z pomocą innych osób, tylko po to, zeby po raz któryś udowodnić sobie zrecz tak trywialną.

[Perkoz_1]

Dla ciebie może to co napisałem to konfabulacja. Ale niestety nie jest to zmyślone. Nawet z tej prostej przyczyny, że typowego szpanera i snoba bardzo łatwo wrobić w takie pułapki. Bo snob to po prostu chory człowiek i jego autosugestia i wiara w nieomylność swojego Ego nawet nie pozwala spodziewać się, że dla hucpy może wdepnąć w przysłowiowe "g".Instynkt samozachowawczy wysiada.

A swoją drogą to na jego miejscu sam też na 100% bym się pomylił przy tym tzw. ślepym teście.I jeszcze jedno - udowadnianie na jakimkolwiek specjalistycznym forum w tak śliskim temacie, że ktoś konfabuluje to takie drobne fous pas. Nie sądzisz? Czyżby też coś było nie tak z własnym Ego?

[_Kuba_]

innymi słowy odpowiedź na Twoje pytanie rochu

 

>czy ślepe testy mają sens i czy można je uznać za wiarygodne?

 

brzmi oczywiście, dlaczegóżby nie.

[Redaktor]

"Teza, że nie są stosowalne do tak trywialnej rzeczy jak słyszenie różnic w sprzęcie audio wymaga naprawdę uzasadnienia "wagi ciężkiej".

 

Uzasadnienie wagi ciężkiej brzmi tak, ze efekt takiego testu, czyli 0 - 1, nie ma zastosowania przy normalnej recenzji, której celem jest napisać, jak gra dane urządzenie w jakiej konfiguracji itp. Zaznaczam, JAK, a nie CZY. Test ślepy ma zastosowanie w sytuacji w której istnieje wątpliwość CZY w ogóle istnieje różnica. I tylko na taką wątpliwość odpowie. Jest to najuboższym możliwy rodzaj recenzji - jeśli by to traktować jako recenzję.

[rafal996]

A kto mówi o recenzji? Niech ślepy test udowodni tylko istnienie różnicy, bądź nieistnienie różnicy. Wtedy ma sens i do tego ma zastosowanie.

[jasio]

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

Ukryta Zawartość

Zaloguj się, aby zobaczyć treść.

Zaloguj się, aby zobaczyć treść (możliwe logowanie za pomocą )

[_Kuba_]

Ciekawostka, znacznie łatwiej w ślepym teście audio o fałszywe pozytywy -

czyli, że facet słyszy różnicę miedzy dwoma urządzeniami, ale dlatego, że np. głośność jest niejednakowo ustawiona - niż odwrotnie.

[_Kuba_]

>Test ślepy ma zastosowanie w sytuacji w której istnieje wątpliwość CZY w ogóle istnieje różnica.

 

I o to chodzi !

[_Kuba_]

Redakcjo, nie mówimy tutaj o recenzjach.

Wyobraźmy sobie raczej taki przypadek:

 

delikwent wypożycza do domu CDP, kabel, listwę itd.

Jest świadom i oświecon, więc chce obiektywnie stwierdzić czy ON osobiście odniesie korzyść z tego nowego ustrojstwa? Więc chłop nie czyta recenzji, tylko zagania żonę do pomocy w ślepym teście.

[Redaktor]

"A kto mówi o recenzji? Niech ślepy test udowodni tylko istnienie różnicy, bądź nieistnienie różnicy. Wtedy ma sens i do tego ma zastosowanie."

 

Otóż to. Dlatego zastosowanie ślepych testów w naszej dziedzinie jest mocno ograniczone. W dodatku, jak już wielokrotnie podkreślano, prawidłowe pzreprowadzenie ślepego testu na sprzęcie audio jest b. trudne (różnice poziomów wyjściowych źródeł, niewyskkalowanie potencjometrów, duże rozmiary części sprzetu, wygrzewanie sprzętu, konieczność zasłaniania np. kolumn, co psuje dźwięk itd).Jeśli mam do porównania dwa odtwarzacze CD, to mając na to miesiąc, dojdę ostatecznie do tego, że będę słuchał ich np. na takim wzmocnieniu, na którym kżdy zagra najlepiej. A przy ślepym teście drobna różnica w poziomie pokrętła może załatwić wynik. Nie mówiąc już o wygrzewaniu, doborze sprzętu towarzyszącego i tak dalej. W sumie wady XYZ jak dla mnie przeważają. Kogo obchodzi, CZY jest różnica między CD SONY ES a NAD 512? Jakim cudem ma jej nie być? Problemem jest, aby tę różnicę określić i czytelnie opisać.

[matee]

dziwi mnie tylko wciąż, że ci którzy twierdzą, że słyszą różnice nie urządzają sobie, choćby tak dla sportu, ślepych porównań. czegoś się boją? przecież nasze hobby to dobra zabawa. mógłby to być jeden z jej elementów.