יש קצת מן תלישות במאמר לדעתי. הדוגמאות אמפיריות יתר על המידה.
למשל בעניין המקור, הבדלה בין CD לנגני High Rez. כאשר מדובר בשני
נגנים בעלות של 5K$ צפונה { גם Red Book וגם SACD } זה עניין אחד.
אבל אני { וגם אתם } נתקלתם באנשים שיאמרו משהו "פחחח , אחי קח DVD ב 200
שקל, תחבר לרסיבר, אין סיכוי שתבחין במבחן עיוור בין CD אודיופילי".
זה כבר עניין אחר, שלא דיברו עליו.
הדוגמא הנוספת עם פורמט הרדיו החדשני היא שיא המוזרות בעיני. כביכול
ה'מומחה' הצליח להבחין באופן לא עיוור ו בלה בלה ... אבל מה השטיק?
מה המומחה גילה בשיטת הבדיקה הלא עיוורת? שהייתה בעיה בקודק שגרמה ל Idle tone ב1.5KHZ
או במילים אחרות, ציוד בדיקה הכי בסיסי היה עולה על זה מיידית.
אז מה יצא לנו? שמהסיפור ניתן להסיק "מבחן עיוור זה לא טוב" באותה מידה שניתן להסיק
"עזבו אותכם ממבחן
האזנה { עיוור או לא }, חברו את הRCA למיכשור בדיקה".
ובכלל מבחן עיוור לא אמור לכלול ליבון עיני הנבחן, { או בתסריט שפוי כיסוי עיניים
}
אלא בידוד אמפירי של הנושא הנבדק. אותו מגבר , אותו רמקול, אותו מאזין,
רק נגן אחר. פשוט לא? לא. בכלל לא. כי מבחנים עיוורים נכשלים עוד לפני נגינת
השיר הראשון. הסיבה? קשה להסכים מראש על משמעות התוצאות.
מבחן שווה משהו רק עם יש קונצנזוס מראש על משמעות תוצאותיו. וזה לא ממש קורה.
למשל:
מנגנים 20 קטעים , ומחליפים נגנים. אם הנבחן טועה 10 פעמים מה זה אומר?
ניחוש? כי זה 50\50 ? ונאמר טעה 20 פעם? מה זה אומר? זה אומר שהוא מצא הבדלים
בין הנגנים לא ? הרי זה לא סטטיסטיקת ניחוש. זה סטטיסטיקה שמעידה על נטייה ברורה
לכיוון מסויים. מצד שני .... לא הייתה תשובה אחת נכונה אז מה עושים?
ואם טעה 5 פעם? מחד, רוב הפעמים הוא מצא את הנגן הנכון, אבל מאידך זה די הרבה טעויות לא?
לדידי אם מבחן מסתיים בפולמוס סוער על משמעות התוצאות אז זה לא מבחן.
{ בין אם עיוור,חירש, אילם או תתרן }.
לא מזמן היה פה שרשור בין שני חברה שניסו לארגן מבחן עיוור של אינטרקונקטים
{ דיז ועוד מישהו }. מעבר לפיקנטרייה בדיאלוג הפורה , הייתה שם התנהלות די הגיונית,
המבחן לא יצא אל הפועל כי לא הצליחו להגדיר את פרוטוקול המבחן ואת משמעות תוצאותיו
{ ו....כמובן כי ההוא ילדון ההוא דרדס וההוא גרגמל
ו....חבל לחזור לזה, זו לא המטרה} .
באותו שרשור קישרו למבחן עיוור שערכו בתפוז. היה מבחן, טוב או לא, מקצועי או
לא זה לא משנה. הוא נכשל בדבר פשוט אך חיוני,
אין הסכמה על משמעות התוצאות.
לא הסכימו מראש ובטח לא בדיעבד אז נותרנו עם כלום בריבוע.
במילים אחרות המבחן נכשל במבחן "המבחן" { למבחן רצוי שתהיינה תוצאות, אחרת
הוא משמים כמעט כמו הפוסט הזה }.