טעות הצלף הטקסני
איך בחירה סלקטיבית של נתונים יוצרת "דפוסים" שאינם קיימים בפועל.
בקצרה
מה זו טעות הצלף הטקסני?
טעות הצלף הטקסני מתרחשת כשאדם מציג תבנית או חוקיות שזוהו במערך נתונים רק אחרי שבדק אותם, בלי לקיים בדיקה של השערה מראש. המשמעות היא שאחרי שיש תוצאה, קל לחזור אחורה ולמצוא לה "סיבה". זה לא מזהה סיבתיות אמיתית אלא בונה נרטיב רטרואקטיבי. בסטטיסטיקה מכנים את זה data dredging או p-hacking. בהשקעות, זה ההבדל בין תזה שנבחנה מראש לבין סיפור שסופר אחרי שראו את הגרף.1
דוגמה ישראלית מאירה את העניין: ב-2022 פורסם בעיתונות הכלכלית מאמר שהציג "נוסחה" לחיזוי תשואת מניות ת"א 35 על סמך שבעה אינדיקטורים כלכליים. תוך שנה הנוסחה איבדה את הקשר לתשואות. הסיבה הפשוטה: האינדיקטורים נבחרו אחרי שכבר היו תוצאות. זו הייתה מטרה שצוירה סביב חורי הירי.
איך הטעות מתבצעת בפועל?
יש ארבע דרכים מרכזיות שבהן טעות הצלף מתגנבת לתוך ניתוח השקעות:
- בחירת תקופת זמן נוחה: למשל "מניה X עלתה 200% מאז 2015", תוך התעלמות מכך שב-2010 עד 2014 היא ירדה ב-70%. הבחירה של נקודת ההתחלה נעשית אחרי שמסתכלים על הגרף.
- בחירה סלקטיבית של אינדיקטורים: מתוך מאות מדדים אפשריים, בוחרים את השלושה שמתאימים לסיפור ומתעלמים משאר התוצאות.
- Cherry picking של אירועים: הצגה של חמשת המקרים שבהם השיטה עבדה, והתעלמות מארבעים וחמישה מקרים שבהם היא נכשלה.
- שימוש לרעה במובהקות סטטיסטית: כשבודקים 100 משתנים, חמישה מהם יעברו את סף המובהקות של 0.05 באקראי לחלוטין. הצגתם כ"ממצא" היא הטעיה.
בתעשיית יועצי ההשקעות בישראל יש נטייה לפרסום שיטות על סמך בדיקה היסטורית של אינדיקטורים שנבחרו רטרואקטיבית. רשות ניירות ערך מחייבת ציון שביצועי עבר אינם מבטיחים עתיד, אבל ההצגה הרטורית עדיין יוצרת את טעות הצלף.
דוגמה: "נוסחת הזהב"
אנליסט פיננסי יצא ב-2023 עם נוסחת חיזוי למדד ת"א 35: אם ריבית בנק ישראל ועוד מדד הדולר נמוכים מ-5, ת"א 35 עולה בשנה הקרובה. הנוסחה "הוכחה" על 15 השנים האחרונות עם 70% דיוק. מה שלא נאמר: האנליסט בדק 500 שילובים אפשריים של אינדיקטורים (ריבית, מדד, נפט, דולר, יורו, אבטלה, אינפלציה ועוד) ובחר את השילוב שעבד. בשנה שלאחר הפרסום, הנוסחה נכשלה וירדה לדיוק של 50%, לא שונה מזריקת מטבע. מתוך 500 שילובים, כעשרים וחמישה ייתנו 70% דיוק באקראי. זו לא נוסחה, זה רעש.
איך לזהות את הטעות בדיווחי אנליסטים?
זיהוי ההטיה הוא ההגנה היעילה ביותר נגדה. אלו ארבעה סימני אזהרה שצריך לחפש בכל מחקר או שיטת השקעה:
- השיטה מסבירה היטב את העבר אבל לא עברה בדיקת out-of-sample: בדיקה על נתונים שלא נכללו במחקר המקורי היא מבחן הפרדה חיוני. בלעדיה, השיטה רק "שיננה" את העבר.
- מספר גבוה של פרמטרים מתוכננים מראש: ככל שיש יותר פרמטרים, כך גדל הסיכוי שצירוף ספציפי שלהם יתאים לנתונים באקראי.
- הכותב לא מציג את השיטות שנבדקו ונכשלו: מציגים רק את מה שעבד ולא את הלוח המלא של ניסיונות. בלי הלוח המלא, אי אפשר לאמוד אם התוצאה אקראית.
- אין הסבר כלכלי בסיסי: אם השאלה "למה זה עובד?" מקבלת תשובה מסוג "ככה הנתונים מראים", כנראה שהדפוס מקרי.
טעויות נפוצות
- אימוץ שיטות השקעה שמבוססות על חיפוש רטרואקטיבי באינדיקטורים, בלי בדיקת out-of-sample.
- הצגת תקופת זמן ספציפית ("מ-2015 עד היום") כהוכחה לביצועים, בלי התייחסות לתקופה הכוללת.
- מעקב אחרי גאונים שחזו אירוע אחד גדול. יש הרבה כאלה, רובם צדקו פעם אחת ואז טעו חמש פעמים.
- עיצוב אסטרטגיה על סמך חמש שנים היסטוריות והפעלתה ללא ערעור על עשרים שנים קדימה.
טיפים מעשיים
- לפני אימוץ של שיטה, דרשו לראות את לוח המצב המלא: כמה שיטות נבדקו, כמה נכשלו, כמה הצליחו. אם אין מידע, זו טעות הצלף.
- בדקו אסטרטגיות בתקופה שונה מזו שבה פותחו. לדוגמה, פיתוח על 2010 עד 2020 ובדיקה על 2000 עד 2010.
- זכרו שמובהקות סטטיסטית של 0.05 משמעותה שמתוך 100 בדיקות, חמש יעברו באקראי. אם יש 500 משתנים אפשריים, עשרים וחמישה "יעבדו" גם בלי קשר סיבתי.
- תמיד שאלו: מה ההסבר הכלכלי הבסיסי? ללא תיאוריה, הדפוס סביר להיות מקרי.
חשוב לדעת
רוב שיטות ההשקעה שמופיעות בעיתונות, בבלוגים ובקבוצות וואטסאפ הן תוצר של טעות הצלף הטקסני. זה לא תמיד במתכוון. לפעמים זו תוצאה של חיפוש כן, אבל התוצאה זהה: שיטה שלא עובדת בפועל. שתי השיטות שכן שרדו לאורך זמן, ערך ומומנטום, עברו בדיקות out-of-sample במחקר אקדמי, וגם הן מתפקדות פחות ממה שהוצג בעבר. ההתעלמות מטעות הצלף מעשירה יועצים ומרוששת משקיעים.2
מסקנה
טעות הצלף הטקסני היא הסיבה שרוב הגורואים הפיננסיים אינם מייצרים תוצאות עקביות. ההגנה עליה דורשת חשיבה סטטיסטית בסיסית: בדיקת תקופות שונות, דרישת תיאוריה כלכלית, וזיהוי של הטיה רטרואקטיבית. זה כלי חובה לכל משקיע עצמאי שרוצה לא ליפול לפח.
שאלות נפוצות
כשל לוגי שבו מזהים "דפוס" בנתונים אחרי שרואים אותם, ולא לפני. המטרה מצוירת סביב הכדורים שכבר פגעו בקיר, ויוצרת אשליה של דיוק שלא הייתה שם באמת.
Backtesting תקין בודק השערה שהוגדרה מראש על נתוני עבר שלא שימשו לגיבוש ההשערה. טעות הצלף מתבצעת כשההשערה נוצרת אחרי ראיית הנתונים ואז "נבדקת" על אותם נתונים שיצרו אותה.
כי שיטות שנוצרו ככה לא ממשיכות לעבוד בעתיד. הן "עבדו" רטרואקטיבית רק כי בחרו אותן מתוך מאות אפשרויות שלא הצליחו. השנה שאחרי הפרסום חושפת את הרעש.
מפתחים את השיטה על תקופה אחת (למשל 2010 עד 2020) ובודקים אותה על תקופה אחרת שלא נחשפה (למשל 2000 עד 2010 או 2020 עד 2024). אם היא עובדת בשתיים, היא מהימנה יותר. בדיקה על אותה תקופה שבה פותחה היא חסרת משמעות.
למידה תקינה מביאה לתיאוריה כללית עם בסיס כלכלי, למשל "שווקים עולים בממוצע 7% ריאלית בטווח ארוך". טעות הצלף מביאה לחוק ספציפי בלי תיאוריה, למשל "ה-RSI של יום חמישי חוזה את יום שני".
- Bailey, D.H. et al. (2014) "Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting" — Notices of the AMS(2014) ams.org ↗ ↩
- Harvey, C.R., Liu, Y. & Zhu, H. (2016) "…and the Cross-Section of Expected Returns" — Review of Financial Studies(2016) academic.oup.com ↗ ↩
- Ioannidis, J.P.A. (2005) "Why Most Published Research Findings Are False" — PLoS Medicine(2005) journals.plos.org ↗ ↩
מושגים קשורים
הטיית אישור
הטיה שבה בוחרים נתונים המתאימים להשערה מוקדמת. קרובה מאוד לטעות הצלף: שתיהן יוצרות אשליה שהנתונים מאששים את מה שכבר האמנו בו.
הטיית חכמה שבדיעבד
התחושה שהדברים היו צפויים מראש, אחרי שכבר ידוע מה קרה. זהו המנגנון הפסיכולוגי שמזין את טעות הצלף הטקסני בזמן ניתוח ביצועי עבר.
כשל הנרטיב
הנטייה לבנות סיפור סיבתי סדור על אירועים אקראיים. בשילוב עם טעות הצלף, זה הופך דפוסים מקריים ל"שיטות" שנראות משכנעות.
הטיית חזרה לממוצע
הטיה שמזינה חיפוש רטרואקטיבי של דפוסים היסטוריים, ומחזקת את הנטייה לזהות "חוקיות" שלמעשה נוצרו באקראי.
ניהול סיכונים
התחום שבו בדיקה קדימה היא חובה ולא רק המלצה. גישה שיטתית לניהול סיכונים היא המענה המעשי לשיטות שנוצרו בטעות הצלף.
מייסד
השקעתי שנים בהייטק ובשוק ההון. ניהלתי בעצמי את הפנסיה, הביטוחים וההשקעות שלי, של המשפחה ושל החברים, ובמקביל אני מוביל קהילת משקיעים פעילה כבר שנים. כל ערך במידע-הון מתורגם ישירות מהחוק והרגולציה לעברית קריאה, כדי שהמסמך הבא שיגיע אליך בדואר יהיה מובן. גם בעשר וחצי בלילה.
תחומי מומחיות