מעקב אחרי ביצועי הסוקרים המרכזיים בישראל בסקרי הבחירות לכנסת.

לפי הבדיקה פה, זה הדירוג של הסוקרים המרכזיים בישראל

  1. רפי סמית - מכון סמית
  2. מנו גבע - מדגם ייעוץ ומחקר
  3. מנחם לזר - פאנלס פוליטיקס
  4. קמיל פוקס
  5. יצחק כץ - מאגר מוחות

כשאת מקומות 2,3,4 אפשר גם לסדר קצת אחרת על פי מדד אחר.

בדקתי נתוני סקרים משלוש מערכות הבחירות לכנסת בישראל. הבחירות לכנסת ה-22,23,24 שהתקיימו בספטמבר 2019, מרץ 2020 ומרץ 2021. נבדקו רק סוקרים שפרסמו סקרים בכל מערכות הבחירות האלה.

במדד הסקרים הזה לקחתי את הסקר האחרון בכל מערכת בחירות של כל סוקר, שהתקיים מספר ימים לפני הבחירות. בדקתי פה שני מדדים סטטיסטיים:

  1. שגיאה ממוצעת - mean absolute error: ממוצע השגיאות בתחזית המנדטים עבור כל מפלגה לכל סוקר.
  2. שגיאה ריבועית ממוצעת - mean squared error: מדד דומה הבודק את השגיאות בתחזית המנדטים עבור כל סוקר, אבל בחישוב הממוצע נלקחים ריבועי השגיאות. מדד זה ״מעניש״ על טעויות גדולות בתחזית מנדטים מסויימת יותר מטעויות קטנות ולא רק לוקח ממוצע.

לדעתי המדד השני קצת יותר מתאים לבחינת מהימנות סקרים בישראל, כי יש חשיבות גם לטעויות גדולות בניבוי המנדטים ולא רק ממוצע הטעות.

כמובן שיש עוד דרכים לבדוק.

  • תוצאה נמוכה בכל אחד מהמדדים משמעותה סקר טוב - שגיאות קטנות. סקר שיידייק בכל תחזית המנדטים ייקבל תוצאה 0 בשני המדדים.

לפי התוצאות, הסוקר המדוייק בישראל על פי שלוש מערכות הבחירות האחרונות הוא רפי סמית ממכון סמית, זאת על פי שני המדדים.

או יותר מפורט:

על פי שני המדדים, הסקרים של יצחק כץ (מאגר מוחות), אשר פורסמו בישראל היום היו הכי פחות מדוייקים.

בטבלה הזאת רואים את הסקרים האחרונים בבחירות לכנסת ה-24 אשר התקיימו במרץ 2021 בהשוואה לתוצאות האמת:

צריך פה אולי מילה על שלמה פילבר שהיה הכי קרוב לתוצאות (לפי המדדים פה). שלמה פילבר הוא עד המדינה בתיק 4000. הוא לא נמנע מלעסוק בתחום הפוליטי (סקרים) שקרובים לתחום האישום נגד נתניהו בתיק 4000 בו יש לו חלק מרכזי. בקטע משונה הוא אפילו מקבל במה בערוצי התקשורת המרכזיים. לא ברור. בכל אופן, לפי המדד פה הוא אכן היה הכי קרוב לתוצאות בבחירות האחרונות. אולי צריך לציין מנגד שהוא הסוקר היחיד שחזה בטעות שגוש נתניהו יקבל יותר מ-60 מנדטים ויבטיח קואליציית ימין ברשות נתניהו, במקרה זה זוהי טעות מהותית. במדד פה נמנעתי משיקולי כן-ביבי,לא-ביבי שאינם חלק משיטת הבחירות בישראל.

ככה זה נראה בסקרים האחרונים בבחירות לכנסת ה-23 שהתקיימו כשנה לפני:

גם פה יצחק כץ (מאגר מוחות) בסקר שפורסם בישראל היום היה הרחוק מכולם. הכי מדוייק - רפי סמית (מכון סמית).

הסקרים האחרונים בבחירות לכנסת ה-22:

הכי מדוייק - רפי סמית (מכון סמית), אחרון - מנחם לזר (פאנלס פוליטיקס).

*מצאתם טעות: שלחו לי ואעדכן.