דירוג מוסדות אקדמיים

רונן פרי

במסגרת סדרת הכתבות אודות מצב ההשכלה הגבוהה בישראל נסמכה מירב ארלוזורוב במידה רבה על דירוג האוניברסיטאות של העיתון הבריטי טיימס. מכיוון שדירוג זה משחק תפקיד כה חשוב בביקורתה על אוניברסיטאות המחקר המקומיות החלטתי, באיחור מה, לבדוק את המתודולוגיה העומדת בבסיסו של דירוג זה. אני חייב להודות כי במהלך השנים האחרונות פיתחתי חשדנות רבה ביחס לכל "מחקר" המתיימר לייצג איכות אקדמית יחסית. הדירוג של הטיימס לא הפתיעני לטובה.

אוניברסיטת פריס-סורבון*

ראשית, איני סבור שיש משמעות לדירוג כוללני מן הסוג שמציע העיתון. מה, למשל, ניתן להסיק מן העובדה ש-MIT נמצאת שישה מקומות מעל אוניברסיטת פרינסטון בדירוג זה? האם המחלקה לפילוסופיה ב-MIT טובה יותר מזו של פרינסטון? באופן דומה, מה ניתן להסיק מן העובדה שפרינסטון מדורגת מעל אוניברסיטת שיקגו ואוניברסיטת קולומביה? האם בית הספר (הלא קיים) למשפטים של פרינסטון טוב יותר מאלה של האוניברסיטאות המצויות אחריה בדירוג? הדוגמאות נועדו להבהיר את האבסורד שבדירוג כוללני של מוסדות בעלי אוריינטציה שונה ומבנה שונה על פני סקאלה אחת.

שנית, המרכיב המשמעותי ביותר של הדירוג, שמשקלו 40%, מבוסס על "הערכה בידי עמיתים" (peer review). הטיימס לא מסביר כיצד הרכיב את רשימת הנשאלים. אם, כפי שאני משער, רשימת הנשאלים מפולגת על פי פיזור האוכלוסיה בעולם, שיטת הדירוג מוטית באופן ברור לטובת מוסדות מחקר של מדינות בעלות אוכלוסיה גדולה (כמו ארצות הברית, סין והודו). אין זה פלא, אפוא, שברשימת מאה האוניברסיטאות המובילות ישנן שתי נציגות לסין ושתיים להודו. בפרסומיהם המדעיים של אנשי הסגל של מוסדות מובילים אלה לא נתקלתי מעולם.

שלישית, הטיימס לא ביקש מאנשי אקדמיה לדרג את כל מוסדות המחקר. דרישה כזו הייתה, כמובן, בלתי מעשית. הוא ביקש מכל משתתף בסקר לספק רשימה של עד 30 מוסדות מובילים, ולאחר מכן בחן את מספר ה"אזכורים" של כל מוסד. החסרון העיקרי של שיטה זו נעוץ בכך שאין היא מאפשרת דירוג ממשי של מוסדות המצויים מחוץ למעגל הראשון של היוקרה האקדמית. נניח שלא ניתן להבחין באופן ברור בין 30 מוסדות מובילים לבין כל האחרים, ושישנה קבוצה של 60-70 מוסדות מובילים, שמתוכם בוחר כל אחד מהמשתתפים את 30 הטובים בעיניו. אכן, יהיו בידינו מספיק נתונים לדירוג פנימי של 60-70 המוסדות המובילים. אולם מה יעלה בגורלם של האחרים? האם יש משמעות אמיתית לעובדה שאוניברסיטה המדורגת במקום 120 נזכרה פעם או פעמיים פחות מן האוניברסיטה המדורגת במקום ה-100?

רביעית, מרכיב חשוב נוסף בדירוג, שמשקלו 10%, מבוסס על חוות דעת של מגייסי כוח אדם. גם כאן לא ברור כיצד הורכבה רשימת המשתתפים בסקר. הפעם מתעורר חשש להטיה מבוססת-עושר. ככל שהמדינה בה פועלת האוניברסיטה עשירה יותר, הסיכוי לשילוב הבוגרים בחברות בינלאומיות גדולות וחזקות גבוה יותר, בלי קשר לרמת הלימודים.

חמישית (וזוהי לדעתי נקודה קריטית), מרכיב שמשקלו 20% מהדירוג הכולל של הטיימס הוא היחס בין מספר הסטודנטים לבין מספר חברי הסגל. ככל שהיחס נמוך יותר המוסד מדורג גבוה יותר. הקיצוצים בתקציבי ההשכלה הגבוהה בישראל הביאו לכך שהיחס בין מספר הסטודנטים למספר חברי הסגל בישראל הוא גרוע, בלשון המעטה. המרכיב הזה אינו קשור למידת הפרודוקטיביות של חברי הסגל בישראל או לאיכות מחקריהם. היחס בין מספר הסטודנטים למספר חברי הסגל הוא פונקציה של תקציב. לכן כל מי שחושב שצריך להמשיך לקצץ – אל יתפלא ואל ילין על כך שהמוסדות הישראליים יורדים בדירוג של הטיימס.**

שישית, מרכיב נוסף בדירוג הכולל, שגם משקלו 20%, הוא מספר הציטוטים של מאמרים אקדמיים לכל איש סגל. שיטת מניין-הציטוטים היא אכן שיטה מקובלת להערכת איכות יחסית. אולם ככל שהיא מתיימרת לאפשר דירוג בינלאומי מהסוג המוצע על ידי הטיימס הריהי סובלת מהטיה ברורה לטובת מוסדות הפועלים במדינות דוברות אנגלית. הטיימס מודה בכך שמניית הציטוטים נעשתה באמצעות מאגר אמריקאי המכיל בעיקר מידע על כתיבה אנגלית, ואינו מציע פתרון מניח את הדעת לבעיה זו. אין זה פלא, אפוא, שאוניברסיטאות קיימברידג' ואוקספורד מדורגות במקומות 3-2, בעוד שאוניברסיטת סורבון מדורגת במקום ה-200...

שביעית, חרף היתרונות הידועים של דירוג-מבוסס-ציטוטים אין להתעלם מכך שמניין הציטוטים תלוי במידה רבה בתחום המחקר, ובענפי המשנה בתוכו. מאמר של מומחה למימון יצוטט הרבה יותר ממאמר של מומחה לאנתרופולוגיה בלי קשר לאיכות המחקר, עומקו ומידת תרומתו לידע האנושי. מאמר של מומחה למשפט חוקתי יצוטט הרבה יותר ממאמר של מומחה לדיני נזיקין, שוב בלי קשר לאיכות. עד עתה לא נעשו ניסיונות רציניים להתגבר על קושי זה, ולכן שימוש עקיב בשיטת מניין הציטוטים יתרום להנצחת מבני-הכוח בתוך העולם האקדמי.

שמינית, 10% מהדירוג של הטיימס מבוסס על שיעור הסטודנטים והמרצים הזרים. הפרמטרים הללו מטים את הדירוג באופן ברור לטובת מוסדות שבהם שפת הלימוד היא אנגלית. יתר על כן, אי אפשר להתעלם מהשפעת המצב הגיאופוליטי על נכונותם של סטודנטים ומרצים זרים להגיע לישראל. מיעוטם אינו מהווה ראיה לנחיתות המוסדות הישראליים, אלא למציאות הישראלית המורכבת.

תשיעית, הדירוג מתעלם מגורמים בעלי חשיבות רבה בהערכת מוסדות אקדמיים, כגון דרישות הקבלה (בחינות פסיכומטריות, הצטיינות בלימודים קודמים וכו') או שיעור התעסוקה של בוגרים (בכוונה איני מתייחס לשיעור ההכנסה – לנוכח תלותו הרבה במיקום). הטיימס מסביר כי מדובר בגורמים שלא ניתן להשתמש בהם לצורך השוואה בין מוסדות הפועלים במדינות שונות. דא עקא, אי אפשר להתעלם מהם בהערכת הצלחתם של מוסדות אקדמיים. פירוש הדבר הוא שהניסיון להציע דירוג בינלאומי כולל של מוסדות מחקר נועד מלכתחילה לכשלון.

עשירית, וחשוב מכל: קביעת המשקל של כל אחד מן הפרמטרים שכן נכללו בדירוג נראית שרירותית לגמרי. איזה צידוק, למשל, ניתן להציע למתן משקל של 40% לשיפוט בידי עמיתים ו-20% בלבד לציטוטים? אילו היינו משנים את משקלם היחסי של שני הפרמטרים הללו ל-35% ו-25% בהתאמה הדירוג הכולל היה משתנה לחלוטין. זוהי ראיה נוספת לחוסר הרצינות של דירוג "מרוכב" מהסוג המוצע בזאת.

* התמונה מתוך Wikimedia-Commons.

** [תיקון 13.2.2007] בעקבות הערתו של יונתן כהן מן הראוי להבהיר ולהדגיש כי טענה זו נבדלת מכל האחרות. בעוד שיתר טענותיי מופנות במישרין כנגד שיטת הדירוג של הטיימס (וביתר דיוק – כנגד מידת הקורלציה בין הדירוג לבין איכות אקדמית), טענתי החמישית מופנית, למעשה, כנגד השימוש המניפולטיבי שנעשה בדירוג זה במסגרת השיח הציבורי. היחס בין מספר הסטודנטים לבין מספר המרצים הוא, אף לדעתי, מדד מסוים לרמת השירות שניתן לסטודנטים. אך יש לזכור כי נתון זה קשור קשר בל יינתק לתקציב. לכן לא ניתן להלין על מקומן של האוניברסיטאות הישראליות בדירוג, ובד בבד להצדיק את שימור המציאות התקציבית הקיימת או – פשוט – להתעלם ממנה בהצגת הנתונים.