איך גורמים לכיתת תלמידים לקבל את אותו מבחן - בלי לקבל את אותו מבחן?
איך אפשר לתת לכל תלמיד מבחן אמריקאי שונה, בלי להכין עשרות גרסאות ובלי להקשות על המורה? ב־ציון ברגע בנינו מערכת שבה כל עותק מודפס מקבל סדר ייחודי של שאלות ותשובות, נשאר מזוהה לאורך כל הדרך, וניתן לסריקה ובדיקה אוטומטית. במאמר נספר איך הפכנו רעיון פשוט למערכת שמחברת בין מבחן מודפס, מניעת העתקות ובדיקה מהירה.
השעה היא 10:15 בבוקר.
המבחנים מחולקים.
שלושים תלמידים יושבים בכיתה, ולפני כל אחד מהם מונח בדיוק אותו מבחן אמריקאי.
אותן שאלות. אותן ארבע תשובות אפשריות. אותו סדר.
אחרי כמה דקות, תלמיד אחד מסיים שאלה ומרים את הראש.
מספיק מבט אחד הצידה.
הוא לא צריך לדעת את החומר. הוא רק צריך לראות איזו תשובה סימן התלמיד שלידו.
מבחן אמריקאי, במבנה הקלאסי שלו, נותן להעתקה יתרון מובנה.
אפשר כמובן להכין שתי גרסאות. או שלוש. אבל אז מתחילה בעיה חדשה: צריך לנהל גרסאות, להדפיס אותן בנפרד, לזכור מי קיבל מה, ולדעת איך לבדוק כל אחת מהן.
ואז שאלנו את עצמנו שאלה אחרת:
מה אם לא יהיו כמה גרסאות של המבחן - אלא שכל עותק של המבחן יהיה גרסה בפני עצמו?
משם התחיל אחד החלקים המעניינים ביותר בפיתוח של ציון ברגע.
אותו מבחן. סדר אחר.
הרעיון נשמע פשוט.
במקום להדפיס לכולם את השאלות באותו סדר, המערכת מערבבת את השאלות עבור כל עותק.
אבל אפשר ללכת צעד נוסף.
גם את אפשרויות התשובה בתוך כל שאלה אפשר לערבב.
כך יכול להיות שלתלמיד אחד תופיע השאלה:
מהי בירת צרפת? א. לונדון ב. פריז ג. רומא ד. מדריד
ולתלמיד אחר בדיוק אותה שאלה תופיע כך:
מהי בירת צרפת? א. רומא ב. מדריד ג. לונדון ד. פריז
השאלה זהה.
התשובות זהות.
אבל המיקום שלהן שונה.
וכאשר גם סדר השאלות משתנה, הרבה יותר קשה פשוט להסתכל על הדף של מי שיושב לידך ולהעתיק את הסימון.
אבל כאן נתקלנו בבעיה הרבה יותר מעניינת
נניח שהדפסנו 30 מבחנים.
לכל תלמיד יש סדר שאלות אחר.
לכל תלמיד יכול להיות גם סדר תשובות אחר.
עכשיו תלמיד מספר 17 מחזיר את המבחן שלו.
המערכת רואה שהוא סימן תשובה ג׳ בשאלה שנמצאת במקום 12.
אבל מה הייתה שאלה מספר 12 בגרסה שלו?
והאם תשובה ג׳ הייתה באמת התשובה הנכונה?
אם היינו פשוט מערבבים את הכול בצורה אקראית, היינו יוצרים לעצמנו כאב ראש גדול יותר מזה שניסינו לפתור.
המערכת חייבת לזכור בדיוק מה היא עשתה.
וכאן נכנס החלק ההנדסי.
לכל עותק יש זהות
ב־ציון ברגע, כל עותק של מבחן מקבל זהות ייחודית.
המערכת לא רק יוצרת PDF.
היא יודעת איזה עותק נוצר, עבור מי הוא מיועד, איזה סדר שאלות נבחר עבורו, ואיך סודרו אפשרויות התשובה בכל אחת מהשאלות.
אפשר לחשוב על זה כמו על "תוכנית בנייה" של המבחן.
ה־PDF הוא מה שהתלמיד רואה.
המידע שמאחוריו הוא מה שהמערכת צריכה כדי להבין אותו אחר כך.
וזה הבדל חשוב.
כי מבחינת התלמיד, מדובר בסך הכול בדף מודפס.
מבחינת המערכת, זהו עותק ייחודי של מבחן עם מבנה ידוע ומתועד.
ואז הגענו לשאלה הגדולה באמת
יצירת מבחנים שונים היא נחמדה.
אבל אם בסוף המורה צריך לשבת ולבדוק אותם אחד־אחד - לא באמת פתרנו את הבעיה.
המטרה שלנו הייתה הרבה יותר גדולה:
שהמורה יוכל פשוט לסרוק את המבחנים - והמערכת תבין אותם.
לכן בנינו את התהליך מההתחלה ועד הסוף.
המבחן יוצא מהמערכת כ־PDF מוכן להדפסה.
התלמיד פותר אותו על דף.
המבחנים חוזרים למורה.
הם נכנסים לסריקה.
ומשם מתחיל התהליך ההפוך.
הדף חוזר למערכת - והמערכת מזהה אותו
כאשר המבחן נסרק חזרה ל־ציון ברגע, המערכת צריכה לזהות לא רק את התשובות שסומנו, אלא גם איזה עותק היא קיבלה בחזרה.
ברגע שהעותק מזוהה, המערכת יודעת כיצד הוא נבנה.
היא יודעת מה הייתה שאלה בכל מיקום.
היא יודעת כיצד סודרו אפשרויות התשובה.
והיא יודעת מהי המשמעות של הסימון שהתלמיד ביצע על הדף.
כך אין צורך שהמורה יגיד:
"זה מבחן גרסה ב׳, וזה מבחן גרסה ג׳..."
ואין צורך לנהל ערימה של מבחנים לפי גרסאות.
המערכת כבר יודעת.
מאקראיות - למידע שאפשר לבדוק
אחד הדברים המעניינים בפיתוח היה להבין ש"אקראי" לא יכול להיות באמת אקראי.
אנחנו רוצים שהסדר יהיה שונה.
אבל אנחנו גם רוצים שהמערכת תוכל לשחזר ולפרש אותו.
לכן כל ערבוב שנעשה במהלך יצירת המבחן חייב להיות חלק מתהליך מבוקר.
זה מאפשר לנו לקבל את שני העולמות:
מבחן שנראה שונה לכל תלמיד - ומערכת שיודעת בדיוק איך לקרוא אותו.
זו למעשה אחת הנקודות המרכזיות בתכנון של המערכת:
מה שנראה אקראי לתלמיד, חייב להיות צפוי למערכת.
לא בנינו עוד מחולל מבחנים
הפתרון הזה הוא רק חלק קטן מהרעיון שמאחורי ציון ברגע.
מה שרצינו לבנות הוא לא תוכנה שמייצרת PDF.
רצינו לחבר בין שני עולמות שבדרך כלל נמצאים בנפרד.
מצד אחד - הכיתה והדף.
המורה מכין מבחן, מדפיס, מחלק, והתלמידים פותרים.
מצד שני - המערכת הדיגיטלית.
היא יודעת לנהל שאלות, תלמידים וגרסאות, לזהות את המבחנים שנסרקו, לבדוק את התשובות ולהפיק את הנתונים.
ובאמצע נמצא הדף.
הדף הוא לא רק פיסת נייר.
הוא למעשה ממשק פיזי למערכת דיגיטלית שלמה.
מה שמעניין באמת הוא מה שקורה אחרי שהתלמיד מסיים
מבחינת התלמיד, המבחן הסתיים כשהוא הניח את העיפרון.
מבחינת ציון ברגע, שם העבודה רק מתחילה.
המערכת לוקחת את המבחנים הסרוקים, מזהה את העותקים, מפענחת את הסימונים, מחזירה כל תשובה לשאלה שאליה היא שייכת - ומאפשרת למורה להגיע לתוצאות בלי לעבור ידנית על כל שאלה בכל מבחן.
כך התהליך כולו הופך למעגל אחד:
יוצרים ← מערבבים ← מדפיסים ← פותרים ← סורקים ← מזהים ← בודקים ← מנתחים.
והכול התחיל משאלה פשוטה:
איך אפשר לתת לכל תלמיד מבחן אחר, בלי שהמורה יצטרך לנהל מבחנים שונים?
התשובה שלנו הייתה:
לא ליצור מבחנים שונים. ליצור עותקים ייחודיים של אותו מבחן.
זהו אחד הרעיונות שעליהם בנוי ציון ברגע - לקחת פעולה פשוטה ומוכרת כמו מבחן על דף, ולבנות סביבה מערכת טכנולוגית שלמה שעובדת מאחוריו.