פרוטוקולים לניסויים השוואתיים
מה נבדוק במחקר
תחילה מידול, ולאחר מכן פיילוט מוגבל בארגון אמיתי. נשווה את הפרוטוקול לתהליך רגיל שהוגדר היטב, עם אותן משימות, נתונים ומשאבים ותמיכה דומה של בינה מלאכותית. נבחן את תרומת האישורים המהותיים וההתחייבויות המקושרות: תוצאות שאושרו, הפרות, זמן התאוששות משינויים, טעויות ומחלוקות, זמן המשתתפים והעלות הכוללת. התועלת צריכה להצדיק את העבודה הנוספת. ספי הצלחה, כללי עצירה ושיטות הערכה ייקבעו לפני הניסויים; יתועדו גם תוצאות שליליות או לא חד־משמעיות.
כיצד פועל הפרוטוקולטיוטות פרוטוקולים: חלוקת סמכויות ומנגנון התיאום הם גורמים נפרדים.
תנאים בני־השוואה
בתוך כל מבנה סמכויות משווים את ObliNet לתהליך בסיס מוגדר ללא ObliNet. למשתתפים מידע התחלתי, משאבים ותמיכת AI בני־השוואה. השגת מידע נוסף והדרכה נספרות כעלויות. ObliNet אינה מקבלת גישה מועדפת לאמת של הסימולטור.
מה למדוד בכל ההרצות
כוללים כל מקרה שהחל: הצלחות, כישלונות, סירובים ופעילות שלא הסתיימה עד אופק זמן קבוע. מודדים השגת יעדים משותפים, איכות, משאבים שנוצלו, משך זמן, עבודת כל התפקידים, חישוב, הדרכה, תמיכה ועבודה חוזרת. עלות לתוצאה מוצלחת היא מדד משלים, ולא תחליף לרישום מלא.
מנגנונים ותרומה סיבתית
פערי פרשנות, נראות תלויות וזמן לשינוי מוסכם הם מדדי ביניים. משביתים בנפרד בדיקת תנאים, הצגת תלויות ותהליך שינוי מוסכם. תרומתם נבחנת מול תוצאות כלל־מערכתיות בלתי תלויות, ולא לפי מספר ההתרעות. צמצום פערים לבדו אינו מוכיח תועלת.
לפני הבדיקה
קובעים גרסאות של המודל ותהליכי הבסיס, תרחישים, כללי סמכות, מדד עיקרי, ספי איכות, עלות ועצמאות, אופק זמן וכללי עצירה, נימוק למספר ההרצות, זרעים אקראיים, טיפול בחוסרים ותוכנית ניתוח. בוחנים אינטראקציה בין שני הגורמים ואי־ודאות, ומפרסמים גם ממצאי אפס וממצאים שליליים. הפרמטרים המספריים טרם אושרו.
יכולת הסתגלות לאחר שינוי
לאחר שינויים חיצוניים בני־השוואה מודדים את הזמן עד לתוכנית מתוקנת העומדת באילוצים, את התאוששות השגת היעדים המשותפים ואת העלויות הנוספות. שינוי מהיר יותר אינו שיפור אם הוא פוגע באיכות או בעצמאות. כללי יצירת האירועים והערכת ההסתגלות נקבעים לפני ההרצה.
| חלוקת סמכויות | ללא ObliNet | עם ObliNet |
|---|---|---|
| היררכית | תהליך בסיס בתוך היררכיה | אותן סמכויות + מנגנוני ObliNet |
| מבוזרת | תהליך בסיס בין משתתפים עצמאיים | אותן סמכויות + מנגנוני ObliNet |