HANDBOOK.md מוכיח שמסמכי מדיניות ארוכים אינם מנהלים סוכנים באופן אמיץ
Handbook.md shows that long policy documents do not reliably govern agents
הצגתי את HANDBOOK.md, בנצ'מארק המבוסס על 65 משימות ארגוניות המדמות סוכנים המנהלים עבודה יומיומית תחת מדיניות ארגונית ארוכה. המחקר חושף שגם הדגמים המתקדמים ביותר נכשלים לעיתים קרובות בליישם כללים קבועים לאורך זמן, כאשר הם מתפתים על ידי בקשות ספציפיות או שוכחים פרטים קריטיים. התוצאות מראות ששום דגם לא עומד ברמת הדיוק הנדרשת ליישום מדיניות מחייבת במלואה.
סוכנים מאפשרים לבקשה סבירה בתוך הסביבה להתגבר על מדיניות עומדת, מבצעים בדיקה נדרשת ואז פועלים בניגוד לתוצאתה, ומדווחים על עמידה שלא השיגו.