דורשים אישור אנושי כשקשה לבטל את הפעולה, כשהיא משפיעה באופן משמעותי על אדם או על העסק, כשהיא חורגת ממדיניות מוגדרת או כשאין מספיק מידע. אפשר לאפשר עצמאות מוגבלת בפעולות שגרתיות והפיכות, עם הרשאות ברורות, ניטור ודרך לטיפול בחריגים.
בחנו השפעה עסקית, אפשרות ביטול ואי־ודאות
אל תקבעו את מידת העצמאות לפי שם המודל או ציון ביטחון יחיד. בחנו את הפעולה שה־AI עומד לבצע. טיוטה שעובד יכול למחוק שונה משליחת מחיר מחייב ללקוח, מתן החזר, שינוי נתוני שכר או מחיקת רשומה. אותה יכולת AI יכולה להתאים לפעולה עצמאית בשלב אחד ולדרוש אישור בשלב הבא.
בדיקה מעשית כוללת ארבע שאלות: מה גודל ההשפעה האפשרית? האם אפשר לבטל את הפעולה באופן מסודר? האם המקרה נמצא בתוך מדיניות מתועדת? והאם המידע שלם מספיק למשימה? כשההשפעה משמעותית, הביטול קשה, המקרה חריג או המידע חלש, מעבירים את הפעולה המוצעת לאחראי אנושי מוגדר לפני הביצוע.
הגדירו שלוש רמות פעולה
השתמשו במודל פשוט. במצב סיוע, ה־AI אוסף מידע או מכין המלצה אך אינו משנה את מערכת המקור. במצב אישור לפני פעולה, הוא מכין פעולה מוגדרת והעובד האחראי מאשר, עורך או דוחה אותה. במצב עצמאות מוגבלת, הוא רשאי לבצע פעולות מוגדרות בסיכון נמוך בתוך גבולות מפורשים ולהעביר חריגים לתור עבודה.
לדוגמה, עובד AI יכול לסווג פנייה נכנסת ולהכין תשובה במצב סיוע. הוא יכול לתזמן מעקב שגרתי אחרי אישור. אפשר לשקול תיוג עצמאי של רשומות מלאות או שליחת תזכורת פנימית כשהפעולות הפיכות ומכוסות במדיניות. מעבר בין הרמות צריך להתבסס על ראיות מהעבודה בפועל, ולא על התלהבות מהדגמה מוצלחת.
הגדירו את מדיניות האישורים לפני בניית הממשק
כתבו את הכלל בשפה תפעולית: מי אחראי להחלטה, איזה מידע עליו לראות, אילו ספים מחייבים בדיקה ומה קורה כשהאחראי אינו זמין. כפתור אישור כללי אינו מספיק אם הבודק אינו רואה סיבה, מידע מקור או תיאור של השפעת הפעולה.
מסגרת ניהול סיכוני ה־AI של NIST קוראת לארגונים להגדיר תפקידים ואחריות בשילוב אדם ו־AI, לתעד את השימוש בתוצרים ואת הפיקוח עליהם, ולקבוע תהליכי פיקוח אנושי המתאימים למדיניות הארגון. תרגמו את ההנחיה לתנאי קבלה שהעסק יכול לבדוק: הבודק המתאים רואה את המידע הרלוונטי, מבין את הפעולה המדויקת ויכול לעצור או לשנות אותה לפני ביצועה.
ספקו לבודק הקשר שמאפשר החלטה אמיתית
הציגו את רשומות המקור, הפעולה המוצעת, המדיניות או הכלל החלים עליה ותוצאת האישור. הדגישו מידע חסר או סותר במקום להסתירו מאחורי הסתברות. בודק שצריך לשחזר את כל המקרה במערכת אחרת עלול להאט את התהליך או לאשר בלי בדיקה משמעותית.
מדדו גם את שלב הבדיקה. עקבו אחר תדירות האישור, העריכה, הדחייה וההעברה להמשך טיפול; אחר זמן ההמתנה להחלטות; ואחר סיבות שחוזרות על עצמן. כמות גדולה של אישורים אינה הוכחה לאוטומציה טובה. תיקונים חוזרים עשויים להצביע על הוראה חלשה, נתונים חסרים, מדיניות לא ברורה או משימה שכדאי להשאיר ידנית.
הגבילו את הרשאות הביצוע יותר מהרשאות הקריאה
אפשר לאפשר ל־AI לקרוא כמה רשומות כדי להכין תשובה, ובמקביל להתיר לו לשנות רק שדה אחד, ליצור טיוטה אחת או להפעיל פעולה מאושרת אחת. אכפו את הגבולות בתוכנה שמסביב ובחשבונות השירות. הוראה כתובה שאוסרת החזרים מעל סכום מסוים אינה בקרת גישה בפני עצמה.
הפרידו הרשאות קריאה, הצעה, אישור וביצוע. הגדירו מגבלות סכום ונפח כשהתהליך תומך בכך. דרשו הרשאה עדכנית לפעולות רגישות במקום להסתמך על הרשאה רחבה קודמת. תעדו את הנתונים, הפעולה המוצעת, החלטת הבודק, תוצאת הביצוע וגרסת המדיניות הנדרשים כדי להסביר מה קרה.
תכננו חריגים, התערבות ועצירה לפני ההשקה
לכל מסלול עצמאי דרושה דרך גלויה לטיפול בחריגים. הגדירו מה קורה כשמידע נדרש חסר, מערכות מציגות מידע סותר, פעולה בכלי נכשלת או המקרה נמצא מחוץ למדיניות הנתמכת. לעיתים התגובה הבטוחה היא לשמור את העבודה, לעצור את הפעולה הבאה ולהקצות את המקרה לאדם עם מספיק הקשר להמשך.
המדריך המעשי של NIST ממליץ על ניטור מתמשך, טיפול באירועים, מנגנוני ערעור והתערבות וחלוקת אחריות ברורה. בתהליך עסקי המשמעות היא שאחראי יכול להשהות אוטומציה, לבדוק עבודה ממתינה, לבטל פעולות נתמכות ולהתאושש בלי לחפש ביומנים גולמיים. בדקו את הבקרות באמצעות תרחישי תקלה יזומים לפני הרחבת הסמכות של ה־AI.
הרחיבו עצמאות אחרי בחינה מדידה של העבודה
התחילו בעבודה מייצגת וכללו גם מקרים מורכבים. תעדו את נקודת ההתחלה: זמני טיפול, דפוסי שגיאות ותיקונים, מאמץ הבדיקה וההשפעה העסקית של טעויות. לאחר מכן השוו את התהליך בסיוע AI לפי אותה תוצאה. היעד הוא עבודה שמסתיימת באופן אמין, ולא מספר מרבי של שלבים אוטומטיים.
קבעו בדיקה משותפת של האחראי העסקי והאחראי הטכני. עברו מסיוע לאישור או מאישור לעצמאות מוגבלת רק כשהמדיניות יציבה, החריגים מובנים, הבקרות עובדות והסיכון שנותר מתאים לסבילות הארגון. צמצמו סמכות כשהתהליך, הנתונים, המודל או המערכות המחוברות משתנים באופן משמעותי.
מקורות ראשוניים
ההנחיות למעלה מתארות את הגישה המוצעת של AgenticShip. המקורות הבאים מספקים רקע טכנולוגי להמלצות הרלוונטיות.