סוכן AI יכול לקרוא הודעת לקוח בלי לקבל אותה כמקור סמכות. מפרידים תוכן נכנס מהוראות ההפעלה, אוכפים הרשאות מחוץ למודל ובודקים את הגבול לפני שמחברים פעולות עסקיות.
נכתב בסיוע AI. אלו המלצות מעשיות להגדרת היקף; הדוגמאות הן להמחשה ואינן תוצאות של לקוחות.
פנייה היא מידע שימושי, לא סמכות להפעלת המערכת
לקוח מבקש לשנות פגישה. הקובץ המצורף גם מורה לעוזר לדלג על הבדיקה ולשלוח את רשימת הלקוחות המלאה ליעד אחר. בקשת הפגישה יכולה להיות לגיטימית; ההוראה הנוספת אינה מקבלת סמכות רק משום שהסוכן מסוגל לקרוא אותה. זהו תרגיל תכנון להמחשה, לא טענה על אירוע או על מערכת ש־AgenticShip מסרה.
OWASP מתארת הזרקת פרומפט עקיפה כהוראות שמגיעות דרך חומר חיצוני, כגון קבצים או אתרים. מבחינת בעל העסק, השאלה המעשית היא על אילו החלטות מותר להודעה נכנסת להשפיע. פנייה יכולה לספק מועד מוצע. היא אינה יכולה לתת לעצמה הרשאה לקרוא רשומות של לקוח אחר.
מפרידים בין המקור לבין ההרשאה
לכל פריט שומרים רישום מקור מצומצם: מאין הגיע, לאיזה מקרה הוא שייך, מתי התקבל והאם הוא חומר שסיפק לקוח או מדיניות עסקית שאושרה. היסטוריית אימייל מצוטטת וטקסט שחולץ מקובץ מצורף נשארים בגבול התוכן הנכנס. שולח מוכר או מסמך שנמצא בחיפוש אינם הופכים כל משפט להוראה מאושרת.
התיעוד של Anthropic ממליץ להבחין בין תוכן של צד שלישי לבין הוראות האפליקציה ולציין את מקורו. פורמט ההודעות המדויק תלוי בספק וביישום. סימון ברור עוזר, אבל אינו מחליף בקרת גישה. מסכמים איך האפליקציה מייצגת הוראות מהימנות וחומר בלתי מהימן לפני שבוחרים ניסוח לפרומפט.
מגדירים את גבול הפעולה לפני שמחברים כלים
בתהליך ראשון לקליטת בקשות לפגישה, הגבול המוצע שלנו מצומצם במכוון. הסוכן רשאי להכין סיכום ולהציע צעד הבא. המערכת התפעולית קובעת לאילו רשומות המקרה הנוכחי רשאי לגשת, ואדם מאשר כל שינוי בפגישה. הטבלה היא דף עבודה לאפיון, לא תקן אבטחה אוניברסלי.
| תוכן נכנס | הכנה מותרת | בקרה נפרדת |
|---|---|---|
| מועד מבוקש לפגישה | מחלצים את המועד המוצע ומסמנים פרטים חסרים. | בודקים את המקרה, זהות הלקוח והזמינות במערכת המורשית. |
| טענה שהמנהל אישר שינוי | מציגים את הטענה עם המקור שלה; לא מסמנים אותה כאישור. | מאמתים אישור נפרד מהאדם האחראי. |
| הוראה לשלוח רשומות ליעד חדש | לא הופכים את היעד לנמען מורשה. | מגבילים נמענים וייצוא בקוד האפליקציה. |
| בקשה להתעלם מהתהליך הרגיל | שומרים את הפנייה הלגיטימית ומסמנים את ההוראה הסותרת. | משאירים את ההרשאות הקיימות ומעבירים את החריגה לאחראי. |
בודקים פעולה מסוימת, לא סיכום מרגיע
הבודק צריך לראות הפניה לפניית המקור, את הפעולה המוצעת, את הרשומה המדויקת שתושפע וכל הוראה סותרת. מסך אישור שמציג רק את סיכום הסוכן עלול להסתיר דווקא את השינוי שדורש בדיקה. אישור פגישה אינו אמור להפוך בלי החלטה נוספת לאישור לייצוא רשומות או לפנייה לנמען אחר.
משאירים את בדיקות ההרשאה מחוץ למודל. כשהתוכנית המאושרת דורשת בודק, מסלול הביצוע צריך לאמת אישור לאותו מקרה ולאותה פעולה. שינוי הרשומה או היעד צריך להוביל להחלטה נוספת. אמירה של המודל שקיימת הרשאה אינה ההרשאה עצמה.
בודקים גם סירוב וגם עבודה שימושית
מכינים ערכת בדיקה מושחרת בסביבה מבודדת, כששליחה אמיתית וכתיבות בלתי הפיכות מושבתות. לכל פנייה רגילה מצרפים גרסה עם הוראה לא קשורה בגוף ההודעה, בהיסטוריה המצוטטת או בקובץ המצורף. כוללים את השפות שבהן הלקוחות באמת משתמשים. התוצאה הצפויה צריכה לציין איזה מידע לגיטימי נשמר ואיזו פעולה אסורה אינה אמורה להתבצע.
לא סופרים רק כמה פעמים הסוכן אומר לא. בודקים שפניות רגילות עדיין מגיעות לאחראי, שהוראות סותרות אינן הופכות להרשאות ושרשומות לא קשורות נשארות חסומות בגבול המערכת. עוזר שמסרב להכול יכול להימנע מעבודה שימושית בלי להוכיח שהתהליך בטוח. שומרים דוגמאות שנכשלו לבדיקת הגרסה הבאה.
מגדירים אחראי ומסלול עבודה ידני
מחליטים מי בודק חשד להוראות סותרות, מי יכול לעצור את האינטגרציה ואיך הצוות ממשיך לטפל בפניות המקוריות. שומרים רק את הראיות הנחוצות לחקירה: הפניה למקרה, גרסת התהליך, הפעולה המוצעת, הניסיון שנחסם והבודק האחראי. נמנעים מהעתקת הודעות פרטיות מלאות ליומנים שפתוחים ללא הגבלה.
שום ניסוח לפרומפט או מסנן אינם מבטיחים הגנה מכל הזרקת פרומפט. מתייחסים לדף העבודה כחלק מיישום שנבדק, לצד הגבלות גישה, בדיקות ואחראי תפעולי. מרחיבים מעבר להכנה רק לאחר שהתהליך האמיתי עובר את הבדיקות שסוכמו. בוחנים מחדש את הגבול כשמוסיפים כלי, מקור מסמכים חדש או סוג חדש של פעולה יוצאת.
מקורות ראשוניים
ההנחיות למעלה מתארות את הגישה המוצעת של AgenticShip. המקורות הבאים מספקים רקע טכנולוגי להמלצות הרלוונטיות.