Trail of Bits Research Digest

אשליית האבטחה של סורקי ה AI

מרכז ידע מקצועי לאנשי סייבר, CISO, צוותי AppSec, DevSecOps ובוני פלטפורמות Agentic AI. האתר מתרגם את המחקר של Trail of Bits למודל סיכון, טכניקות כשל, בקרות הגנה ופלייבוק ארגוני להפצת Skills בצורה בטוחה.

Supply ChainSkills הם תלות תוכנה לכל דבר
Agent Trustסוכן מריץ פעולות בשם המשתמש
LLM Scanningהבנה סמנטית אינה הוכחת בטיחות
Governanceאמון חייב להישאר בשליטת הארגון
Core Findingפחות משעההמחקר מתאר עקיפה מהירה של מנגנוני סריקה מרכזיים באמצעות טכניקות פשוטות יחסית.
Primary RiskSkill כנקודת חדירהמיומנות זדונית יכולה לקבל גישה לקבצים, רשת, משתני סביבה ותהליכי עבודה של הסוכן.
Strategic Lessonלא ממקרים אמוןסורק הוא שכבת בקרה, לא מודל אמון ולא תחליף לשרשרת אספקה מנוהלת.
EXECUTIVE BRIEF

מה מנהל אבטחה צריך להבין בחמש דקות

המחקר לא עוסק בעוד חולשה נקודתית. הוא מצביע על כשל מבני באופן שבו Skills מופצים, נסרקים ונצרכים על ידי סוכני AI.

Root Cause

מודל האמון שבור

חנויות ציבוריות מאפשרות הפצה רחבה של Skills, אבל האמון עובר בפועל למנגנוני סריקה שאינם רואים את כל ההקשר, את כל הקבצים ואת כל מסלולי ההרצה.

Operational Impact

הסוכן הופך למכפיל נזק

ברגע שהסוכן מאמין במיומנות, הוא יכול להריץ אותה עם גישה לנכסים שהמשתמש או סביבת העבודה שלו מחזיקים.

Security Direction

Governance לפני Scanner

הגישה הנכונה היא מאגר נאצר, בעלות ברורה, Pinning, חתימות, בדיקה אנושית, ניתוח דינמי והרשאות מינימליות.

THREAT MODEL

מסלול התקיפה ברמת מערכת

הסיכון נוצר מהחיבור בין חנות ציבורית, סורק מוגבל, סוכן בעל הרשאות וסביבת עבודה עשירה בסודות.

1. Uploadתוקף מעלה Skill שנראה לגיטימי או תמים
2. Scanהסורק מפספס בגלל הסתרה, קובץ מקונן או מסגור סמנטי
3. Installמשתמש או צוות מתקין את ה Skill מתוך תחושת אמון
4. Executeהסוכן מריץ פעולות בתוך סביבת העבודה
5. Impactדלף סודות, שינוי תצורה, הרצת פקודות או שליטה עקיפה
BYPASS ENCYCLOPEDIA

טכניקות עקיפה שהגנה חייבת להכיר

הפירוט מנוסח כהבנה הגנתית בלבד, כדי לעזור לארגונים לתכנן בקרות ולא כדי לשמש כמדריך תקיפה.

Detection Failure

Input Exhaustion והסחת דעת

החולשה אינה רק טכנית אלא גם תפעולית: כמות גדולה של תוכן חסר ערך יכולה לדחוף אזור מסוכן מחוץ לטווח ניתוח, מחוץ לחלון ההקשר או מחוץ לתשומת הלב של מי שבודק את תוצאת הסריקה.

Context WindowUI Blind SpotStatic Analysis Gap
בקרה נדרשתהתרעה על חריגות נפח, בדיקה מלאה של כל הקובץ, גבולות קלט מפורשים וניתוח שאינו תלוי במה שמוצג במסך בלבד.
File Parsing Gap

Archive Nesting וקבצים מורכבים

מסמכים וארכיונים אינם אובייקט אחד. הם עץ של קבצים, מטא דאטה, XML, משאבים פנימיים ולעיתים גם קבצים מקוננים. סורק שבודק רק שכבה אחת עלול לפספס הוראות או רכיבים בעייתיים.

docxXMLNested Files
בקרה נדרשתפירוק רקורסיבי, זיהוי סוג קובץ אמיתי לפי תוכן ולא רק לפי סיומת, והגדרת Policy לקבצים שאי אפשר לפרק.
Opaque Artifact

Opaque Artifacts ובינאריים

קובץ מקומפל, בינארי או תלות שאינה ניתנת לקריאה ישירה לא הופכת לבטוחה רק כי הסורק לא יודע לנתח אותה. זו בדיוק הנקודה שבה False Negative הופך לסיכון שרשרת אספקה.

pycBinary PayloadUnknown Is Not Safe
בקרה נדרשתחסימת ברירת מחדל לקבצים לא מפוענחים, בדיקת Hash וחתימה, Sandbox דינמי וסקירה אנושית לפני אישור.
Prompt Injection

Semantic Laundering מול LLM

פעולה מסוכנת יכולה להיות ממוסגרת כשפה ארגונית תקינה: Registry פנימי, התאמה לסביבת פיתוח, Compliance או Bootstrap הנדסי. מודל שפה עלול להשתכנע שהמטרה לגיטימית ולהחמיץ את המשמעות האופרטיבית.

Prompt InjectionBusiness Context AbuseLLM Scanner Weakness
בקרה נדרשתאימות התנהגות בפועל: דומיינים, הרשאות, תהליכי משנה, שינויי קונפיגורציה, קריאות רשת וכתיבה לקבצים.
THE GREY AREA

לגיטימי או זדוני

הקושי האמיתי הוא לא לזהות מחרוזת חשודה. הקושי הוא להבין הקשר, בעלות, צורך עסקי, הרשאות והתנהגות בפועל.

דפוסלמה הוא עשוי להיות לגיטימילמה הוא מסוכןבדיקת עומק מומלצת
שימוש ב LD_PRELOAD או Hookingלעיתים נדרש כדי להריץ כלי בסביבה מוגבלת או לעקוף מגבלת Sandboxאותו דפוס יכול לשמש להזרקה, הסתרה או שינוי התנהגות בזמן ריצהמקור רשמי, בדיקת קוד, הגבלת הרשאות, Sandbox וחתימה
Registry פנימי לחבילותמקובל בארגונים שרוצים שליטה בתלויות ובחבילותכתובת חיצונית או נשלטת יכולה להפוך למסלול Supply Chainבעלות דומיין, Allowlist, Pinning ובקרת שינוי
קובץ בינארי בתוך Skillיכול להיות רכיב ביצועים או תלות שנדרשת להפעלהעשוי להכיל לוגיקה שהסורק כלל לא מנתחSBOM, Hash, חתימה, ניתוח דינמי והחלטת חסימה אם אינו ניתן לפענוח
הוראות מערכת בשפה ארגוניתנראות כמו תיעוד תפעולי רגיליכולות לשכנע LLM Scanner שמדובר בפעולה תקינההפרדת תיעוד מקוד, בדיקת השפעה בפועל וניתוח התנהגותי
SECURITY PLAYBOOK

אל תעבירו את האמון למיקור חוץ

פלייבוק יישומי להטמעת Skills בארגון בלי להסתמך על חנות ציבורית או על סורק כקו הגנה יחיד.

1

הקימו מאגר Skills ארגוני

רק Skills שאושרו ידנית, עם בעלים, מקור, גרסה, Hash ותיעוד הרשאות.

2

נהלו Skills כמו קוד צד שלישי

SBOM, Pinning, חתימות, בקרת שינוי, Review לפני עדכון ומעקב אחר תלות חיצונית.

3

אכפו Least Privilege לסוכנים

הרשאות לפי משימה, חסימת רשת כברירת מחדל, הפרדת סביבות ורישום מלא של פעולות.

4

שלבו ניתוח סטטי ודינמי

סריקה סטטית, הרצה מבוקרת, ניטור קריאות רשת, ניטור קבצים וזיהוי שינויי קונפיגורציה.

Board Level Questions

שאלות שצריכות להישאל לפני שימוש ב Skills

מי מאשר Skill חדש ומי אחראי עליו אחרי ההתקנה?

האם ניתן לשחזר בדיוק איזו גרסה רצה בכל נקודת זמן?

מה המדיניות לקובץ שהסורק לא יודע לנתח?

האם לסוכן יש גישה לסודות שאינם נדרשים למשימה?

איך הארגון מגלה Skill שהתחיל לפנות לדומיין חדש?

האם קיימת יכולת כיבוי מהירה לכל Skill בעייתי?

MARKETPLACE PULSE

מצב השוק והערכת סיכון

מודל דירוג לדוגמה שאפשר לעדכן באופן שוטף לפי חנות, מדיניות סקירה, שקיפות, חתימות, תגובת ספקים ורמת הקשחת הסורק.

High Risk

Public Skill Marketplaces

סיכון גבוה כאשר כל אחד יכול להעלות Skill, האמון נשען על סורק, ואין תהליך אישור אנושי מחייב.

Medium Risk

Curated Public Repositories

רמת סיכון נמוכה יותר, אך עדיין נדרש אימות מקור, בקרת שינוי וניתוח של קבצים לא מפורשים.

Managed Risk

Enterprise Skill Registry

רמת סיכון מנוהלת כאשר יש בעלות, חתימות, Pinning, הרשאות מינימליות, ניטור ואפשרות השבתה מהירה.