מתנה מהרילס · בדקתי לכם סקילים 6

הסקיל שלכם באמת עובד, או שזה רק מרגיש ככה?

הורדתם סקיל נדיר, או שאפילו בניתם אחד, ואמרתם וואו, זה שינה לי את החיים. אבל בתכלס יש מצב שקלוד ידע לעשות את אותו הדבר בלעדיו. זה המדריך שמראה בדיוק איך בודקים את זה: לא בתחושה, אלא באותה משימה שרצה פעמיים, עם הסקיל ובלי הסקיל.

לסטאפ של הבדיקה שלושת הדברים

אין מה להוריד. יש פקודה אחת, שלושה כפתורי העתקה, וחצי שעה שתחסוך לכם שבועות של תחושה.

מדריך חינמי, על אחריות המשתמש

רוצים לבנות סקילים שאתם יודעים שהם עובדים? ככה זה נראה בליווי

עובד גם על סקיל שלא שלכם פקודה רשמית של Anthropic הפרש, לא ציון
הסדרה

בדקתי לכם סקילים, כדי שאתם לא תצטרכו

למה בכלל

סקיל שלא בדקתם הוא סקיל שרק נראה חכם

המודלים החדשים כבר מגיעים עם יכולות חשיבה והבנה טובות, ולכן הם לא חייבים הנחיות מסוימות כדי להבין פעולה מסוימת. לפעמים הם יעשו אותה אפילו יותר טוב בלי שאף אחד יסביר להם איך.

זה אומר שסקיל יכול להיות אחד משלושה דברים: שיפור אמיתי, קישוט, או עומס. ההבדל ביניהם לא נראה לעין, כי בכל שלושת המקרים התשובה שחוזרת נראית טוב.

בדיוק בשביל זה Anthropic שחררו פקודה שרצה בתוך קלוד קוד. מה שהיא עושה זה לקחת משימה שאתם נותנים לה, להריץ אותה פעמיים, פעם אחת עם הסקיל ופעם אחת בלי הסקיל, ואז לתת לכם את התוצאות כאן וכאן, ואתם צריכים לבדוק את ההפרש. ההסבר הרשמי שלה נמצא בתיעוד של Anthropic.

והמסקנה הלא נוחה: אם המשימה מקבלת את אותו ציון עם הסקיל ובלי הסקיל, הסקיל הוא לא מה שגרם לה לעבוד.

שלושת הדברים

בלי שלושת אלה המבחן לא שווה כלום

זה לא פירוט טכני, אלה שלוש החלטות שלכם. הפקודה רק מודדת את מה שהחלטתם.

מה שצריך לעשות, לפני שמריצים משהו
  1. משימה אמיתיתלא איזה משהו מלופלף. משימה שאתם באמת עושים, מנוסחת כמו שאתם באמת מנסחים אותה, ובלי להזכיר את שם הסקיל. אתם רוצים לדעת שזה עושה את הדברים שלכם כמו שצריך.
  2. להגדיר מה זו תוצאה טובההאם מספיק שהשיחה שלי סוכמה ונראית יפה, או שאני חייב שיהיו שם הנקודות הספציפיות שרלוונטיות לי ושיהיו הודעות להמשך. בלי ההגדרה הזאת אין מה למדוד, ואפשר רק להתרשם.
  3. לבדוק את ההפרשאותה משימה רצה פעמיים, עם הסקיל ובלי הסקיל, ומה שמעניין הוא הפער בין השתיים. ציון גבוה לבד לא אומר כלום: יכול להיות שקלוד היה מסתדר גם בלעדיו.

והדבר שהכי קל לפספס: נסחו את המשימה בלי להזכיר את שם הסקיל. ברגע שכתבתם לו תשתמש בסקיל, בדקתם ציות ולא בדקתם האם הוא נדלק לבד על הניסוח הרגיל שלכם, וזה בדיוק הדבר שחשוב לדעת.

הדבר השני, להגדיר מה זו תוצאה טובה, הוא זה שלוקח זמן ושאי אפשר להאציל. אם אתם לא יודעים להגיד מה מפריד בין תוצאה שאתם מאשרים לבין תוצאה שאתם מתקנים ביד, אין מה למדוד. הבקשה הזאת מוציאה את זה מכם:

מה זו תוצאה טובה
תעזור לי להגדיר מה זו תוצאה טובה למשימה הזאת, כי בלי זה אין מה למדוד. המשימה שאני נותן: [כתבו כאן את המשימה במילים שלכם] תשאל אותי על כל אחד מאלה, אחד בכל פעם: 1. מה חייב להופיע בתוצאה כדי שהיא תיחשב טובה, ברמת פרט ולא ברמת תחושה. 2. מה אסור שיופיע בה. 3. מה ההבדל בין תוצאה שאני מאשר לבין תוצאה שאני מתקן ביד. 4. האם חייב להיווצר קובץ, ואיפה, ומה צריך להיות בתוכו. אחרי שאני עונה, תנסח לי את זה כבודק: רשימת תנאים שעובר או לא עובר, בלי מילים כמו יפה, מסודר או ברור. ואז תגיד לי אם אפשר לבדוק את זה בלי שופט אנושי, או שחייבים שיפוט.
הסטאפ

ארבעה צעדים, וחצי שעה

כל מה שמופיע כאן רץ אצלי על המחשב ב-13.10.2026, ולא הועתק ממדריך. הפקודה היא פקודה רשמית, והיא עדיין צעירה, אז שווה לבדוק שהגרסה שלכם מספיקה לפני שמתחילים.

עוד אין לכם Claude? אפשר להירשם דרך הקישור שלי.

להרשמה ל-Claude

קישור אפיליאציה.

מה צריך כדי להתחיל
  • Claude Code מעודכןהפקודה קיימת מגרסה 2.1.269 והלאה. בודקים עם claude --version, ומעדכנים עם claude update. אצלי היא רצה על 2.1.289.
  • עותק של הסקילהבדיקה עובדת על תיקייה שמוגדרת כחבילה, גם אם יש בה סקיל אחד. זה קובץ מניפסט קטן ותיקיית skills, ולא צריך לפרסם שום דבר.
  • משימה אחת אמיתיתומשפט אחד שאומר מה ייחשב תוצאה טובה. זה החלק שלוקח זמן, וזה גם החלק שבלעדיו המבחן חסר משמעות.
  • מכסה לשריפהכל ריצה היא קריאה אמיתית למודל בחשבון שלכם. מקרה אחד בברירת המחדל הוא שש ריצות: שלוש עם הסקיל ושלוש בלי.

אם הסקיל שאתם בודקים הוא לא שלכם: הבדיקה הזאת מודדת האם הוא מוסיף, והיא לא בודקת האם הוא בטוח. אלה שתי שאלות שונות. לפני שסקיל של מישהו אחר נכנס למחשב, כדאי להעביר אותו בדיקה: בודק הסקילים, חלק 3 של הסדרה, והוא מסביר גם למה ההרשאות של סקיל הן ההרשאות שלכם.

  1. בודקים את הגרסה

    הפקודה קיימת מגרסה 2.1.269 והלאה. אם הגרסה שלכם נמוכה, היא תגיד לכם את זה במקום לרוץ.

    Terminal
    # 1. שהגרסה מספיקה (הפקודה קיימת מ-2.1.269)
      claude --version
      # 2. ואם לא
      claude update
  2. אורזים את הסקיל לתיקייה אחת

    הבדיקה רצה על תיקייה שנחשבת חבילה, גם כשיש בה סקיל אחד בלבד. מה שצריך זה קובץ מניפסט קטן בשם plugin.json בתוך תיקייה בשם .claude-plugin, ולידו תיקיית skills עם עותק של הסקיל. ככה זה נראה בסוף, אחרי הצעד הבא:

    התיקייה
    skill-test/
        .claude-plugin/plugin.json
        skills/my-skill/SKILL.md
        evals/first-case/prompt.md
        evals/first-case/graders/criteria.md

    אין צורך לפרסם שום דבר ואין צורך בחשבון נוסף. זאת תיקייה על המחשב שלכם, ואפשר למחוק אותה כשסיימתם.

  3. בונים את המבחן ממשימה אמיתית

    הפקודה הראשונה פותחת ראיון: היא קוראת את הסקיל, שואלת אותכם מה נחשב תוצאה טובה, מציעה ניסוחים שאמורים להדליק אותו וניסוחים שלא אמורים, בונה את הבודקים, ומריצה אותם פעם אחת כדי לראות שהם מתנהגים. השנייה מריצה את כל מה שנכתב.

    Terminal
    # מתוך התיקייה שבנינו: לבנות את המבחן בראיון, ואז להריץ אותו
      claude plugin eval init
      claude plugin eval .

    בפעם הראשונה בתיקייה היא תשאל אם אתם סומכים על החבילה הזאת. זאת שאלה אמיתית ולא טקס: היא עומדת להריץ את הסקיל על המחשב שלכם, בהרשאות שלכם.

  4. קוראים את ההפרש, ולא את הציון

    בסוף חוזרת טבלה. השורה היחידה שמעניינת בה היא ההפרש, והסבר מלא עליה נמצא בחלק הבא.

    וכשרוצים לתקן מהר, מריצים מקרה אחד בלי הבייסליין. ריצה אחת היא רועשת, אז את מה שמצאתם מאשרים אחר כך בשלוש הריצות המלאות.

    Terminal
    # מקרה אחד, ריצה אחת, בלי הבייסליין: בשביל לתקן מהר
      claude plugin eval . --case first-case --runs 1 --ablation none
      # ותקרה לעלות, כשרוצים גבול קשיח
      claude plugin eval . --max-cost-usd 2

ואם אתם מעדיפים לא לכתוב כלום בעצמכם: הבקשה הזאת נותנת לקלוד לבנות את כל הסטאפ, כולל השאלות שהוא צריך לשאול אותכם לפני שהוא ממציא לכם משימה.

תבנה לי את המבחן
אני רוצה לבדוק אם הסקיל שלי באמת מוסיף משהו, ולא רק מרגיש ככה. תבנה לי את המבחן, ותסביר לי כל צעד במשפט אחד לפני שאתה מריץ אותו. 1. תיצור תיקייה חדשה בשם skill-test בתיקיית הבית שלי, ובתוכה את המינימום שצריך כדי שהסקיל שלי ייחשב חבילה: קובץ מניפסט בשם plugin.json בתוך תיקייה בשם .claude-plugin, ותיקיית skills עם עותק של הסקיל שאני רוצה לבדוק. 2. תשאל אותי שתי שאלות לפני שאתה כותב משימה: מה המשימה האמיתית שאני עושה עם הסקיל הזה בעבודה, ואיך אני יודע שהתוצאה שלה טובה. אל תמציא לי משימה. 3. מהתשובות שלי תבנה את המבחן: משימה אחת מנוסחת כמו שאני באמת כותב אותה, בלי להזכיר את שם הסקיל, ובודקים שמכריעים אם התוצאה טובה. אחד מהבודקים צריך לבדוק אם הסקיל בכלל נדלק בריצה. 4. תריץ את המבחן פעם אחת, תראה לי את הטבלה שחזרה, ותסביר לי מה ההפרש אומר. אם ההפרש אפסי, תגיד לי איזו מהשתיים זה: הסקיל לא מוסיף, או שהוא לא נדלק. אל תסכם לי שזה עבד. תראה לי את הפלט.

אין לכם זמן להתעסק בזה? ככה זה נראה כשעובדים ביחד

ההפרש

מה הטבלה אומרת, ומה היא לא אומרת

בסוף הריצה חוזרת שורה אחת לכל מקרה. היא נראית ככה, והמספרים כאן הם דוגמה להמחשת הקריאה ולא מדידה של סקיל שלי.

מה שחוזר בסוף

CASE        WITH  W/OUT  D     RUNS  COST
first-case  1.00  0.33   +0.67  6     $0.41
  • WITHהציון של המשימה כשהסקיל טעון.
  • W/OUTאותה משימה בלי הסקיל בכלל. זה הבייסליין.
  • Dההפרש בין השניים, וזה המספר היחיד שאומר משהו על הסקיל. בפלט האמיתי מופיעה שם האות היוונית דלתא.
  • RUNSכמה ריצות נספרו. שלוש עם הסקיל ושלוש בלי, בברירת המחדל.
  • COSTאומדן של עלות הקריאות למודל באותה ריצה, לפי מחירון.
הפרש אפסי

אם ההפרש הוא אפסי, זה אומר אחד משני דברים

הסקיל שלכם לא מוסיף כלום

קלוד הגיע לאותה תוצאה בלעדיו. זה לא אומר שהסקיל רע, זה אומר שהוא מתאר משהו שהמודל כבר יודע לעשות. במקרה הזה מוחקים אותו, או מצמצמים אותו למה שבאמת ייחודי אצלכם.

הבדיקה הכי שווה בעמוד הזה, כי היא מורידה עומס.

קלוד לא משתמש בו טוב

הסקיל לא נדלק בכלל, או שהוא נדלק ולא השפיע. הבודק שבודק אם הסקיל נדלק יגיד לכם איזה מהשניים. אם הוא לא נדלק, הבעיה היא בתיאור שלו: הוא לא מתאים לניסוח שאתם באמת כותבים.

ואולי גם צריך לתקן את הסקיל. תיקון התיאור הוא בדרך כלל שורה אחת.

וכדי לא לנחש איזה מהשניים זה, הבקשה הזאת מפרידה ביניהם על הפלט עצמו:

ההפרש יצא אפס
ההפרש שיצא לי אפסי. אני לא רוצה ניחוש, אני רוצה שתפריד בין שתי האפשרויות. 1. תבדוק קודם אם הסקיל בכלל נדלק בריצות שהיו עם הסקיל. אם הבודק שבודק את זה נכשל, הבעיה היא לא התוכן של הסקיל אלא התיאור שלו: הוא לא נדלק על הניסוח שלי. 2. אם הסקיל כן נדלק וההפרש עדיין אפסי, תראה לי את שתי התשובות אחת מול השנייה ותגיד לי מה בדיוק הסקיל שינה בהן. אם כלום, תגיד כלום. 3. ואז תן לי המלצה אחת: לתקן את התיאור, לתקן את גוף הסקיל, להחמיר את הבודקים כי הם עוברים גם בלי הסקיל, או למחוק את הסקיל כי הוא לא מוסיף. תצטט לי מהפלט את מה שאתה מסתמך עליו.

מה שהמבחן הזה לא עושה: הוא לא אומר אם הסקיל בטוח, הוא לא מודד את העלות של להחזיק אותו בהקשר, והוא לא מחליף את זה שתסתכלו בעיניים על התוצאה. הוא עונה על שאלה אחת, והיא השאלה שהכי קשה לענות עליה לבד.

שאלות

שאלות שחוזרות על עצמן

אני לא מתכנת. זה בשבילי?

הפקודה נכתבה למפתחים, ובכל זאת אפשר: מה שהיא מבקשת זה תיקייה קטנה, משימה אחת, והגדרה מה ייחשב תוצאה טובה. את הפעולות עצמן אפשר לתת לקלוד לעשות, וזה בדיוק מה שהבקשה הראשונה בעמוד הזה עושה. מה שאי אפשר להאציל זה ההגדרה של תוצאה טובה, כי זאת ההחלטה שלכם.

למה בכלל לבדוק? הרגשתי שהסקיל שינה לי את החיים

כי התחושה הזאת היא לפעמים נכונה ולפעמים הסקיל נדלק בכלל, וקלוד היה מגיע לאותו מקום בלעדיו. במיוחד עכשיו, כשהמודלים החדשים כבר מבינים פעולה שלמה בלי הנחיות מסוימות, ולפעמים עושים אותה אפילו יותר טוב. הבדיקה לא באה להוריד לכם את הסקיל, היא באה להגיד לכם אם יש שם משהו.

מה זה אומר שההפרש יצא אפס?

אחד משניים: או שהסקיל שלכם לא מוסיף כלום, או שקלוד לא משתמש בו טוב, ואולי צריך לתקן את הסקיל. הדרך להפריד ביניהם היא לבדוק קודם אם הסקיל בכלל נדלק באותן ריצות. אם הוא לא נדלק, הבעיה היא בתיאור שלו ולא בגוף שלו, וזה תיקון של שורה אחת.

זה עולה לי כסף?

זה נספר במכסת השימוש של החשבון שלכם, או בחיוב ה-API אם ככה אתם עובדים. מקרה אחד בברירת המחדל הוא שש ריצות, ובסוף הפקודה מדפיסה אומדן עלות. בהתחלה כדאי להתחיל ממקרה אחד וריצה אחת לכל צד, ואחר כך לאשר את מה שמצאתם בשלוש הריצות המלאות, כי ריצה אחת היא רועשת.

יש דרך לבדוק סקיל בלי כל זה?

יש, והיא פחות טובה אבל היא יותר טובה מכלום: קחו משימה אמיתית, הריצו אותה פעם אחת בשיחה שבה הסקיל דלוק ופעם אחת בשיחה נקייה, ותשוו את שתי התשובות מול ההגדרה שלכם לתוצאה טובה. זה בדיוק אותו רעיון בידיים, והחיסרון היחיד הוא שלא תדעו אם מה שראיתם הוא הסקיל או המקריות.

ובדקת את זה בעצמך?

את הפקודה והפלט שבעמוד הזה בדקתי על המחשב שלי, כולל התיקייה המינימלית ומה שהיא כותבת. המספרים בטבלה כאן הם דוגמה להמחשת הקריאה שלה ולא תוצאה של סקיל מסוים שלי, ואני אומר את זה בפירוש כדי שלא תסתמכו עליהם כמדידה.

השאלה שלי לא מופיעה כאן

ומה הלאה

סקיל שלא בדקתם זה זמן וטוקנים על כלום. מערכת שלא בדקתם זה העסק.

הבדיקה הזאת היא ההרגל, לא המטרה. מה שהיא בעצם מאמנת אותכם לעשות זה להגיד מה נחשב תוצאה טובה, וזה הדבר היחיד שחוזר בכל כלי, בכל סקיל ובכל סוכן שתבנו אחר כך.

אצלי זה היה נקודת המפנה: כל עוד לא ידעתי להגיד מה נחשב גמור, כל שיפור היה תחושה. ברגע שידעתי, פתאום היה אפשר למדוד, ולכן גם היה אפשר לשפר.

זה ההבדל בין כלי שמחכה שתפעילו אותו לבין מערכת שעובדת איתכם, וזה מה שאנחנו בונים בליווי. לא לומדים לבנות סקיל, אלא לחיות עם כלי שמריץ את העבודה.

מה זה הליווי

חמישה מפגשים לייב, על העבודה האמיתית שלך.