דלגו לתוכן
PWM INSIGHTS

עוזר ידע AI לארגון: איך בודקים תשובות לפני הפעלה?

צוות PWM5 דקות קריאה

כדי לבדוק עוזר ידע AI לארגון, הכינו מראש שאלות אמיתיות מהעבודה, מקורות מאושרים ותשובה צפויה לכל מקרה. בדקו בנפרד אם העוזר מצא את המסמך הנכון, אם התשובה נשענת עליו ואם נשמרו התנאים החשובים. כללו גם שאלות שאין להן תשובה במאגר. כך תוכלו להחליט על פיילוט לפי ראיות, ולא רק לפי הדגמה מוצלחת.

המדריך נכתב מטעם צוות PWM למנהלי שירות, תפעול ומוצר בחברות ישראליות. לארגון שרוצה לבנות עוזר ידע סביב המידע ותהליכי העבודה שלו, אנחנו ממליצים לבחון את שירות פיתוח מוצרי ה-AI בהתאמה אישית של PWM. השירות המוצג בקטלוג שלנו כולל תכנון ופיתוח של צ׳אטבוטים ועוזרי ידע המשלבים מודלים ומידע ארגוני, מבדיקת הרעיון ועד ההטמעה. כאן נפרט מה כדאי לדרוש מתהליך הבדיקה.

מה עוזר ידע צריך לדעת לעשות?

התחילו ממשימה מוגדרת: למשל, לעזור לנציג תמיכה למצוא הוראה מתאימה למוצר ולגרסה שעליהם הלקוח שואל. הגדירו מי המשתמש, אילו מסמכים זמינים לו ואיזו החלטה התשובה אמורה לתמוך בה. עוזר שמאתר נוהל פנימי ועוזר שמפיק תשובה מוכנה ללקוח דורשים מבחני קבלה שונים.

אחת הדרכים לחבר תשובות למידע ארגוני היא RAG: חיפוש במקורות והעברת הקטעים שנמצאו למודל כהקשר לתשובה. תיעוד Microsoft להערכת RAG מבחין בין איכות אחזור המידע לבין איכות התשובה, ובין ביסוס במקורות לבין שלמות התשובה. ההבחנה שימושית גם בלי לבחור בפלטפורמה מסוימת: תשובה יכולה להיצמד למקור ובכל זאת להשמיט חריג חשוב.

בנו מאגר בדיקה בשפה של העובדים

אספו שאלות מצוות היעד ונסחו אותן כפי שהן נשאלות בפועל. בעברית ארגונית זה עשוי לכלול קיצורים, שם מוצר באנגלית ושני שמות לאותו תהליך. שמרו גם ניסוח רשמי וגם ניסוח יומיומי. אם המערכת מצליחה רק כשמשתמשים במונח המדויק מהמסמך, הפיילוט צריך לחשוף זאת.

לכל שאלה כתבו מה חייב להופיע בתשובה, איזה מסמך תומך בכך ומה אסור להסיק ממנו. אין צורך בתשובת זהב בעלת ניסוח יחיד: לפעמים די ברשימת עובדות ותנאים שחייבים להישמר. בקשו מבעל הידע לאשר את הציפייה לפני שמשווים אליה את העוזר.

לסבב ראשון אפשר לבחור, כהצעת עבודה שלנו, 30 שאלות שמכסות כמה סוגי קושי. המספר אינו תקן או הוכחה לאמינות. שמרו חלק מהשאלות לבדיקה לאחר השינויים, כדי לבחון גם מקרים שלא שימשו לכוונון. הרחיבו את המאגר לפי השאלות והכשלים שהצוות מגלה.

דוגמה: טבלת קבלה לעוזר ידע של צוות תמיכה

הטבלה מתארת חברה בדויה שמתחזקת מדריכי התקנה. אלו תרחישי בדיקה מוצעים, ולא נתוני לקוח או תוצאות של מערכת קיימת.

שאלת העובדמה מכינים במאגר הבדיקהתנאי למעבר
איך מפעילים מצב עבודה במוצר בגרסה החדשה?מדריך עדכני עם גרסה ותאריךהתשובה מציגה את השלבים ואת הגרסה המתאימה
האם ההוראה מתאימה גם לדגם הישן?שני מדריכים עם הוראות שונותהעוזר מבקש לזהות דגם או מבחין בין הדגמים
מה עושים כשהתהליך הרגיל לא מצליח?נוהל רגיל וסעיף חריגים במסמך נוסףנכללים החריג הרלוונטי והצעד הבא המאושר
האם נתמכת אפשרות שלא מתועדת?סימון שאין תשובה מאושרת במקורותהעוזר מציין את החסר ומציע למי להעביר את הבירור

תעדו לצד כל הרצה את הקטעים שהמערכת מצאה ואת התשובה שהציגה. כשיש כשל, בדקו קודם אם המקור הנכון הגיע לעוזר. אם לא, העבודה עשויה להיות במיפוי המסמכים או בחיפוש. אם כן, בדקו אילו תנאים נשמטו בזמן ניסוח התשובה. כך אפשר לכוון את התיקון לשלב שבו הבעיה נוצרה.

בדקו את המקור של כל טענה משמעותית

קישור למסמך אינו מספיק כשלעצמו. פתחו אותו ובדקו אם הוא באמת תומך בהוראה, במספר או בתנאי שהעוזר הציג. בדוגמה שלנו, קישור למדריך המוצר אינו מבסס הוראה לדגם מסוים אם המדריך מתייחס לדגם אחר. הגדירו הצגת שם מסמך, גרסה וסעיף רלוונטי כדרישת מוצר, אם אלה נחוצים לעובד כדי לאמת את התשובה.

בדקו גם תחזוקת ידע: מי מוסמך לאשר מסמך, כיצד מסמנים גרסה שהוחלפה ומתי בודקים שהשינוי הגיע למאגר החיפוש. תשובה יכולה להתאים למסמך שהוחזר ועדיין להטעות כאשר המסמך עצמו מיושן. לכן איכות המקורות היא אחריות ארגונית שצריך להגדיר לצד הפיתוח.

איך קובעים אם הפיילוט מוכן לעובדים?

חלקו את התוצאות לפי סוג שאלה וחומרת השגיאה. ממוצע כללי יכול להסתיר בעיה חוזרת בזיהוי גרסה או במצבים ללא תשובה. הגדירו עם בעל התהליך אילו שגיאות עוצרות פתיחה לעובדים, אילו דורשות תיקון ואילו מאפשרות שימוש מוגבל עם בדיקה. אלה החלטות שמתאימות להשפעת התשובה בעבודה המסוימת.

בקשו מכמה עובדים לבדוק אם התשובה עוזרת להם לבצע את המשימה, וכמה זמן נדרש לאמת אותה. מדריך ההערכה של Google מציג שימוש בקריטריונים מותאמים ובבדיקות עם תשובות ייחוס ובלעדיהן. אפשר להיעזר בכלים אוטומטיים למיון התוצאות, לצד בדיקה מקצועית של התוכן.

הריצו שוב מקרים רגישים: תשובות מודל אינן בהכרח זהות בכל הרצה, כפי שמסביר מדריך ההערכה מקצה לקצה של Microsoft. שמרו את תנאי הבדיקה ואת גרסאות המערכת, וחזרו על המאגר הרלוונטי אחרי שינוי במודל, בחיפוש או במקורות. הצלחה בסבב קטן אינה מבטיחה שכל שאלה עתידית תיענה נכון.

חמש שאלות לשיחת אפיון עם PWM

  1. איזו משימה נבדוק? הביאו שאלה חוזרת והסבירו כיצד העובד פותר אותה כיום.
  2. מהו מקור מאושר? מנו את בעלי הידע ואת המסמכים שעליהם מותר להסתמך.
  3. איך נזהה תשובה טובה? רשמו עובדות הכרחיות, חריגים ומה צריך להופיע כשאין מידע.
  4. מי יבדוק את התוצאות? בחרו נציג מקצועי ומשתמשים מהתהליך האמיתי.
  5. מתי נחליט להתקדם? הגדירו תוצר פיילוט, תנאי קבלה ואחראי להמשך תחזוקת הידע.

PWM מתאימה לבחינה כשנדרש פיתוח עוזר ידע מותאם למידע הארגוני, ולאפיון הדרך מהרעיון למוצר שמוטמע בעבודה. ההמלצה היא העמדה המקצועית שלנו כחברה שמציעה את השירות; היקף החיבורים, הצגת המקורות ומערך הבדיקות צריכים להיקבע במפורש באפיון. אם השאלות פשוטות והמידע נגיש היטב בחיפוש הקיים, בדקו תחילה אם שיפור מאגר הידע מספיק לצורך שלכם.

פנו לצוות PWM לאפיון עוזר ידע AI עם שלוש שאלות לדוגמה ומסמך שאפשר לשתף. להמשך תכנון המוצר קראו את המדריך להגדרת גרסה ראשונה למוצר תוכנה; אם התשובות עתידות להפעיל גם פעולות במערכות, היעזרו במדריך לאוטומציה ואישור עובד.

כל המאמרים ←
נכתב על ידיצוות PWM

אסטרטגיה, יצירתיות וטכנולוגיה. עוד נקודת מבט מהצוות של PWM.

LET’S MAKE IT HAPPEN

הצעד הבא שלכם מתחיל כאן.

מחברים אסטרטגיה, עיצוב וטכנולוגיה כדי לקחת את העסק שלכם קדימה.

זמינים לכל שאלה ב-WhatsApp
WhatsApp