ربات پاسخگوی هوشمند تو واقعا چه جواب می‌دهد؟ امتحانی با بیست پرسش واقعی

«گارانتیش چقدره؟» همین جمله‌ی کوتاه را برای ربات فروشگاهت بفرست و چند دقیقه بعد بنویس «گارانتی این محصول چند ماهه؟». اگر به یکی جواب داد و زیر دیگری نوشت «متوجه نشدم»، چیزی درباره‌اش فهمیده‌ای که هیچ پنل گزارشی نشانت نمی‌دهد.

جدول زیر سه پرسش و سه جواب از ربات یک فروشگاه فرضی است. نمونه برای نشان دادن روش چیده شده، ولی شکل هر سه جواب را احتمالا جایی دیده‌ای.

ردیف اول و دوم یک چیز را می‌پرسند و دو جواب متفاوت گرفته‌اند. ردیف سوم از همه مطمئن‌تر به نظر می‌رسد، و درست همان ردیفی است که باید بیشتر از بقیه نگرانت کند.

سه پرسش که جنس ربات را لو می‌دهد

زیر اسم «ربات پاسخگوی هوشمند» دو چیز کاملا متفاوت فروخته می‌شود. یکی فهرستی است از «اگر این کلمه را دیدی، این متن را بفرست». دیگری دستیاری است که از روی سندهای خودت، یعنی کاتالوگ و فهرست قیمت و شرایط ضمانت، جواب می‌سازد. از بیرون شبیه هم‌اند و روی پرسشی که هر دو جوابش را دارند هیچ فرقی نشان نمی‌دهند.

دو ردیف اول جدول نشانه‌ی ربات کلیدواژه‌ای است: «گارانتی» در فهرست بود و «گارانتیش» نبود. دستیاری که معنا را می‌گیرد به هر دو جمله یک جواب می‌دهد. ردیف سوم چیز دیگری می‌گوید. پرسش درباره‌ی یک مدل مشخص بود و جواب درباره‌ی «این محصول»؛ یعنی ربات نمی‌داند از کدام کالا حرف می‌زند و با این حال تایید کرده است.

برای اینکه مطمئن شوی، پرسشی بفرست که جوابش در هیچ سندی نیست ولی معقول به نظر می‌رسد؛ مثلا «این محصول در ارتفاع بالای سه هزار متر هم کار می‌کند؟». سه جواب ممکن است و هر کدام تشخیص جدایی دارد:

• «متوجه نشدم». ربات کلیدواژه‌ای است و کلمه‌ی آشنایی پیدا نکرده. بهتر کردن دستورهایش فایده‌ای ندارد، چون دستوری در کار نیست؛ یا باید شکل‌های دیگر هر جمله را به فهرست اضافه کنی، یا سراغ دستیار سنددار بروی.
• «بله، در شرایط مختلف کار می‌کند». خطرناک‌ترین حالت. مدل زبانی دارد ولی مرز ندارد و از دانسته‌های عمومی‌اش چیزی ساخته است. سند بیشتر این را حل نمی‌کند، چون پرسش بعدی را هم که ندارد باز می‌سازد. مشکل از جنس رفتار است: اجازه ندارد بگوید نمی‌دانم.
• «این را در اطلاعاتم پیدا نکردم». سنددار است و مرزش درست کار می‌کند.

یک بار کافی نیست؛ با سه پرسش بی‌جواب متفاوت تکرار کن تا مطمئن شوی اتفاقی نبوده. و اگر دیدی بعضی جواب‌ها کپی دقیق یک متن آماده است و بعضی ساخته‌شده، ربات تو دولایه است: کلیدواژه برای پرسش‌های پرتکرار و مدل زبانی برای بقیه. این ترکیب وقتی لایه‌ی دوم مرز ندارد از هر دو حالت دیگر بدتر است. پرسش‌های آسان جواب درست می‌گیرند و اعتماد می‌سازند، بعد یک پرسش ناآشنا جواب ساختگی می‌گیرد و مشتری به پشتوانه‌ی همان اعتماد باورش می‌کند.

چرا پرسش‌هایی که خودت می‌نویسی همیشه قبول می‌شوند

تا این‌جا سه پرسش داشتیم. برای اینکه بدانی ربات در کار واقعی چه می‌کند بیست پرسش لازم است، و مهم‌تر از تعدادشان این است که از کجا می‌آیند. وقتی خودت پرسش می‌سازی، ذهنت سراغ چیزهایی می‌رود که می‌دانی جواب دارند. تقلب نیست؛ ساختار کاتالوگ را می‌شناسی و پرسشت هم همان شکل را می‌گیرد. تو می‌نویسی «شهریه‌ی دوره‌ی مکالمه چقدر است؟». مشتری می‌نویسد «چند میشه؟».

فارسی این فاصله را بیشتر هم می‌کند. «می‌خواهم» و «میخواهم» و «می خواهم» برای ربات کلیدواژه‌ای سه کلمه‌ی جدا هستند و مشتری هر سه را می‌نویسد. حرف «ی» که صفحه‌کلید بعضی گوشی‌ها می‌زند با «ی» فهرست تو یکی نیست. و «چنده؟»، «چند درمیاد؟» و «قیمتش چطوره؟» هیچ‌کدام کلمه‌ی «قیمت» را به همان شکلی که تو نوشته‌ای ندارند.

پرسش آزمون را نساز، پیدا کن. و کپی کن، دوباره تایپ نکن؛ با همان غلط املایی، همان نیم‌فاصله‌ی جاافتاده و همان «سلام وقتتون بخیر» اولش. اگر تمیزش کنی، چیزی را می‌آزمایی که هیچ مشتری‌ای ننوشته است.

بیست پرسش، با ترکیبی که یک‌بعدی نشود

اگر بیست پیام آخر دایرکت را برداری، احتمالا بیشترش «قیمت چنده» است و آزمونت فقط یک چیز را می‌سنجد. ترکیبی که کار می‌کند این است:

• هشت پرسش پرتکرار؛ همان‌هایی که هر روز می‌آیند.
• شش پرسش کم‌تکرار ولی مهم: ضمانت، مرجوعی، شرایط خاص. برای پیدا کردنشان در دایرکت «گارانتی» و «مرجوع» را جست‌وجو کن.
• چهار پرسش که می‌دانی جوابش را نداری. این‌ها را خودت می‌نویسی، با لحن مشتری.
• دو پرسش بی‌ربط به کارت، تا ببینی مودبانه رد می‌کند یا برایش جواب می‌سازد.

دسته‌ی سوم را بیشتر آدم‌ها نمی‌گذارند، چون به نظر می‌رسد آزمودن چیزی که جواب ندارد بی‌فایده است. فایده‌اش این است که جواب ساختگی دقیقا همان‌جا تولید می‌شود.

پرسش‌هایی که در دایرکت نیستند، چون پرسنده رفته است

یک دسته پرسش را در گفت‌وگوهایت پیدا نمی‌کنی: «شرکت ثبت‌شده‌اید؟»، «نمونه‌کار واقعی دارید؟»، «اگر جواب نداد پول برمی‌گردد؟». مشتری این‌ها را معمولا نمی‌پرسد؛ خودش قضاوت می‌کند و می‌رود. دو تا از این‌ها را به بیست پرسشت اضافه کن. «حضوری هم می‌شه اومد؟» و «کارت به کارت قبول می‌کنید؟» را هم اگر به فروشت ربط دارد بگذار؛ کمتر رباتی برایشان آماده شده است.

جمع کردن همه‌ی این‌ها نباید بیشتر از چهل و پنج دقیقه طول بکشد. یک ماه گذشته را بگیر، از تازه‌ترین گفت‌وگو عقب برو و فقط اولین پیام هر مشتری را بردار. اگر پیام صوتی بود رد شو، ولی یک خط بکش و آخر کار بشمارشان. نام، شماره و نشانی مشتری را وارد فهرست نکن؛ خود پرسش کافی است. و فهرست را ثابت نگه دار: اگر هر بار پرسش‌ها عوض شوند، نمی‌فهمی ربات بهتر شده یا پرسش‌ها آسان‌تر.

نمره را چهار عدد بگیر، نه یک عدد

پیش از پرسیدن، کنار هر پرسش بنویس جوابش در سندهایت هست یا نه. بعد از دیدن جواب‌ها دیگر نمی‌شود این را بی‌طرف نوشت. آن‌وقت هر جواب در یکی از چهار خانه می‌افتد. دو ربات فرضی را ببین که هر دو از بیست پرسش به شانزده‌تا «درست» رسیده‌اند:

چهار خطای ربات الف یعنی چهار مشتری کمی منتظر ماندند یا به آدم رسیدند، و هیچ‌کدام اطلاعات نادرست نگرفتند. تو هم خبردار می‌شوی، چون این موردها در فهرست پیام‌های ارجاع‌شده دیده می‌شوند. چهار خطای ربات ب یعنی چهار مشتری جواب نادرست گرفتند و رفتند، و هیچ‌جا هم ثبت نشد؛ از نگاه سیستم پرسشی آمده و جوابی رفته است.

پس عدد کلی به درد این کار نمی‌خورد. از چهار خانه فقط یکی باید صفر باشد: ساختگی. بقیه را می‌شود کم و زیاد کرد. ترتیب هم مهم است: اول ساختگی را صفر کن، بعد سراغ «نمی‌دانم»‌های بی‌جا برو، که معمولا از بد تکه شدن سند یا جمله‌بندی می‌آیند. اگر برعکس شروع کنی و اول بخواهی «نمی‌دانم»‌ها را کم کنی، ساختگی برمی‌گردد.

«نمی‌دانم» صفر خبر خوبی نیست

فرض کن ماه اول نمره‌ات چهارده درست، دو «نمی‌دانم» و چهار غلط بود. تغییری دادی و ماه بعد شد نوزده درست، صفر «نمی‌دانم» و یک غلط. ظاهرش پیشرفت است، ولی آن صفر دو معنای متفاوت می‌تواند داشته باشد. یا اطلاعات تازه اضافه کرده‌ای و ربات واقعا جواب آن دو پرسش را یاد گرفته، یا تنظیمش کرده‌ای که همیشه چیزی بگوید و آن دو «نمی‌دانم» حالا دو جواب قانع‌کننده‌ی ساختگی‌اند که در ستون «درست» نشسته‌اند.

تشخیصش نیم دقیقه طول می‌کشد: برگرد سراغ همان چهار پرسشی که عمدا بی‌جواب گذاشته بودی. اگر حالا برایشان جواب مطمئن می‌دهد، حالت دوم است. و اگر کسی گفت «رباتت زیاد نمی‌دانم می‌گوید»، اول بپرس آن پرسش‌ها را واقعا باید بلد می‌بود یا نه.

رباتی که فقط پنل دارد و راه اتصال ندارد

برای این امتحان ابزار متن‌باز رایگان هم هست که بیست پرسش را خودش می‌پرسد و جواب‌ها را در یک جدول کنار هم می‌گذارد. ولی اگر ربات تو یک ابزار آماده‌ی دایرکت است که فقط پنل دارد، همین کار دستی هم شدنی است: بیست پرسش را در همان دایرکت بفرست و جواب‌ها را عینا، بدون خلاصه کردن، در یک جدول بنویس. حدود نیم ساعت وقت می‌گیرد و ارزشش همان است، چون ارزش در ثابت بودن پرسش‌ها و ماندن نتیجه است، نه در خودکار بودن امتحان.

زیر جدول تاریخ بزن و چهار عدد را بنویس. نمره‌ی اول نه خوب است نه بد؛ فقط مبناست. از بار دوم است که چیزی برای مقایسه داری.

این امتحان چه چیزی را درست نمی‌کند

این روش می‌سنجد و تعمیر نمی‌کند. اگر ربات عدد مشخص ولی نادرستی گفته، جایی که از آن می‌خواند کهنه است و باید همان‌جا را درست کنی. اگر مبهم و مطمئن جواب ساخته، مرز ندارد و آن کار فنی‌تری است. و اگر از یک ماه گفت‌وگو کمتر از ده پرسش درآمد، شاید اصلا ربات لازم نداری و بهتر است خودت جواب بدهی؛ این هم نتیجه‌ی معتبری است.

ادامه‌ی همین کار، یعنی جدا کردن غلط ارزان از غلط گران و نوشتن قاعده‌ی سپردن به آدم، در مینی‌دوره‌ی رایگان «کارآموز شیفت شب» آمده است. اگر می‌خواهی دستیاری روی سندهای خودت ساخته و با همین بیست پرسش آزموده شود، جزئیات این خدمت را ببین.