محتوای هوش مصنوعی روان است ولی درباره‌ی تو غلط می‌گوید: سنجش بیست سوال و پایگاه دانش

خطرناک‌ترین متنی که یک ابزار هوش مصنوعی برایت می‌نویسد، متن بد نیست. متن بد را همه می‌گیرند. خطرناک متنی است که روان و مطمئن نوشته شده و اطلاعاتش درباره‌ی کسب‌وکار تو غلط است: زمان تحویلی که هیچ‌وقت نداشته‌ای، پشتیبانی شبانه‌ای که وجود ندارد، خدمتی که ارائه نمی‌دهی.

دلیلش ساده است. این ابزارها واقعیت را از جایی بیرون نمی‌کشند؛ محتمل‌ترین کلمه‌ی بعدی را می‌سازند. پس وقتی چیزی را نمی‌دانند، جای خالی را با آنچه «معمولا در این صنعت درست است» پر می‌کنند. نتیجه همیشه باورپذیر است، حتی وقتی غلط است. و همین باورپذیری است که از کنار چشم بازبین رد می‌شود.

دانشی که ابزار دارد و دانشی که فقط تو داری

هر خروجی خودکار از دو جای جدا تغذیه می‌شود. دانش عمومی از الگوهای زبان و صنعت می‌آید: سئو یعنی چه، چرا سایت لازم است. اگر چیزی ندهی، این بخش معمولا درست درمی‌آید. دانش اختصاصی فقط از چیزی می‌آید که تو داده‌ای: قیمت تو، زمان تحویل تو، شرایط تو، کارهایی که انجام نمی‌دهی. اگر این را ندهی، خالی نمی‌ماند؛ ساخته می‌شود، و قابل باور هم ساخته می‌شود.

اپراتوری را در نظر بگیر که ده سال با این نوع دستگاه کار کرده ولی دفترچه‌ی همین دستگاه را ندارد؛ نمی‌داند اپراتور قبلی کدام تنظیم را عوض کرده. مشکل او ندانستن نیست. مشکل این است که با اطمینان کار «معمول» را می‌کند، و کار معمول برای این دستگاه غلط است. دفترچه‌ی دستگاه همان چیزی است که اسمش را پایگاه دانش می‌گذاریم: یک فایل متنی که فقط چیزهای مخصوص کسب‌وکار تو در آن است.

چهار جواب، چهار جور خطا

فرض کن این چهار جواب درباره‌ی یک شرکت خدمات فنی تولید شده است. شرکت و واقعیت‌هایش فرضی‌اند.

1. «زمان تحویل معمولا بین سه تا پنج روز کاری است.» واقعیت: هفت تا ده روز.
2. «قیمت‌ها بسته به نیاز شما متفاوت است؛ برای اطلاع دقیق تماس بگیرید.»
3. «بله، پشتیبانی شبانه‌روزی داریم.» واقعیت: نه صبح تا شش عصر.
4. «این سرویس برای کسب‌وکارهای کوچک و متوسط مناسب است.»

هر چهار تا خطا هستند، ولی در سه سطح. سومی بدترین است: یک تعهد غلط. مشتری ساعت یازده شب دنبال همان پشتیبانی می‌گردد و این دیگر مسئله‌ی متن نیست، مسئله‌ی اعتماد است. اولی یک عدد غلط است که احتمالا از میانگین صنعت آمده؛ پیامدش نارضایتی روز ششم است. دومی و چهارمی دروغ نیستند و هیچ کاری هم نمی‌کنند. «بسته به نیاز شما متفاوت است» را هر کسب‌وکاری می‌تواند بگوید، پس چیزی درباره‌ی تو نمی‌گوید. و «کوچک و متوسط» یعنی همه. جواب مفید مرز دارد: «برای کسب‌وکاری که ماهی بیش از سی سفارش دارد؛ کمتر از آن، گزینه‌ی ساده‌تر کافی است.»

«مبهم» را کنار «غلط» بشمار

جمله‌ی «محتوای هوش مصنوعی قابل اعتماد نیست» یک نظر است. «از بیست سوال واقعی، چند جواب درباره‌ی کسب‌وکار من غلط بود» یک عدد است. ساختنش ساده است: بیست سوال واقعی مشتری‌هایت را عینا از دایرکت و تماس‌ها بردار، جواب بگیر، و هر کدام را در یکی از سه دسته بگذار: درست، غلط، مبهم. سخت‌گیر باش؛ «تقریبا درست» یعنی غلط. آزمونش این است: حاضری همان جواب را عینا برای مشتری بفرستی؟

همان شرکت فرضی دو دور سنجید؛ دور اول بدون هیچ اطلاعات اضافه، دور دوم با پایگاه دانش در ابتدای گفت‌وگو:

اگر مبهم را خطا بشماری، دور اول سیزده خطا از بیست داشت و دور دوم پنج خطا. اگر مبهم را درست حساب کنی، دور اول فقط شش خطا نشان می‌دهد؛ یعنی وضع اولیه خیلی بهتر از واقعیت دیده می‌شود و بهبود کوچک‌تر. مبهم واقعا خطاست، فقط جنسش فرق دارد: جواب غلط اعتماد را می‌شکند؛ جواب مبهم مشتری را جلو نمی‌برد. او سوال داشت، جواب نگرفت، و همان کاری را می‌کند که قبلا می‌کرد: می‌رود جای دیگر.

این شرکت ماهی حدود چهارصد بار به این نوع سوال‌ها جواب می‌داد. با همان نسبت‌ها، جواب‌های غلط ماهانه از حدود ۱۲۰ به ۴۰ رسید و جواب‌های مبهم از ۱۴۰ به ۶۰. با محتاطانه‌ترین فرض، اینکه از هر ده نفری که جواب مبهم گرفتند فقط یک نفر با جواب روشن خرید می‌کرد و هر مشتری دو میلیون تومان می‌ارزید، همین کم شدن جواب‌های مبهم ماهی حدود هشت مشتری است؛ این فرض و عددهایش فرضی‌اند و فقط روش حساب را نشان می‌دهند. هزینه‌ی ساختن پایگاه دانش: یک بعدازظهر.

پایگاه دانش را از سوال‌ها بنویس، نه از بروشور

• ده سوالی را که مشتری‌ها واقعا می‌پرسند ستون فقرات فایل کن.
• هر جواب را کوتاه و قطعی بنویس. «معمولا حدود یک هفته» بد است؛ «پنج تا هفت روز کاری، و اگر بیشتر شد خبر می‌دهیم» خوب است.
• کنار هر خط تاریخ بگذار. بدون تاریخ، شش ماه بعد نمی‌دانی کدام کهنه است.
• چیزهایی که نداری را هم بنویس: «خدمات چاپ ارائه نمی‌دهیم.» این خط‌ها جلوی ساخته شدن خدمتی را می‌گیرند که وجود ندارد.
• کلمه‌ها و ادعاهای ممنوع را بنویس. اگر هیچ‌وقت نمی‌گویی «تضمینی»، همین را در فایل بگذار.
• قیمت را در فایل کپی نکن؛ فقط بنویس کجا به‌روز است. دو نسخه از یک عدد یعنی یکی‌شان به‌زودی غلط است.

بعد از ساختن فایل، خطاهای باقی‌مانده را دسته‌بندی کن، چون هر دسته کار دیگری می‌خواهد. در مثال، از پنج خطای دور دوم، سه سوال اصلا در فایل نبود (خط اضافه کن)، یکی جوابش در فایل بود ولی طولانی و پرحاشیه بود و گم شد (کوتاه و قطعی‌اش کن)، و یکی اصلا جواب ثابتی ندارد (همین را بنویس، و بنویس به چه چیزی بستگی دارد). وسوسه‌ی «فایل را ده برابر کنیم تا خطا صفر شود» را کنار بگذار. متن بیشتر یعنی جواب درست بین متن نامربوط گم‌تر می‌شود. صفر هم هدف درستی نیست؛ هدف این است که سوال‌های پرتکرار تقریبا بی‌خطا جواب بگیرند.

یک خطر دیگر هم هست که بعد از موفقیت ظاهر می‌شود: پایگاه دانش کهنه از نداشتنش بدتر است، چون حالا به آن اعتماد می‌کنی. قیمت، زمان تحویل و فهرست خدمات زودتر از بقیه کهنه می‌شوند. راه حل برای تیم کوچک بازبینی منظم نیست، چون انجام نمی‌شود؛ این است که هر خط تاریخ داشته باشد و هر خط بی‌تاریخ حذف شود.

بازبینی انسانی کجا می‌ارزد

پایگاه دانش خطا را کم می‌کند، صفر نمی‌کند. پس جایی باید یک آدم بایستد. ولی بازبینی همه‌چیز یعنی گلوگاه را دوباره روی خودت گذاشته‌ای، و بازبینی هیچ‌چیز یعنی اولین اشتباه گران اعتبارت را می‌برد. جواب این وسط است و با ضرب پیدا می‌شود: هزینه‌ی بازبینی برابر دقیقه‌ی بازبینی ضرب در تعداد، و فایده‌اش برابر تعداد ضرب در احتمال اشتباه ضرب در هزینه‌ی آن اشتباه.

کسب‌وکاری فرضی ماهی بیست استوری و چهار مقاله منتشر می‌کند و همه را کامل بازبینی می‌کند؛ هر ساعت بازبین دویست هزار تومان. خودشان تخمین زدند از هر بیست استوری یکی، و از هر ده مقاله یکی، اشتباه جدی دارد؛ اشتباه جدی در استوری حدود سیصد هزار تومان و در مقاله حدود شش میلیون تومان هزینه دارد.

بازبینی مقاله چهار برابر هزینه‌اش فایده دارد و باید بماند. بازبینی کامل استوری ضرر می‌دهد، با اینکه استوری‌ها پنج برابر مقاله‌اند. تعیین‌کننده عمر محتواست: استوری فردا می‌رود، مقاله سال‌ها می‌ماند. ولی «برداشتن» یعنی هیچ؟ نه. به جایش از هر پنج استوری یکی را کامل نگاه کن؛ هدف گرفتن تک‌تک اشتباه‌ها نیست، پیدا کردن الگوی اشتباه است. و اگر آن یک نمونه مشکل داشت، کل آن دسته را نگاه کن و ریشه را در قالب درست کن.

یک جابه‌جایی کوچک هم سود را چند برابر می‌کند: بازبینی بریف مقاله پنج دقیقه است و بازبینی مقاله‌ی تمام‌شده چهل و پنج دقیقه. اشتباه‌های گران معمولا در بریف به دنیا می‌آیند: موضوع غلط، مخاطب غلط، ادعای بی‌پشتوانه. دروازه را زودتر بگذار. و چیزی را که ابزار بهتر چک می‌کند، مثل املا و پیوند شکسته و طول عنوان، به آدم نده.

بعد از یک ماه، ببین از هر ده کاری که به بازبینی رسید چند تا برگشت. اگر تقریبا هیچ، یا بازبینی بی‌اثر شده یا دروازه‌ی زودتر کارش را کرده؛ زمانی که صرفش می‌شود تفکیکشان می‌کند. اگر بیش از نیمی برمی‌گردند، مشکل در بازبینی نیست، در ایستگاه قبل است؛ سخت‌گیرتر کردن بازبینی آن را حل نمی‌کند، اصلاح قالب و بریف حل می‌کند.

یک دروازه هیچ حساب هزینه و فایده‌ای ندارد و همیشه هست: هیچ عدد، آمار، نظر مشتری یا نمونه‌کاری که واقعی نیست منتشر نمی‌شود، هر قدر هم خروجی خودکار قانع‌کننده باشد. و هر چیزی که ادعای پزشکی، حقوقی یا مالی دارد، بازبینی متخصص همان حوزه را می‌خواهد.

در خدمت موتور بازاریابی و تولید محتوا، پایگاه دانش اختصاصی کسب‌وکار خودت ساخته می‌شود و روی هر مرحله یک تایید انسانی هست؛ هیچ‌چیز بدون دیدن تو منتشر نمی‌شود. جزئیات این خدمت را ببین.