برای اندازه‌گیری موفقیت پروژه‌های هوش مصنوعی، سازمان‌ها باید KPI را به درستی ایجاد کنند تا هم کارایی پروژه‌ها را بهبود بخشند و هم بتوانند جامعه را بهتر کنند.
پیاده سازی کلاسیک هوش مصنوعی، برای شروع، شامل یادگیری ماشینی برای ایجاد مدل ها و الگوریتم های پایه و سپس معمار روش های آموزش است. پس از فرآیند آموزش، توسعه‌دهندگان داده‌های آموزشی خود را با نتایج پیش‌بینی‌شده‌شان اندازه‌گیری می‌کنند تا در طول زمان تغییراتی ایجاد کنند و خطاها را کاهش دهند.
مدل‌ها انواع مختلفی دارند، اما در همه مدل‌ها، داشتن یک خروجی قابل اندازه‌گیری در برابر یک ورودی شناخته شده برای مؤثر بودن آموزش مهم است. انتخاب ابزار مناسب برای کار به همان اندازه مهم است، با عناصری که سناریوهای دنیای واقعی را تا حد امکان تکرار می کنند.
تعریف شاخص های کلیدی هوش مصنوعی
یکی از معیارهای کلیدی در یادگیری ماشین، میانگین مربعات خطا (MSE) است. دوره های یادگیری ماشین اغلب این فرمول را به عنوان بخشی از برنامه های درسی خود معرفی می کنند. جنبه خوب MSE این است که تأثیر نتایج پرت را اغراق‌آمیز می‌کند، که می‌تواند منجر به افزایش سریع اولیه در کارایی ماشین شود. تنها اشکالات آن عبارتند از موثر بودن آن در کاهش خطاهای کوچک یا اندازه گیری اثربخشی نسبت به تکرارهای یادگیری مکرر.
KPIهای موجود که دارای ارتباط تجاری و فناوری اطلاعات هستند، برای پروژه‌های هوش مصنوعی نیز اعمال می‌شوند. KPIهای معمولی مرتبط با هوش مصنوعی شامل میانگین زمان تعمیر (MTTR)، یا مدت زمانی که برای رفع مشکل نیاز است، و نرخ رزولوشن اولین تماس (FCRR)، که نشان می‌دهد چند درصد از مشکلات با پشتیبانی IT سطح 1 (پشتیبانی پایه) حل می‌شوند. بدون نیاز به تشدید علاوه بر این، تعداد زیادی بلیط هایی که یک تیم فناوری اطلاعات در ماه دریافت می کند یک معیار قابل لمس است.
بهترین روش استفاده از متریک قابل مشاهده و اندازه گیری مستقیم و سپس ترجمه آن به هر متریک دیگری در صورت لزوم است.
معیارهای غیرمستقیم، که تمایل دارند از معیارهای مستقیم تری مشتق شوند، شامل رضایت مشتری، امتیاز خالص تبلیغ کننده و کل هزینه مالکیت است. در حالی که معیارهای غیر مستقیم مهم هستند، ضروری است که معیارهای مستقیم و قابل مشاهده مبنای هر یک از این معیارهای ثانویه باشند.
چگونه KPI ها موفقیت هوش مصنوعی را اندازه گیری می کنند
KPIهای مرتبط با هوش مصنوعی به شرکت‌ها کمک می‌کنند موفقیت هوش مصنوعی را با نشان دادن بازگشت سرمایه مشخص (ROI) اندازه‌گیری کنند. ROI را می توان به صورت زمان، پول یا نیروی کار بیان کرد. بهترین روش استفاده از متریک قابل مشاهده و اندازه گیری مستقیم و سپس ترجمه آن به هر متریک دیگری در صورت لزوم است.
ROI معمولاً به عنوان زمان اندازه‌گیری می‌شود – به طور خاص، مدت زمان لازم برای بدست آوردن همان مقدار پول سرمایه‌گذاری شده در یک ابتکار هوش مصنوعی است. سازمانی را تصور کنید که 200000 دلار در یک ابتکار هوش مصنوعی سرمایه‌گذاری می‌کند و سپس کاهش 20 درصدی در MTTR را اندازه‌گیری می‌کند. از آنجایی که 20 کارمند دارد که از این ابزار استفاده می کنند و نرخ کار بارگذاری شده ترکیبی آن 2 میلیون دلار در سال است، این کاهش 20 درصدی هزینه به 400000 دلار در سال می رسد. از آنجایی که نیمی از آن زمان (6 ماه) طول کشید تا 200000 دلار به دست آید، این همان ROI است.
مثال خوب دیگر الف است شرکت خدمات مدیریت شده. در یک شرکت خدمات مدیریت شده معمولی، FCRR حدود 65٪ است. به طور خاص، به ازای هر 100 تماس دریافتی، 65 مورد از آن تماس ها توسط شخصی که در ابتدا تماس را دریافت کرده است، که یک مهندس سطح اول کم هزینه است، حل می شود. این نشان می دهد که 35 تماس دیگر برای رفع مشکل به متخصص مراجعه می کنند.
این وضعیت هم زمان و هم هزینه را به حل اضافه می کند، زیرا مهندسان سطح دوم که باید با این تماس ها مقابله کنند، حقوق بسیار بالاتری دارند. شرکت‌هایی که هوش مصنوعی را برای کمک به مهندسان سطح اول در رسیدگی به تماس‌های بیشتر پیاده‌سازی می‌کنند، می‌توانند نرخ وضوح تماس اول را تا 80 درصد افزایش دهند و MTTR و FCRR را کاهش دهند.
موفقیت هوش مصنوعی باید برای همه موفقیت باشد. اول، کسب و کارها موفقیت را به طور مستقیم، با معیارهایی که هم قابل مشاهده و هم قابل اندازه گیری هستند، اندازه گیری می کنند. سپس، پس از تعیین برخی KPIهای قابل اندازه گیری مستقیم، مزایای کیفی را به طور غیرمستقیم اندازه گیری می کنند. در حالی که معیارهای فنی همسو با هوش مصنوعی وجود دارد، مانند خطای میانگین مربع، معیارهای کلاسیک IT و تجاری مانند MTTR، FCRR و هزینه هر بلیط عیب‌یابی فناوری اطلاعات معمولاً مرتبط‌تر هستند.