داده كاوی چيست؟
مديريت دانش و پايگاه هاي سازماني
تغيير روند توجه سازمانها از منابع مالي به سرمايههاي انساني، فراهم آمدن زمينههاي تراكم و حتي انفجار اطلاعات از طريق فنآوري اطلاعات و ارتباطات در سازمانها، الزام و اهميت مديريت دانش را بيش از گذشته به رخ كشيده است.
استخراج اطلاعات مناسب از ميان انبوه دادهها و تبديل آنها به دانش مورد نياز سازمان، بهويژه در تصميمگيريهاي سازماني و دیدن آینده درست نيازمند استفاده از روشهاي نوين در اين حوزه است. دادهكاوي يكي از اين ابزار و رويكردهاست كه در فضاي مديريت دانش سازمانها به كشف دانش از پايگاه دادهها كمك ميكند.
مديريت دانش
امروزه در عصر يادگيري، كاركنان از ارزشمندترين منابع سازمان بهشمارميآورند. كاركنان، حجم عظيم دادهها، اطلاعات و دانش سازمان را توليد كرده و بهكار ميبندند. از اينرو در سازمانهاي نوين، همكاري مديريت دانش و مديريت منابع انساني، به امري ضروري تبديل شده است. مديريت دانش، رويكردي سيستمي و يكپارچه است كه تمامي داراييهاي اطلاعاتي سازمان، اعم از: مستندات، پايگاه دادهها، خطيمشيها، رويهها و تجربيات كاركنان و سازمان را در برميگيرد و به اشتراك ميگذارد.
مديريت دانش، سكوي تسهيل كننده استخراج، ذخيرهسازي، يكپارچه سازي، انتقال، مشاهده، تجزيه و تحليل و استفاده از دانش در سازمان است. مديريت دانش به منظور حفظ، تجزيه و تحليل، سازماندهي، بهبود و تسهيم تجارب كسب و كار، بهعنوان ابزار، روش و راهبرد در سازمان بهكارميرود. در واقع، مديريت دانش متدولوژي استخراج سيستمي و استفاده از دانش در سازمان است كه از طريق همين دانش و سرمايه فكري، ثروت و ارزش ميآفريند. در نگرش سيستمي به مديريت دانش، سه مولفه اصلي: منابع انساني، فرايندها و فنآوري دخالت و با يكديگر همپوشاني دارند.
نسبت مديريت دانش و دادهكاوي
براي بهكارگيري مديريت دانش در سازمان، از ابزار متفاوتي استفاده ميشود كه يكي از مهمترين آنها، دادهكاوي است. هنگامي كه طراحي مجدد فرآيندهاي كسب و كار (BRP) مورد نظر است، دادهكاوي به عنوان تكنيك، در خدمت مديريت دانش قرار ميگيرد. در هر بنگاه صنعتي، اقتصادي و تجاري نيز دانش با ارزش در مورد مشتري، محصول و بازار را ميتوان از طريق دادهكاوي بهدست آورد. با بزرگتر شدن حجم دادهها و اطلاعات سازمانها، اهميت اين مسئله روزبهروز بيشتر ميشود. هنگامي كه حجم دادهها زياد است، براي مديريت آنها از سيستمهاي پايگاه دادهها
(DBS/DBMS) استفاده ميشود. در حالت زياد بودن حجم دادهها، دادهكاوي براي استخراج و به دست آوردن دانش بهكار ميآيد. هنگامي كه حجم دانش زياد است، از سيستم مديريت دانش (KMS) استفاده ميشود.
دادهكاوي
پيشينه طرح موضوع دادهكاوي به دهه 1980 و به صورت جدي، به دهه 1990 برميگردد. پيش از آن از سيستمهاي جمعآوري و مديريت دادهها و اصطلاحا لايروبي دادهها استفاده ميشد، اما به مرور زمان، استخراج و كشف سريع و دقيق اطلاعات با ارزش و پنهان از پايگاه دادهها، به عنوان دادهكاوي مورد توجه قرار گرفت. به اين شكل بود كه فرايند دادهكاوي به عنوان فرايند آماري و تجزيه و تحليل در فرايند كشف دانش در پايگاه دادهها (KDD) پررنگ شد، به حدي كه گاه، دادهكاوي (DM) به عنوان مترادف كشف دانش در پايگاه دادهها (KDD) مورد استفاده قرار ميگرفت. امروزه فرآيند استخراج اطلاعات معتبر، از پيش ناشناخته، قابل فهم و قابل اعتماد از پايگاه دادههاي بزرگ و استفاده از آن در تصميمگيري و در فعاليتهاي تجاري «دادهكاوي » ناميده ميشود.
در تعاريف متعدد و متنوع براي دادهكاوي بر موضوعاتي نظير: استخراج دانش كلان، كاوش در دادهها، تجزيه و تحليل دادهها و يافتن روابط و الگوهاي مطمئن بين دادهها تاكيد ميشود. هدف نهايي دادهكاوي، ايجاد سيستمهاي پشتيباني تصميمگيري سازماني است. دادهكاوي، به استخراج اطلاعات مفيد و دانش ا ز حجم زياد دادهها ميپردازد. دادهكاوي، الگوهاي حاوي اطلاعات را در دادههاي موجود جستوجو ميكند. اين الگوها و الگوريتمها، ميتوانند توصيفي باشند، يعني دادهها را توصيف كنند و يا جنبه پيشبيني داشته باشند، يعني متغيرها براي پيشبيني ارزشهاي ناشناخته ساير متغيرها بهكار روند. دادهكاوي توصيفي، به دنبال يافتن اگرها در فعاليتها يا اقدامات گذشته است و دادهكاوي پيش بينانه با نگاه به سابقه، رفتار آينده را پيشبيني ميكند.
دادهكاوي چيست و چه نيست
موارد زير در حوزه دادهكاوي قرار ميگيرند:
استخراج يا كاوش دانش از ميان حجم عظيم دادهها ، استخراج اطلاعات و مدل كردن الگوهاي پنهاني در ميان انبوه دادهها، استخراج اطلاعات غير منتظره، ناشناخته و بالقوه مفيد از دادهها، استخراج اطلاعات يا الگوهاي مفيد و جالب از دادهها در پايگاه دادههاي بزرگ.
موارد زير در محدوده دادهكاوي قرار نميگيرند:
انبارش دادهها، پردازش قياسي دادهها ، سيستمهاي خبره (ES) ، فرايند تجزيه و تحليل مستقيم ، ابزار تجزيه و تحليل آماري ، مشاهدهگري دادهها.
حوزههاي دادهكاوي
دادهكاوي در سه حوزه مستقل بهكار ميرود و در آنها ريشه دوانده است:
1. آمار كلاسيك و الگوهاي آماري
2. هوش مصنوعي
3. يادگيري خودكار و شبكههاي عصبي
در دادهكاوي، هوش مصنوعي، يادگيري خودكار، تئوري پايگاه دادهها و علم آمار در هم آميخته شده است. براي انجام دادهكاوي از ابزار مختلف نظير: تفكيك كردن، دستهبندي، درخت تصميمگيري، تحليل قواعد وابستگي و تحليل خوشهها و الگوريتمهاي عمومي استفاده ميشود.
مراحل فرآيند
هدف دادهكاوي، تجزيه و تحليل اكتشافي دادهها، كشف الگوها و قواعد و الگوريتمها، مدلسازي پيشبينانه و جستوجوي انحرافات است. براي انجام اين هدف، فرآيند دادهكاوي در جهت كشف دانش در مراحل مختلف انجام ميشود كه عبارت است از:
اولين گام در دادهكاوي، شناسايي هدف و فهم حوزه كاربرد آن است و مشخص ميكند كه چه كاري، در چه حوزهاي انجام خواهد شد.
2. انتخاب دادهها يعني تعيين اهداف براي تجزيه و تحليل و كشف آن
3. آمادهسازي دادهها شامل تميزسازي دادهها
4. اتخاذ بهترين روش دادهكاوي براي دستيابي به اهداف
5. اجراي دادهكاوي يعني به كارگيري الگوريتم
6. ارزيابي و اعتبارسنجي يافتهها
7. استفاده از نتايج و تثبيت و تحكيم دانش كشف شده
8. تصميمگيري براساس دانش كشف شده.
موانع و چالشها
با وجود مزاياي فراوان كه دادهكاوي براي مديريت دانش سازمانها و دستيابي به دانش براي تصميمگيري سازماني دارد، اين حوزه با موانع و چالشهايي روبهروست كه عبارتند از:
1- فقدان داده براي پشتيباني تجزيه و تحليل
2- قدرت محدود محاسبه براي به دست آوردن محاسبات رياضي مورد نياز الگوريتمهاي دادهكاوي
3- عدم مطلوبيت و جذابيت بيشتر الگوها
4- خطر وجود دادههاي آلوده و كسب نتايج كاملا غلط
5- تمركز بيش از حد بر الگوريتمها
6- هزينه نسبتا گران سرمايهگذاري در همه حوزهها
7- عدم پوشش كامل همه حوزهها
كاربرد دادهكاوي
امروزه دادهكاوي در حوزههاي بسيار متنوع و متفاوت استفاده ميشود:
حوزه علم: شيمي، فيزيك، داروسازي، تجزيه و تحليل تصاوير پزشكي، تعيين نوع رفتار با بيماران و پيشگويي ميزان موفقيتهاي اعمال پزشكي، تعيين ميزان موفقيت روشهاي درماني در برخورد با بيماريهاي سخت، بيوشيمي، حسگرهاي كنترل در اقمار مصنوعي، بيوعلم شامل توصيف ژنها و تقسيمبندي گروه پروتئينها و توسعه داروها. خرده فروشي: تجزيه و تحليل سبد خريد بازار، تعيين الگوهاي خريد مشتريان.
بانكداري: پيشبيني الگوهاي كلاهبرداري از طريق كارتهاي اعتباري، تعيين ميزان استفاده از كارتهاي اعتباري براساس گروههاي اجتماعي فروش و بازاريابي: تجزيه و تحليل سهام و سرمايه، تعيين مشتريان وفادار، مديريت ريسك و پيشبيني فروش بيمه: تجزيه و تحليل دعاوي و پيشگويي ميزان جريمه بيمه نامههاي جديد توسط مشتريان ديگر حوزهها: ورزش و سرگرمي، فضانوردي و ديگر حوزههاي علم.