عنوان مقاله
مشکلات ، روشها و چالش های فرآیند پاکسازی داده
فهرست مطالب
مقدمه
خطای داده
پاکسازی و کیفیت داده
رویکرد فرایند در مورد پاکسازی داده
روشهای به کار رفته برای پاکسازی داده
نتیجه گیری
بخشی از مقاله
روشهای آماری
آشکارسازی و حذف خطاهای پیچیده حاکی از آن است که مجموعه های غیر معتبر پا از حیطه بررسی و اجرای محدودیت های یکپارچگی فراتر نهاده اند. آنها اغلب دربرگیرنده روابط بین دو یا چند مشخصه می باشند که آشکار سازی و توصیف آنها بر حسب محدودیت های یکپارچگی کار سخت و دشواری می باشد. این وضعیت را می توان مشکلی در آشکارسازی برون هشته قلمداد نمود، به عبارتی اقلیت های مجموعه ها و مقادیری که با ویژگیهای عمومی مجموعه داده معلوم هماهنگی ندارند.
کلمات کلیدی:
Problems, Methods, and Challenges in Comprehensive Data Cleansing Heiko Müller, Johann-Christoph Freytag Humboldt-Universität zu Berlin zu Berlin, 10099 Berlin, Germany {hmueller, freytag}@dbis.informatik.hu-berlin.de Abstract Cleansing data from impurities is an integral part of data processing and maintenance. This has lead to the development of a broad range of methods intending to enhance the accuracy and thereby the usability of existing data. This paper presents a survey of data cleansing problems, approaches, and methods. We classify the various types of anomalies occurring in data that have to be eliminated, and we define a set of quality criteria that comprehensively cleansed data has to accomplish. Based on this classification we evaluate and compare existing approaches for data cleansing with respect to the types of anomalies handled and eliminated by them. We also describe in general the different steps in data cleansing and specify the methods used within the cleansing process and give an outlook to research directions that complement the existing systems.
