基于Bayes统计推断的粗糙集数据挖掘方法

维普资讯 http://www.cqvip.com 第３Ｏ卷第２期　河北理工大学学报（自然科学版）　Ｖｏ１．３０　Ｎｏ．２　２００８年５月　Ｊｏｕｒｎａｌ　ｏｆ　Ｈｅｂｅｉ　Ｐｏｌｙｔｅｃｈｎｉｃ　Ｕｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ　Ｓｃｉｅｎｃｅ　Ｅｄｉｔｉｏｎ）　Ｍａｙ．２００８　文章编号：１６７４一ｏ２６２（２００８）０２—００７５一Ｏ３　基于Ｂａｙｅｓ统计推断的粗糙集数据挖掘方法　李丽红，李超　（河北理工大学理学院，河北唐山ｏ６３ｏｏ９）　关键词：数据挖掘；粗糙集；ＲＵＢＩＮ算法；Ｂａ），ｅｓ统计推断规则　摘要：分类发现是数据挖掘的一个重要任务，Ｂａｙｅｓ统计推断是数据挖掘中数据分类的主　要方法也是其基础之一。建立在粗糙集基础上，利用概率工具以及Ｅｘｐｅｃ￣ｆｉｏｎ－Ｍａｘｉｍｉｚａｔｉｏｎ　思想（ＲＵＢＩＮ算法）和Ｂａｙｅｓ统计推断规则的结合提出了分类的方法和步骤，并给出实例　分析。重点是ＲＵＢＩＮ算法和Ｂａｙｅｓ统计推断规则相结合在粗糙集上建立的决策方法。　中图分类号：Ｏ　２１２．８　文献标识码：Ａ　０　引言　随着信息学的发展，大量信息的涌入使知识自身的粒度变的粗糙不精确，如何发现知识背后的信息成　为当今研究的主要内容。数据挖掘就是此时孕育的一门新兴学科，所谓数据挖掘（Ｄａｔａ　Ｍｉｎｉｎｇ）就是从　大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道　的、但又是潜在有用的信息和知识的过程。分类发现作为数据挖掘的一个任务，本身带有模糊性，即对于　一系列的属性所组成的知识系统，并不能准确的对训练集进行分类。于是引入粗糙集的概念，对等待分类　的训练集做两个近似，上近似边界，下近似边界，训练集界于两者之间，其模糊程度我们可以用Ｐ表示，　利用Ｂａｙｅｓ统计推断与ＲＵＢＩＮ算法结合，对训练集的类属细化，对决策者起一个参考作用，这个思想也　可以应用到机器学习领域，做决策软件的数学基础。　１　预备知识　１．１粗糙集　粗糙集是一种处理不精确、不确定与不完全数据的新的数学理论。粗糙集理论中的知识表达方式一般　采用信息表或称为信息系统的形式。它可以用四元有序组表示Ｋ：（￡，，　，Ｖ，Ｐ）其中：　・￡，是对象全体，即论域；　－Ａ是属性全体；　－Ｖ：Ｕ　是属性值域　・Ｐ：Ｕ×　—ｌ，是一个信息函数，．Ｐ　：Ａ一－Ｗ，　∈Ｕ，反　映了对象　在　中的完全信息，其中Ｐ　（ａ）：ｐ（　，ａ）。　也可以直观表示粗糙集如图　假设Ｘ是不可定义集，上近似边界为ａｓｕｐＸ，下近似界ａｉｎｆＸ，那么　关于Ａ的粗糙性测度定义为　一器　其中ａｓｕｐＸ＝｛　∈Ｕ　Ｉ　［　］ｃ＿ｘ｝，ａｉｎｆＸ＝；　Ｅ　Ｕ　Ｉ　［　］ｎｘ＃６｝，Ｉ＾Ｙ　Ｉ表示基数，０≤　（　）≤ｌ　收稿日期：２００７—０６－１５　基金项目：国家自然科学基金资助』ｃ；！目（７０２７１０４８）；河北省自然科学基金资助项目（Ｅ２００６０００３７７）　维普资讯 http://www.cqvip.com ７６　河北理Ｔ大学学报（自然科学版），　；　　第３０卷　１．２　ＲＵＢＩＮ算法　沿用ＥＭ对未知状态变量估算的思想，对其改进提出了ＲＵＢＩＮ算法。假｝殳（　，ｙ）有联合的分布密　度函数ｆ（０，ｘ，Ｙ）（　是未知状态变量，ｙ是已知状态变量）　ＲＵＢＩＮ算法的核心思想：直接使用状态变量ｌ，的密度函数ｇ（０　），）替代（　，ｙ）的分布　数，’（０，　，Ｙ）来求０关于ｇ（０，ｙ）的最大似然估计　。　计算结果如下　（　）一　（０）＝［Ｑ（　ｌ　０）一Ｑ（０　ｌ　０）］＋［Ⅳ（０　ｌ　０）一Ⅳ（　ｌ　０）］≥Ｑ（　ｌ　）一Ｑ（０　ｌ　０）　只要Ｑ（　ｌ　０）一Ｑ（０　ｌ　０）≥０，就有己（　）一　（０）≥０，确定０　使Ｌ（０　＋Ｉ）一￡（０　）≥０，也　就是使０　＋１满足Ｑ（　ｌ　０）一Ｑ（０　ｌ　０）≥０　ＲＵＢＩＮ已经证明　在一定条件下收敛，在８次迭代后，结果趋于稳定，此时　可微　估计缝。　２　Ｂａｙｅｓ统计推断规则及改进　Ｂａｙｅｓ定理：假设　是类标号知的数据样本，日为某种假设，如数据样本－Ｙ属于某个特定的类。分别　用Ｐ（／／ｌ　）、Ｐ（　ｌⅣ）、Ｐ（　）、Ｐ（Ｘ）表示　下Ⅳ的后验概率、条　＂下　的后验概率、以的先　验概率、　的先验概率。那么就有：　ｅ（Ｈ　Ｉ　）：　训练样本　，要判断它的类别归属，关键是应用其条件概率Ｐ（Ａ　ｌ　）（ｉ＝ｌ，２，３，…ｍ，／ｎ是类　＇别的个数）来判断，做判定函数　ｄｉ（Ｘ）＝ｍａｘ［ｐ（Ａ　ｌ　）］，ｉ＝１，２，３…／＇ｒｔ，Ｘ　Ｅ　Ａ　这是基本判断原则，但是当知识的粒度变大时，分类的准确性出现偏差。应用上面的粗糙集和ＲＵ—　ＢＩＮ算法对Ｂａｙｅｓ统计推断规则进行改进。　改进的核心思想是：利用训练集与样本集的联系，利用决策属性Ａ，对模糊训练集（边界不明晰）属　性进行分解，分类归属取决于Ａ的决策值与Ｐ的取值　首先，属性集Ａ可以分解，即Ａ＝ＣＵＡ，Ｃ是原有属性，Ａ是决策属性。训练集　可以应用粗糙集的　信息表形式表示，．即　＝（Ｕ，Ｃ，Ｖ，Ｐ，Ａ）　再次，假设训练集　与属性集Ａ的联合分布函数是　（０，　，ｃ，Ｐ，Ａ），属性集Ａ的分布函数是ｇ（０，ｃ，　Ａ），利用ＲＵＢＩＮ算法的思想，求出０。　最后，建立决策属性函数Ａ。它的值取决于决策的期望值△与实际的增长叩之间的关系：　Ａ＝　三　这是特殊情况的０—１决策。　做判定函数　ｄｉ（Ｘ）＝ｍａｘ［ｐ（Ａｉ　ｌ　Ｘ）’＝Ａ‘木　ｉ］　ｉ＝。１，２，３，ｍ，　Ｅ　Ａｉ　是修正因子，其本身是关于ｐ，△的模糊函数，如果Ｐ＝０，可以直接应用Ｂａｙｅｓ统计推断规则进行分类，　此时不存在模糊问题。　只在ｐ≠０时起作用，　＝　（Ｐ，Ａ）是这样的函数，当且仅当Ｐ与△同时降低时。　呈现增加趋势。　３　分类步骤　，　上述讨论了分类方法，下面简单概述一一下应用此方法的步骤：　（１）建立原有知识系统，即讨论的论域　，划分属性。　（２）确认训练集　，建立几何模型，划定分类的区域。　（３）计算上、下近似边界，对粗糙性测度ｐ做限定。　维普资讯 http://www.cqvip.com

第２期　李丽红，等：基：ｒ　Ｂａｙｅｓ统计推断的粗糙集数据挖掘方法　７７　（４）利用ＲＵＢＩＮ算法的逼近方法，计算出近似分布函数．／‘（０，　，Ｃ，ｐ，Ａ）　（５）建立决策函数　，取相应的修正冈子　，建立判定　数。　（６）根据决策需要将训练集　进行（近似）归类。　４　实例分析　‘　一　上述是基于Ｂａｙｅｓ统计推断的数据挖掘方法，．下面对一个实例简单的分析阐述如何建立模型。　、　・问题：超市上架某种新的商品，对于有购买倾向的用户群体进行分析预测，这种商品是否会帮助超　市带来新的消费群体，达到期望的利润。　・分析：Ｕ是超市购买群体，Ａ的属性可以简单归为三项Ａ＝（是，否，决策），洲练集』Ｙ包括两部　分，原有群体和新群体中有购买倾向的用户，前一部分根据以往的销售记录比较容易建立模糊模型，后一　部分可以假设群体的分布满足正态分布进行估计。　・模型建立：利用ＲＵＢＩＮ算法的逼近方法，计算出近似分布函数ｆ（０，　，ｃ，Ｐ，Ａ），引入决策期望　值△，假设实际增长叼，建立决策函数如上，修正因子６可以假定决策者对决策期望△是不变的。　・决策建议：由于问题是建立在粗糙集基础上，不确定因素必须考虑，决策者可以根据最后的结果凋　整其期望△，因为６总体是一个递减函数，应该采取更客观的决策。　５　结束语　Ｂａｙｅｓ统计推断在数据挖掘的分类中是比较常用也是基础方法之一．Ｂａｙｅｓ方法是迄今被证明对后验　概率的估计最精确的。但是信息的激增使知识的粒度增大，这种严格意义下的计算对于实际问题的应用准　确程度降低，所以粗糙集的引入对提高分类的准确度起到了致关重要的作用。在实际应用中，模糊的概念　影响着决策，建立在粗糙集基础上的Ｂａｙｅｓ统计推断为决策提供了一个比例尺度和分类方法，并且引入了　决策函数，决策修正因子，细化训练集的属性空间，在一定意义上推进了分类的准确性。　参考文献：　［１］　苏新宁，杨建林，邓三鸿，周军．数据挖掘理论与技术．　［２］　龚光鲁．余敏平．应用随机过程教程与在算法和智能计算中的应用．　［３］　富秀军，史忠植．中国科学院计算技术研究所智能信息处理开放实验室基于Ｂａｙｅｓ潜在语义模型的半监督Ｗｅｂ挖掘软件学　报Ｖｏ１．１３，Ｎｏ．８．　［４］　张文修，吴伟志．粗糙集理论介绍和研究综述模糊系统与数学２０００年１２月．　［５］　舒宁，马洪超，孙和刚．模式识别的理论方法（Ｔｈｅ　Ｔｈｅｏｒｉｅｓ　ａｎｄ　Ｍｅｔｈｏｄｓ　ｏｆＰａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ）．　［６］　Ｙｏｓｈｉｍａｓａ　Ｔｓｒｕｕｏｄａ　ａｎｄ　Ｊｕｎ’ｉｃｈｉ　Ｔｓｕｊｉｉ．Ｔｒａｉｎｉｎｇ　ａ　Ｎａｔｉｖｅ　Ｂａｙｅｓ　Ｃｌａｓｓｉｉｆｅｒ　ｖｉａ　ｔｈｅ　Ｅｍ　Ａｌｇｏｉｆｔｈｉｎ　ｗｉｔｈ　ａ　Ｃｌａｓｓ　Ｄｉｓｔｒｉｂｕｔｉｏｎ　Ｃｏｎｓｔａｒｉｎｔ．　Ｔｈｅ　Ｍｅｔｈｏｄ　ｏｆ　Ｒｏｕｇｈ　Ｓｅｔ　Ｄａｔａ　Ｍｉｎｉｎｇ　Ｂａｓｅｄ　ｏｎ　Ｎａｉｖｅ　Ｂａｙｅｓ　ＬＩ　Ｌｉ—ｈｏｎｇ．ＬＩ　Ｃｈａｏ　（Ｃｏｌｌｅｇｅ　ｏｆ　Ｓｃｉｅｎｃｅｓ，Ｈｅｂｅｉ　Ｐｏｌｙｔｅｃｈｎｉｃ　Ｕｎｉｖｅｒｓｉｔｙ，Ｔａｎｇｓｈａｎ　Ｈｅｂｅｉ　０６３００９，Ｃｈｉｎａ）　Ｋｅｙ　ｗｏｒｄｓ：ｄａｔａ　ｍｉｎｉｎｇ；ｒｏｕｇｈ　ｓｅｔ；ＲＵＢＩＮ　ｍｅｔｈｏｄ；ｎａｉｖｅ　ｂａｙｅｓ　Ａｂｓｔｒａｃｔ：　Ｃｌａｓｓｉｉｆｃａｔｉｏｎ　ｉＳ　ａｎ　ｉｍｐｏｒｔａｎｔ　ｍｉｓｓｉｏｎ　ｏｆ　Ｄａｔａ　Ｍｉｎｉｎｇ．Ｎａｉｖｅ　Ｂａｙｅｓ　ｉｓ　ｔｈｅ　ｍａｉｎ　ｍｅｔｈｏｄ　ｆｏｒ　ＤＭＣ　ａｎｄ　ｏｎｅ　ｏｆ　ｉｔｓ　ｆｏｕｎｄａｔｉｏｎｓ．Ｉ＂ｔｌｉｓ　ｔｅｘｔ，ｂａｓｅｄ　ｏｎ　Ｒｏｕｔｈ　Ｓｅｔ．ｍａｄｅ　ｕｓｅ　ｏｆ　ａｌｌ　ｔｈｅ　ｓｔａｔｉｓｔｉｃａｌ　ｔｏｏｌ　ａｎｄ　ｔｈｅ　Ｅｘｐｅｃｔａｔｉｏｎ．Ｍａｘｉｍｉｚａｔｉｏｎ　ｍｅｔｈｏｄ　ＲＵＢＩＮ　ｍｅｔｈｏｄ　ｃｏｍｂｉｎａｔｉｏｎ　ｗｉｔｈ　ｔｈｅ　Ｎａｉｖｅ　Ｂａｙｅｓ　ｔｏ　ｅｘｐｏｕｎｄ　ｔｈｅ　ｍｅｔｈｏｄ　ａｎｄ　ｓｔｅｐ　ｏｆ　ｔｈｅ　ｃｌａｓｓｉｉｆｃａｔｉｏｎ，ａｓ　ｗｅｌｌ　ａｓ　ｇａｖｅ　ａｎ　ｅｘａｍｐｌｅ．　ｒｈｅ　ｐｏｉｎｔ　ｏｆ　ｔｅｘｔ　ｉｓ　ｔｈｅ　ｃｏｍｂｉｎａｔｉｏｎ　ｏｆ　ｔｈｅ　ＲＵＢＩＮ　ｍｅｔｈｏｄ　ａｎｄ　ｔｈｅ　Ｎａｔｉｖｅ　Ｂａｙｅｓ　ｔ６　ｂｕｉｌｄ　ｕｐ　ｏｆ　ＲＳ　ｄｅｃｉｓｉｏｎ　ｍｅｔｈｏｄ．