ITeye博客

finallyliuyu的博客

finallyliuyu · 共 2 篇文章

计算两段文字的KL距离

相对熵(relative entropy或 Kullback-Leibler divergence,KL距离)的java实现(一) 利用信息论的方法可以进行一些简单的自然语言处理 比如利用相对熵进行分类或者是利用相对熵来衡量两个随机分布的差距,当两个随机分布相同时,其相对熵为0.当两个随机分布的差别增加时,器相对熵也增加。我们下面的实验是为了横量概率分布的差异。 试验方法、要求和材料 要求: 1.任意摘录一段文字,统计这段文字中所有字符的相对频率。假设这些相对频率就是这些字符的概率(即用相对频率代替概率); 2.另取一段文字,按同样方法计算字符分布概率; 3.计算两段文字中字符分布的KL距离…

2010-03-06T23:16:34Z · 自然语言理解与处理 · 评论(0)

报告ArrayList的一个错误,大家一起来研究下

代码目的:计算一段文本中重复出现的词的个数。 分两种情况: 1.文本在内存中 2.文本在硬盘文件上 方案利用ArrayList 声明一个类 public class Entity { String word; float pValue; public Entity() { pValue=0; word=""; } } 1.文本在内存中 主类中有以下代码 String []words={"小","团圆","究竟","泄了","张爱玲","什么","秘密","2009年","04月","08日","09:56","天天","小","团圆","究竟","哈哈","张爱玲","全额","天涯","张…

2010-03-06T21:26:31Z · 评论(4)