Oracle数据库中文全文索引详解(二)

 
   | |

导读:Oracle数据库中文全文索引详解二这篇文章主要是阐述作者对Oracle实现全文检索的具体理解。

关键词:Oracle 实现全文检索 中文全文索引

正在加载数据...

具体理解

Oracle实现全文检索,其机制其实很简单。即通过Oracle专利的词法分析器(lexer),将文章中所有的表意单元(Oracle称为term,此处我理解为单词或者一些有意义的词语) 找出来,记录在一组以dr$开头的表中,同时记下该term出现的位置、次数、hash 值等信息。检索时,Oracle 从这组表中查找相应的 term,并计算其出现频率,根据某个算法来计算每个文档的得分(score),即所谓的‘匹配率’。而lexer则是该机制的核心,它决定了全文检索的效率。Oracle 针对不同的语言提供了不同的 lexer, 而我们通常能用到其中的三个:

basic_lexer: 针对英语。它能根据空格和标点来将英语单词从句子中分离,还能自动将一些出现频率过高已经失去检索意义的单词作为‘垃圾’处理,如if , is 等,具有较高的处理效率。但该lexer应用于汉语则有很多问题,由于它只认空格和标点,而汉语的一句话中通常不会有空格,因此,它会把整句话作为一个term,事实上失去检索能力。以‘中国人民站起来了’这句话为例,basic_lexer 分析的结果只有一个term ,就是‘中国人民站起来了’。此时若检索‘中国’,将检索不到内容。

chinese_vgram_lexer: 专门的汉语分析器,支持所有汉字字符集。该分析器按字为单元来分析汉语句子。‘中国人民站起来了’这句话,会被它分析成如下几个term: ‘中’,‘中国’,‘国人’,‘人民’,‘民站’,‘站起’,起来’,‘来了’,‘了’。可以看出,这种分析方法,实现算法很简单,并且能实现‘一网打尽’,但效率则是差强人意。

chinese_lexer: 这是一个新的汉语分析器,只支持utf8字符集。上面已经看到,chinese vgram lexer这个分析器由于不认识常用的汉语词汇,因此分析的单元非常机械,像上面的‘民站’,‘站起’在汉语中根本不会单独出现,因此这种term是没有意义的,反而影响效率。chinese_lexer的最大改进就是该分析器能认识大部分常用汉语词汇,因此能更有效率地分析句子,像以上两个愚蠢的单元将不会再出现,极大提高了效率。但是它只支持 utf8, 如果你的数据库是zhs16gbk字符集,则只能使用笨笨的那个Chinese vgram lexer。

--以上的说法是针对于Oracle8i或者是更低级版本的,在Oracle 9.2中采用 Chinese_lexer 分析器测试是没有这个问题的。

如果不做任何设置,Oracle 缺省使用basic_lexer这个分析器。要指定使用哪一个lexer, 可以这样操作:

第一,在ctxsys用户下建立一个preference:


ctx_ddl.create_preference('cnlex','CHINESE_LEXER'); 


  第二,在建立intermedia索引时,指明所用的lexer:


create index idx_person_desc on personinfo(persondesc)indextype is ctxsys.context
parameters (
'DATASTORE CTXSYS.DIRECT_DATASTORE FILTER
CTXSYS.NULL_FILTER LEXER cnlex WORDLIST mywordlist') 

  这样建立的全文检索索引,就会使用CHINESE_LEXER作为分析器。

使用job定时同步和优化

在intermedia索引建好后,如果表中的数据发生变化,比如增加或修改了记录,怎么办?由于对表所发生的任何dml语句,都不会自动修改索引,因此,必须定时同步(sync)和优化(optimize)索引,以正确反映数据的变化。在索引建好后,我们可以在该用户下查到Oracle自动产生了以下几个表:(假设索引名为myindex):

DR$myindex$I,DR$myindex$K,DR$myindex$R,DR$myindex$N 

  其中以I表最重要,可以查询一下该表,看看有什么内容:


select token_text, token_count from DR$I_RSK1$I where rownum<=20;

  可以看到,该表中保存的其实就是Oracle 分析你的文档后,生成的term记录在这里,包括term出现的位置、次数、hash值等。当文档的内容改变后,可以想见这个I表的内容也应该相应改变,才能保证Oracle在做全文检索时正确检索到内容(因为所谓全文检索,其实核心就是查询这个表)。那么如何维护该表的内容呢?总不能每次数据改变都重新建立索引吧!这就用到sync 和 optimize了。

同步(sync):将新的term 保存到I表。

优化(optimize):清除I表的垃圾,主要是将已经被删除的term从I表删除。

检查全文索引是否创建成功

1、检查DR$myindex$I是否存在,其中的 myindex 代表建立的索引名称;

2、检查全文索引是否创建成功,最好采用 Contains来检查,具体的语法为


Contains(ColumnName,SearcherKey) > 0// ColumnName为所需要检查的列名,也即创建了全文索引的列名
// SearcherKey 为你需要查找的内容,为字符型 


  列如,按上面创建的全文索引,可以使用如下的语句:


Select * From PERSONINFO Where Containts(PERSONDESC, 'abcd',1) > 0
Select * From PERSONINFO Where Containts(PERSONDESC, 'abcd',1) > 0 

如果你创建的全文索引不成功,则返回失败,其内容为:

ORA-20000: Oracle Text error: DRG-10599: 列没有编制索引

当然,如果你创建成功,则会正确返回数据。还有一个检查全文索引是否创建成功的方法是感觉创建全文索引后的查询速度。

测试数据

下面是对一个表进行操作时,在同一台机器中获得的测试数据。

PersonInfo表中共有 182263 条记录,其中persondesc不为null的记录数为180187 条记录,

其中,persondesc 包括 “大学”两个汉字的记录数为 21579 条记录

persondesc 包括 “1999”两个汉字的记录数为 10889条记录

测试一、直接用like 来查询中文“大学”


SQL: Select count(*) From personinfo Where persondesc like '%大学%'


  时间开销:耗时 40秒 688 毫秒

测试二、直接用like 来查询英文“1999”


SQL: Select count(*) From personinfo Where persondesc like '%1999%'


  时间开销:耗时 47秒 218毫秒

测试三、未创建全文索引时,直接用dbms_lob.instr 来查询中文“大学”


SQL: Select count(*) From personinfo Where dbms_lob.instr(persondesc,'大学',1,1)>0 


  时间开销:耗时 47秒 031毫秒

测试四、未创建全文索引时,直接用dbms_lob.instr 来查询英文“1999”


SQL: Select count(*) From personinfo Where dbms_lob.instr(persondesc,'1999',1,1)>0 


  时间开销:耗时 44秒 360毫秒

测试五、未创建全文索引时,直接用Contains 来查询中文“大学”


SQL: Select count(*) From personinfo Where Contains(persondesc,'大学',1)>0"; 

  执行失败: ORA-20000: Oracle Text error: DRG-10599: 列没有编制索引

测试六、未创建全文索引时,直接用Contains 来查询英文“1999”


SQL: Select count(*) From personinfo Where Contains(persondesc,'1999',1)>0";
 
  执行失败: ORA-20000: Oracle Text error: DRG-10599: 列没有编制索引

测试七、采用CHINESE_LEXER词法分析器创建全文索引后,直接用Contains 来查询英文“1999”


SQL: Select count(*) From personinfo Where Contains(persondesc,'1999',1)>0"; 

  时间开销:第一次查询耗时 469毫秒,后面的多次查询耗时 210毫秒左右

***查询出来的记录数比在未建立索引时用like、dbms_lob.instr方式查询出来的记录数要少一些

测试八、采用CHINESE_LEXER词法分析器创建全文索引后,直接用Contains 来查询中文“大学”


SQL: Select count(*) From personinfo Where Contains(persondesc,'大学',1)>0"; 


  时间开销:第一次查询耗时 9秒359毫秒,后面的多次查询耗时 210毫秒左右

***查询出来的记录数比在未建立索引时用like、dbms_lob.instr方式查询出来的记录数要少一些

测试九、采用CHINESE_LEXER词法分析器创建全文索引后,用dbms_lob.instr 来查询中文“大学”


SQL: Select count(*) From personinfo Where dbms_lob.instr(persondesc,'大学',1,1)>0 


  时间开销:耗时 54秒 953毫秒

测试十、采用CHINESE_LEXER词法分析器创建全文索引后,直接用dbms_lob.instr 来查询英文“1999”


SQL: Select count(*) From personinfo Where dbms_lob.instr(persondesc,'1999',1,1)>0
 

  时间开销:耗时 52秒 652毫秒

  总体感觉Oracle的中文全文索引不是很好。后续版本或许会有所改进吧。


Oracle数据库中文全文索引详解
 Oracle数据库中文全文索引详解(一)
 Oracle数据库中文全文索引详解(二)

 
来源:csdn    作者:玄机逸士    
 
 
 
 
 

Oracle指南与技巧

 
对于一个有相关IT经验的人来说,从头学起PL/SQL该选什么样的书?一本好书对于学习一门新技术究竟有多大的影响?专家Dan Clamage给出了解答。
 
1986年,有将近500个Oracle用户来到旧金山,参加第一届的IOUW会议。到了1996年,甲骨文宣布正式将IOUW改名为我们所熟悉的Oracle OpenWorld。
 
如何才能为数据库创建一个新的数据库用户名和密码,而这个用户需要是一个同时存在的用户?专家将给出解答。
 
两个表拥有不同的主键,能否将一个表的数据拷贝到另一个表当中,专家Dan Clamage将为您做出解答。
 
对于甲骨文来说,2009是既动荡又有趣的一年。他们在这一年提出了收购Sun微系统,这可能是他们迄今为止最大胆的一笔收购。

热门技术手册排行

 

在本次的技术手册中,我们为您提供了PL/SQL的基础知识以及专家指导,包括了PL/SQL中的数据类型简介、PL/SQL函数与触发器以及PL/SQL中的存储过程等,相信您无论是高手还是菜鸟都可以获得有帮助的信息。

 

本系列文章由三部分组成,为Oracle数据库管理员(DBA)面试成功的必备手册。本专题内容囊括从DBA最初的面试开始,从写“杀手简历”到求职信、到面试过程到Oracle认证再到上升到公司高层最后到你成为公司里的明星DBA。专家为你一一指点迷津,最终让你登上成功的宝座。

 

要成为一名DBA,你需要具备哪些素质?DBA的薪酬待遇如何?DBA的职业道路究竟可以走向何方?我们将在本次的技术手册中为您一一解答。

 

在本次技术手册中,我们将对SQL Server存储过程的调试进行详细的介绍,包括了基础的调试方法和在调试过程中出现的T-SQL性能问题和解决方法。

 

本技术专题主要围绕sql server设计这个话题展开,侧重介绍了sql server集簇索引的设计、如何创建sql server索引、如何优化索引、索引的能与不能、处理sql server 2000索引碎片技巧以及维护sql server索引以实现查询优化等等。

查看更多
 
 

登录TechTarget中国

关闭
本服务仅向TechTarget中国的会员开放,请登录或立即免费注册
电子邮件地址:
请输入您的电子邮件地址
密码:
下次自动登录