Monthly Archives: August 2006

+ 针对数据库的update操作多的情况，可以采用以下方式加快数据同步: 1. 用户在更新数据后，马上将该条记录的host,database,table,primary key name and value 发送给DBLu，DBLu可以选择将该记录加入等待更新的队列或者马上更新； 2. 如果实在不想在更新数据后的程序中执行任何修改，为了加快索引库的更新，可在程序启动时，将索引库装入内存中，搜索和更新操作面向的将会内存中的数据，并用另外的机器定期负责索引的全部重建工作，在索引全部重建后，在系统idel高时，将重建的索引库重新装入内存，覆盖原来内存镜像。即搜索和更新的操作完全的内存执行，而重建工作在文件系统上做。

8.28 ——————————— // 返回查询需要的时间 // 返回结果中，记录集的字段可以指定，通过url传递的returnFields=xx,yy,xx的方式 // 增加 指定分词器(analyzer)的功能 8.27 ————————— // 增加对数据量大的情况的数据 – 修改的文件包括 com.zhongzichang.lucene下的IndexOneScheduleTask.java 和 Database.java // Database.java 关于连接时使用的encoding , 逻辑有问题 ,已改正 // 修改输出的xml文件的增加内容的cdata括号 // 增加用jdom验证xml 字符的合法性 // 删除代码中出现的 BasicConfig.config() 4 log4j 后,log4j的输出正常 8.17 DBLu的需求——————— 数据量特别大的情况: 不需要用户来考虑，由内部处理 返回的结果可定制 … Continue reading →

一、为何需要DBLu 基于数据库的Web应用需要全文检索的能力 传统数据库的模糊匹配能力很差，像%like% 这样的查询会吃掉数据库服务器90%以上的数据库资源，因此系统需要将精准匹配保留个数据库系统，而将模糊匹配交给独立的检索系统 呵呵，我们的mysql经常因为用户的like操作而死掉:( 二、DBLu的特点 基于Lucene（高效、全文检索、平台无关等）; 部署简单 – 整个应用打成war包，可使用各种应用部署工具直接部署； 配置灵活 – 配置文件提供的配置选项可以满足用户的各种需求； 使用代价小 – 现有应用需要改动的只是将原向数据库引擎提出的搜索请求改为向DBLu发出。 三、索引规则 一次性全部创建: 用户对数据表进行一次性的索引，以后不再对索引库进行更新操作； 先全部创建，然后按计划更新（包含更改和追加操作）: 执行对数据表的一次性创建索引后，以后按计划局部更新数据表中的数据到索引库中； 先全部创建，然后按计划追加: 执行对数据表的一次性创建索引后，以后按计划局部追加数据表中的数据到索引库中； 按计划全部重建: 按计划，将数据表对应的索引库进行全部重建。 说明，索引规则最好根据数据表的情况来进行设置，对于一个数据表可以使用多种规则。一般情况下，对于一个数据表最好使用 “按计划全部重建”+按计划追加“两种规则。因为更新的情况下，索引机器的资源消耗太大，所以一般只能在应用服务器自己做更新日志，提供数据说明那些记录更新的情况下才使用，而针对日志式更新的工作还没有做，所以不建议使用第二种”按计划更新“规则。 四、其他注意问题 如果删除某个数据表对应的索引库，而描述该表的配置文件仍然生效，则表对应的索引库将会指定的时间间隔内被重建； 当删除、添加、更新配置文件的情况发生时； sql 中的 where、orderby、limit是可变化的情况； 按词截段，指定段的长度，最多多少段，截取后的长度限制（相当于Highlight啦）。 五、关于客户端 客户端主要工作是将XML数据转换成相应的对象object； PHP客户端使用SAX解释器，DOM存在PHP4和5的兼容问题。