技术-搜索引擎 | 出家如初，成佛有余

企业级搜索引擎Solr使用入门指南

Posted 07月 29, 2008

Comments(2)

由于搜索引擎功能在门户社区中对提高用户体验有着重在门户社区中涉及大量需要搜索引擎的功能需求，目前在实现搜索引擎的方案上有集中方案可供选择：

基于Lucene自己进行封装实现站内搜索。

工作量及扩展性都较大，不采用。

调用Google、Baidu的API实现站内搜索

同第三方搜索引擎绑定太死，无法满足后期业务扩展需要，暂时不采用。

基于Compass+Lucene实现站内搜索

适合于对数据库驱动的应用数据进行索引，尤其是替代传统的like ‘%expression%’来实现对varchar或clob等字段的索引，对于实现站内搜索是一种值得采纳的方案。但在分布式处理、接口封装上尚需要自己进行一定程度的封装，暂时不采用。

基于Solr实现站内搜索

封装及扩展性较好，提供了较为完备的解决方案，因此在门户社区中采用此方案，后期加入Compass方案。

1、 Solr简介

Solr是一个基于Lucene的Java搜索引擎服务器。Solr 提供了层面搜索、命中醒目显示并且支持多种输出格式（包括 XML/XSLT 和 JSON 格式）。它易于安装和配置，而且附带了一个基于 HTTP 的管理界面。Solr已经在众多大型的网站中使用，较为成熟和稳定。Solr 包装并扩展了 Lucene，所以Solr的基本上沿用了Lucene的相关术语。更重要的是，Solr 创建的索引与 Lucene 搜索引擎库完全兼容。通过对 Solr 进行适当的配置，某些情况下可能需要进行编码，Solr 可以阅读和使用构建到其他 Lucene 应用程序中的索引。此外，很多 Lucene 工具（如Nutch、 Luke）也可以使用 Solr 创建的索引。

2、 Tomcat下Solr安装配置

由于Solr基于java开发，因此Solr在windows及Linux都能较好部署使用，但由于Solr提供了一些用于测试及管理、维护较为方便的shell脚本，因此在生产部署时候建议安装在Linux上，测试时候可以在windows使用。

下面以Linux下安装配置Solr进行说明，windows与此类似。

wget http://apache.mirror.phpchina.com/tomcat/tomcat-6/v6.0.16/bin/apache-tomcat-6.0.16.zip

unzip apache-tomcat-6.0.16.zip

mv apache-tomcat-6.0.16 /opt/tomcat

chmod 755 /opt/tomcat/bin/*

wget http://apache.mirror.phpchina.com/lucene/solr/1.2/apache-solr-1.2.0.tgz

tar zxvf apache-solr-1.2.0.tgz

Solr的安装配置最为麻烦的是对solr.solr.home的理解和配置，主要有三种

基于当前路径的方式

cp apache-solr-1.2.0/dist/apache-solr-1.2.0.war /opt/tomcat/webapps/solr.war

mkdir /opt/solr-tomcat

cp -r apache-solr-1.2.0/example/solr/ /opt/solr-tomcat/

cd /opt/solr-tomcat

/opt/tomcat/bin/startup.sh

由于在此种情况下（没有设定solr.solr.home环境变量或JNDI的情况下），Solr查找./solr，因此在启动时候需要切换到/opt/solr-tomcat

基于环境变量solr.solr.home

在当前用户的环境变量中（.bash_profile）或在/opt/tomcat/catalina.sh中添加如下环境变量

export JAVA_OPTS="$JAVA_OPTS -Dsolr.solr.home=/opt/solr-tomcat/solr"

基于JNDI配置

mkdir –p /opt/tomcat/conf/Catalina/localhost

touch /opt/tomcat/conf/Catalina/localhost/solr.xml ，内容如下:

      <Context docBase="/opt/tomcat/webapps/solr.war" debug="0" crossContext="true" >

                 <Environment name="solr/home" type="java.lang.String" value="/opt/solr-tomcat/solr" override="true" />

    </Context>

访问solr管理界面

http://ip:port/solr

3、 Solr原理

Solr对外提供标准的http接口来实现对数据的索引的增加、删除、修改、查询。在 Solr 中，用户通过向部署在servlet 容器中的 Solr Web 应用程序发送 HTTP 请求来启动索引和搜索。Solr 接受请求，确定要使用的适当SolrRequestHandler，然后处理请求。通过 HTTP 以同样的方式返回响应。默认配置返回 Solr 的标准 XML 响应，也可以配置 Solr 的备用响应格式。

可以向 Solr 索引 servlet 传递四个不同的索引请求：

add/update 允许向 Solr 添加文档或更新文档。直到提交后才能搜索到这些添加和更新。
commit 告诉 Solr，应该使上次提交以来所做的所有更改都可以搜索到。
optimize 重构 Lucene 的文件以改进搜索性能。索引完成后执行一下优化通常比较好。如果更新比较频繁，则应该在使用率较低的时候安排优化。一个索引无需优化也可以正常地运行。优化是一个耗时较多的过程。
delete 可以通过 id 或查询来指定。按 id 删除将删除具有指定 id 的文档；按查询删除将删除查询返回的所有文档。

一个典型的Add请求报文

<add>

<doc>

<field name="id">TWINX2048-3200PRO</field>

<field name="name">CORSAIR XMS 2GB (2 x 1GB) 184-Pin DDR SDRAM Unbuffered DDR 400 (PC 3200) Dual Channel Kit System Memory - Retail</field>

<field name="manu">Corsair Microsystems Inc.</field>

<field name="cat">electronics</field>

<field name="cat">memory</field>

<field name="features">CAS latency 2, 2-3-3-6 timing, 2.75v, unbuffered, heat-spreader</field>

</doc>

<doc>

<field name="name">CORSAIR ValueSelect 1GB 184-Pin DDR SDRAM Unbuffered DDR 400 (PC 3200) System Memory - Retail</field>

<field name="manu">Corsair Microsystems Inc.</field>

<field name="cat">electronics</field>

<field name="cat">memory</field>

</doc>

</add>

一个典型的搜索结果报文：

<str name="fl">*,score</str>

<str name="q">content:"faceted browsing"</str>

</lst>

<doc>

<str>http://localhost/myBlog/solr-rocks-again.html</str>

<str>Solr is Great</str>

<str>solr,lucene,enterprise,search,greatness</str>

<str>Solr has some really great features, like faceted browsing

and replication</str>

</arr>

<str>Solr has some really great features, like faceted browsing

and replication</str>

</arr>

<str>solr,lucene,enterprise,search,greatness</str>

</arr>

<str name="title">Solr is Great</str>

<str name="url">http://localhost/myBlog/solr-rocks-again.html</str>

</doc>

</result>

<str>Solr has some really great features, like <em>faceted</em>

<em>browsing</em> and replication</str>

</arr>

</lst>

</response>

关于solr的详细使用说明，请参考

http://wiki.apache.org/solr/FrontPage

4、 Solr测试使用

Solr的安装包包含了相关的测试样例，路径在apache-solr-1.2.0/example/exampledocs

使用shell脚本（curl）测试Solr的操作：

cd apache-solr-1.2.0/example/exampledocs

vi post.sh，根据tomcat的ip、port修改URL变量的值URL=http://localhost:8080/solr/update

./post.sh *.xml                 #

使用Solr的java 包测试Solr的操作：

查看帮助：java -jar post.jar –help

提交测试数据：

java -Durl=http://localhost:8080/solr/update -Ddata=files -jar post.jar *.xml

下面以增加索引字段liangchuan、url为例，说明一下Solr中索引命令的使用

1) 修改solr的schema，配置需要索引字段的说明：

vi /opt/solr-tomcat/solr/conf/schema.xml ,在<fields>中增加如下内容

2) 创建增加索引请求的xml测试文件

touch /root/apache-solr-1.2.0/example/exampledocs/liangchuan.xml,内容如下：

<add>

<doc>

<field name="id">liangchuan000</field>

<field name="name">Solr, the Enterprise Search Server</field>

<field name="manu">Apache Software Foundation</field>

<field name="liangchuan">liangchuan’s solr "hello,world" test</field>

<field name="url">http://www.google.com</field>

</doc>

</add>

3) 提交索引请求

cd apache-solr-1.2.0/example/exampledocs

    ./post.sh liangchuan.xml

4) 查询

通过solr的管理员界面http://localhost:8080/solr/admin查询

或通过curl 测试：

       export URL="http://localhost:8080/solr/select/"

       curl "$URL?indent=on&q=liangchuan&fl=*,score"

5、Solr查询条件参数说明

参数	描述	示例
q	Solr 中用来搜索的查询。可以通过追加一个分号和已索引且未进行断词的字段的名称来包含排序信息。默认的排序是 score desc，指按记分降序排序。	q=myField:Java AND otherField:developerWorks; date asc 此查询搜索指定的两个字段并根据一个日期字段对结果进行排序。
start	将初始偏移量指定到结果集中。可用于对结果进行分页。默认值为 0。	start=15 返回从第 15 个结果开始的结果。
rows	返回文档的最大数目。默认值为 10。	rows=25
fq	提供一个可选的筛选器查询。查询结果被限制为仅搜索筛选器查询返回的结果。筛选过的查询由 Solr 进行缓存。它们对提高复杂查询的速度非常有用。	任何可以用 q 参数传递的有效查询，排序信息除外。
hl	当 hl=true 时，在查询响应中醒目显示片段。默认为 false。参看醒目显示参数上的 Solr Wiki 部分可以查看更多选项	hl=true
fl	作为逗号分隔的列表指定文档结果中应返回的 Field 集。默认为 “*”，指所有的字段。“score” 指还应返回记分。	*,score

   其中关于Solr查询相关的参数详细的信息请参看：

   http://wiki.apache.org/solr/CommonQueryParameters

Solr的查询条件参数q的格式与Lucene相同，具体参看：

http://lucene.apache.org/java/docs/queryparsersyntax.html

6、在门户社区中solr使用模式

在门户社区中需要使用solr，可采用如下模式：

对原有系统已有的数据或需要索引的数据量较大的情况

直接采用通过http方式调用solr的接口方式，效率较差，采用solr本身对csv 的支持（http://wiki.apache.org/solr/UpdateCSV

），将数据导出为csv格式，然后调用solr的csv接口http://localhost:8080/solr/update/csv

对系统新增的数据

先将需要索引查询的数据组装成xml格式，然后使用httpclient 将数据提交到solr 的http接口，例如

http://localhost:8080/solr/update

   也可以参考post.jar中的SimplePostTool的实现。

http://svn.apache.org/viewvc/lucene/solr/trunk/src/java/org/apache/solr/util/SimplePostTool.java?view=co

中文分词

采用庖丁解牛作为solr（Lucene）缺省的中文分词方案

项目库：http://code.google.com/p/paoding/

Google groups：http://groups.google.com/group/paoding

Javaeye的groups：http://analysis.group.javaeye.com/

与nutch的集成使用

http://blog.foofactory.fi/2007/02/online-indexing-integrating-nutch-with.html

嵌入式Solr

http://wiki.apache.org/solr/Solrj#EmbeddedSolrServer

分布式索引

http://wiki.apache.org/solr/CollectionDistribution

7、参考资料

http://wiki.apache.org/solr/

http://www.ibm.com/developerworks/cn/java/j-solr1/

http://www.ibm.com/developerworks/cn/java/j-solr2/

http://www.xml.com/pub/a/2006/08/09/solr-indexing-xml-with-lucene-andrest.html?page=1

http://lucene.apache.org/java/docs/queryparsersyntax.html

http://www.blogjava.net/RongHao/archive/2007/11/06/158621.html

Technorati Tags: lucene,solr,搜索引擎,compass

htmlparser encoding 问题

Posted 06月 19, 2008

Comments(1)

使用htmlparser爬取一些页面时候（例如http://bbs.pcpop.com/O71228/1286458.html），会抛出org.htmlparser.util.EncodingChangeException异常：

例如执行如下代码（junit代码）：

public void testLinkTag() {

try {

NodeFilter filter = new NodeClassFilter(LinkTag.class);

Parser parser = new Parser();

parser.setURL(”http://bbs.pcpop.com/O71228/1286458.html”);

parser.setEncoding(parser.getEncoding());

logger.fatal(”Encoding is “+parser.getEncoding());

NodeList list = parser.extractAllNodesThatMatch(filter);

for (int i = 0; i < list.size(); i++) {

LinkTag node = (LinkTag) list.elementAt(i);

logger.fatal(”testLinkTag() Link is :” + node.extractLink());

}

} catch (Exception e) {

e.printStackTrace();

}

会抛出如下异常

org.htmlparser.util.EncodingChangeException: character mismatch (new: 涓 [0×6d93] != old: [0×4e2d中]) for encoding change from UTF-8 to GB2312 at character offset 158

at org.htmlparser.lexer.InputStreamSource.setEncoding(InputStreamSource.java:280)

at org.htmlparser.lexer.Page.setEncoding(Page.java:865)

at org.htmlparser.tags.MetaTag.doSemanticAction(MetaTag.java:150)

at org.htmlparser.scanners.TagScanner.scan(TagScanner.java:69)

at org.htmlparser.scanners.CompositeTagScanner.scan(CompositeTagScanner.java:160)

at org.htmlparser.util.IteratorImpl.nextNode(IteratorImpl.java:92)

at org.htmlparser.Parser.visitAllNodesWith(Parser.java:726)

at ParserTestCase1.testImageVisitor(ParserTestCase1.java:71)

at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)

at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)

at java.lang.reflect.Method.invoke(Method.java:585)

at junit.framework.TestCase.runTest(TestCase.java:154)

at junit.framework.TestCase.runBare(TestCase.java:127)

at junit.framework.TestResult$1.protect(TestResult.java:106)

at junit.framework.TestResult.runProtected(TestResult.java:124)

at junit.framework.TestResult.run(TestResult.java:109)

at junit.framework.TestCase.run(TestCase.java:118)

at junit.framework.TestSuite.runTest(TestSuite.java:208)

at junit.framework.TestSuite.run(TestSuite.java:203)

at org.eclipse.jdt.internal.junit.runner.junit3.JUnit3TestReference.run(JUnit3TestReference.java:130)

at org.eclipse.jdt.internal.junit.runner.TestExecution.run(TestExecution.java:38)

at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:460)

at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:673)

at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.run(RemoteTestRunner.java:386)

at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.main(RemoteTestRunner.java:196)

分析此类型的页面可以知道，主要原因还是org.htmlparser.tags.MetaTag对页面缺省Encoding的处理存在问题

对于页面http://bbs.pcpop.com/O71228/1286458.html，其页面缺省的编码为gb2312

        <META http-equiv="Content-Type" content="text/html; charset=gb2312">

但在服务器的Respone中是utf-8编码，因此浏览器是按照utf-8来编码。

HTTP/1.x 200 OK

Date: Thu, 19 Jun 2008 03:16:53 GMT

Server: Microsoft-IIS/6.0

X-Powered-By: ASP.NET

X-AspNet-Version: 2.0.50727

Cache-Control: private

Content-Type: text/html; charset=utf-8

Content-Length: 130386

但在htmlparser中，即使调用parser.setEncoding(parser.getEncoding())后，在MetaTag处理时候，没有沿用Parser设定的encoding

修改如下：

public void doSemanticAction ()

throws

ParserException

{

String httpEquiv;

String charset;

httpEquiv = getHttpEquiv ();

if (”Content-Type”.equalsIgnoreCase (httpEquiv)){

//charset = getPage ().getCharset (getAttribute (”CONTENT”));

//getPage ().setEncoding (charset);

if (Page.DEFAULT_CHARSET == getPage ().getEncoding ()){

charset = getPage ().getCharset (getAttribute (”CONTENT”));

getPage ().setEncoding (charset);

}

Technorati 标签: htmlparser,encoding

htmlparser使用指南

Posted 05月 19, 2008

Comments(2)

需要做一个垂直搜索引擎，比较了nekohtml和htmlparser 的功能，尽管nekohtml在容错性、性能等方面的口碑好像比htmlparser好（htmlunit也用的是nekohtml），但感觉nekohtml的测试用例和文档都比htmlparser都少，而且htmlparser基本上能够满足垂直搜索引擎页面处理分析的需求，因此先研究一下htmlparser的使用，有空再研究nekohtml和mozilla html parser的使用。

html的功能还是官方说得最为清楚，

HTML Parser is a Java library used to parse HTML in either a linear or nested fashion. Primarily used for transformation or extraction, it features filters, visitors, custom tags and easy to use JavaBeans. It is a fast, robust and well tested package.

The two fundamental use-cases that are handled by the parser are extraction and transformation (the syntheses use-case, where HTML pages are created from scratch, is better handled by other tools closer to the source of data). While prior versions concentrated on data extraction from web pages, Version 1.4 of the HTMLParser has substantial improvements in the area of transforming web pages, with simplified tag creation and editing, and verbatim toHtml() method output.

研究的重点还是extraction的使用，有空再研究transformation的使用。

1、htmlparser对html页面处理的数据结构

如图所示，HtmlParser采用了经典的Composite模式，通过RemarkNode、TextNode、TagNode、AbstractNode和Tag来描述HTML页面各元素。

org.htmlparser.Node：

Node接口定义了进行树形结构节点操作的各种典型操作方法，包括：

节点到html文本、text文本的方法：toPlainTextString、toHtml

典型树形结构遍历的方法：getParent、getChildren、getFirstChild、getLastChild、getPreviousSibling、getNextSibling、getText

获取节点对应的树形结构结构的顶级节点Page对象方法：getPage

获取节点起始位置的方法：getStartPosition、getEndPosition

Visitor方法遍历节点时候方法：accept (NodeVisitor visitor)

Filter方法：collectInto (NodeList list, NodeFilter filter)

Object方法：toString、clone

org.htmlparser.nodes.AbstractNode：

AbstractNode是形成HTML树形结构抽象基类，实现了Node接口。

在htmlparser中，Node分成三类：

RemarkNode：代表Html中的注释

TagNode：标签节点。

TextNode：文本节点

这三类节点都继承AbstractNode。

org.htmlparser.nodes.TagNode：

TagNode包含了对HTML处理的核心的各个类，是所有TAG的基类，其中有分为包含其他TAG的复合节点ComositeTag和不包含其他TAG的叶子节点Tag。

复合节点CompositeTag：

AppletTag,BodyTag,Bullet,BulletList,DefinitionList,DefinitionListBullet,Div,FormTag,FrameSetTag,HeadingTag,

HeadTag,Html,LabelTag,LinkTag,ObjectTag,ParagraphTag,ScriptTag,SelectTag,Span,StyleTag,TableColumn,

TableHeader,TableRow,TableTag,TextareaTag,TitleTag

叶子节点TAG：

BaseHrefTag,DoctypeTag,FrameTag,ImageTag,InputTag,JspTag,MetaTag,ProcessingInstructionTag,

2、htmlparser对html页面处理的算法

主要是如下几种方式

采用Visitor方式访问Html

try {
    Parser parser = new Parser();
    parser.setURL(”http://www.google.com”);
    parser.setEncoding(parser.getEncoding());
    NodeVisitor visitor = new NodeVisitor() {
        public void visitTag(Tag tag) {
            logger.fatal(”testVisitorAll() Tag name is :”
                    + tag.getTagName() + ” \n Class is :”
                    + tag.getClass());
        }

};

parser.visitAllNodesWith(visitor);
} catch (ParserException e) {
e.printStackTrace();
}

采用Filter方式访问html

try {

    NodeFilter filter = new NodeClassFilter(LinkTag.class);
    Parser parser = new Parser();
    parser.setURL(”http://www.google.com”);
    parser.setEncoding(parser.getEncoding());
    NodeList list = parser.extractAllNodesThatMatch(filter);
    for (int i = 0; i < list.size(); i++) {
        LinkTag node = (LinkTag) list.elementAt(i);
        logger.fatal(”testLinkTag() Link is :” + node.extractLink());
    }
} catch (Exception e) {
    e.printStackTrace();
}

采用org.htmlparser.beans方式

另外htmlparser 还在org.htmlparser.beans中对一些常用的方法进行了封装，以简化操作，例如：

Parser parser = new Parser();

LinkBean linkBean = new LinkBean();
linkBean.setURL(”http://www.google.com”);
URL[] urls = linkBean.getLinks();

for (int i = 0; i < urls.length; i++) {
URL url = urls[i];
logger.fatal(”testLinkBean() -url is :” + url);
}

3、htmlparser关键包结构说明

htmlparser其实核心代码并不多，好好研究一下其代码，弥补文档不足的问题。同时htmlparser的代码注释和单元测试用例还是很齐全的，也有助于了解htmlparser的用法。

3.1、org.htmlparser

定义了htmlparser的一些基础类。其中最为重要的是Parser类。

Parser是htmlparser的最核心的类，其构造函数提供了如下：Parser.createParser (String html, String charset)、 Parser ()、Parser (Lexer lexer, ParserFeedback fb)、Parser (URLConnection connection, ParserFeedback fb)、Parser (String resource, ParserFeedback feedback)、 Parser (String resource)

各构造函数的具体用法及含义可以查看其代码，很容易理解。

Parser常用的几个方法：

elements获取元素

    Parser parser = new Parser (”http://www.google.com”);
    for (NodeIterator i = parser.elements (); i.hasMoreElements (); )
      processMyNodes (i.nextNode ());

parse (NodeFilter filter)：通过NodeFilter方式获取
visitAllNodesWith (NodeVisitor visitor)：通过Nodevisitor方式
extractAllNodesThatMatch (NodeFilter filter)：通过NodeFilter方式

3.2、org.htmlparser.beans

对Visitor和Filter的方法进行了封装，定义了针对一些常用html元素操作的bean，简化对常用元素的提取操作。

包括：FilterBean、HTMLLinkBean、HTMLTextBean、LinkBean、StringBean、BeanyBaby等。

3.3、org.htmlparser.nodes

定义了基础的node，包括：AbstractNode、RemarkNode、TagNode、TextNode等。

3.4、org.htmlparser.tags

定义了htmlparser的各种tag。

3.5、org.htmlparser.filters

定义了htmlparser所提供的各种filter，主要通过extractAllNodesThatMatch (NodeFilter filter)来对html页面指定类型的元素进行过滤，包括：AndFilter、CssSelectorNodeFilter、HasAttributeFilter、HasChildFilter、HasParentFilter、HasSiblingFilter、IsEqualFilter、LinkRegexFilter、LinkStringFilter、NodeClassFilter、NotFilter、OrFilter、RegexFilter、StringFilter、TagNameFilter、XorFilter

3.6、org.htmlparser.visitors

定义了htmlparser所提供的各种visitor，主要通过visitAllNodesWith (NodeVisitor visitor)来对html页面元素进行遍历，包括：HtmlPage、LinkFindingVisitor、NodeVisitor、ObjectFindingVisitor、StringFindingVisitor、TagFindingVisitor、TextExtractingVisitor、UrlModifyingVisitor

3.7、org.htmlparser.parserapplications

定义了一些实用的工具，包括LinkExtractor、SiteCapturer、StringExtractor、WikiCapturer，这几个类也可以作为htmlparser使用样例。

3.8、org.htmlparser.tests

对各种功能的单元测试用例，也可以作为htmlparser使用的样例。

4、htmlparser的使用样例

import java.net.URL;

import junit.framework.TestCase;

import org.apache.log4j.Logger;
import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.Tag;
import org.htmlparser.beans.LinkBean;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.filters.OrFilter;
import org.htmlparser.filters.TagNameFilter;
import org.htmlparser.tags.HeadTag;
import org.htmlparser.tags.ImageTag;
import org.htmlparser.tags.InputTag;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.tags.OptionTag;
import org.htmlparser.tags.SelectTag;
import org.htmlparser.tags.TableColumn;
import org.htmlparser.tags.TableRow;
import org.htmlparser.tags.TableTag;
import org.htmlparser.tags.TitleTag;
import org.htmlparser.util.NodeIterator;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;
import org.htmlparser.visitors.HtmlPage;
import org.htmlparser.visitors.NodeVisitor;
import org.htmlparser.visitors.ObjectFindingVisitor;

public class ParserTestCase extends TestCase {

private static final Logger logger = Logger.getLogger(ParserTestCase.class);

    public ParserTestCase(String name) {
        super(name);
    }
    /*
     * 测试ObjectFindVisitor的用法
     */
    public void testImageVisitor() {
        try {
            ImageTag imgLink;
            ObjectFindingVisitor visitor = new ObjectFindingVisitor(
                    ImageTag.class);
            Parser parser = new Parser();
            parser.setURL(”http://www.google.com”);
            parser.setEncoding(parser.getEncoding());
            parser.visitAllNodesWith(visitor);
            Node[] nodes = visitor.getTags();
            for (int i = 0; i < nodes.length; i++) {
                imgLink = (ImageTag) nodes[i];
                logger.fatal(”testImageVisitor() ImageURL = “
                        + imgLink.getImageURL());
                logger.fatal(”testImageVisitor() ImageLocation = “
                        + imgLink.extractImageLocn());
                logger.fatal(”testImageVisitor() SRC = “
                        + imgLink.getAttribute(”SRC”));
            }
        }
        catch (Exception e) {
            e.printStackTrace();
        }
    }
    /*
     * 测试TagNameFilter用法
     */
    public void testNodeFilter() {
        try {
            NodeFilter filter = new TagNameFilter(”IMG”);
            Parser parser = new Parser();
            parser.setURL(”http://www.google.com”);
            parser.setEncoding(parser.getEncoding());
            NodeList list = parser.extractAllNodesThatMatch(filter);
            for (int i = 0; i < list.size(); i++) {
                logger.fatal(”testNodeFilter() ” + list.elementAt(i).toHtml());
            }
        } catch (Exception e) {
            e.printStackTrace();
        }

    }
    /*
     * 测试NodeClassFilter用法
     */
    public void testLinkTag() {
        try {

            NodeFilter filter = new NodeClassFilter(LinkTag.class);
            Parser parser = new Parser();
            parser.setURL(”http://www.google.com”);
            parser.setEncoding(parser.getEncoding());
            NodeList list = parser.extractAllNodesThatMatch(filter);
            for (int i = 0; i < list.size(); i++) {
                LinkTag node = (LinkTag) list.elementAt(i);
                logger.fatal(”testLinkTag() Link is :” + node.extractLink());
            }
        } catch (Exception e) {
            e.printStackTrace();
        }

    }
    /*
     * 测试<link href=” text=’text/css’ rel=’stylesheet’ />用法
     */
    public void testLinkCSS() {
        try {

            Parser parser = new Parser();
            parser
                    .setInputHTML(”<head><title>Link Test</title>”
                            + “<link href=’/test01/css.css’ text=’text/css’ rel=’stylesheet’ />”
                            + “<link href=’/test02/css.css’ text=’text/css’ rel=’stylesheet’ />”
                            + “</head>” + “<body>”);
            parser.setEncoding(parser.getEncoding());
            NodeList nodeList = null;

            for (NodeIterator e = parser.elements(); e.hasMoreNodes();) {
                Node node = e.nextNode();
                logger
                        .fatal(”testLinkCSS()” + node.getText()
                                + node.getClass());

            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
    /*
     * 测试OrFilter的用法
     */
    public void testOrFilter() {
        NodeFilter inputFilter = new NodeClassFilter(InputTag.class);
        NodeFilter selectFilter = new NodeClassFilter(SelectTag.class);
        Parser myParser;
        NodeList nodeList = null;

        try {
            Parser parser = new Parser();
            parser
                    .setInputHTML(”<head><title>OrFilter Test</title>”
                            + “<link href=’/test01/css.css’ text=’text/css’ rel=’stylesheet’ />”
                            + “<link href=’/test02/css.css’ text=’text/css’ rel=’stylesheet’ />”
                            + “</head>”
                            + “<body>”
                            + “<input type=’text’ value=’text1′ name=’text1′/>”
                            + “<input type=’text’ value=’text2′ name=’text2′/>”
                            + “<select><option id=’1′>1</option><option id=’2′>2</option><option id=’3′></option></select>”
                            + “<a href=’http://www.yeeach.com’>yeeach.com</a>”
                            + “</body>”);

            parser.setEncoding(parser.getEncoding());
            OrFilter lastFilter = new OrFilter();
            lastFilter.setPredicates(new NodeFilter[] { selectFilter,
                    inputFilter });
            nodeList = parser.parse(lastFilter);
            for (int i = 0; i <= nodeList.size(); i++) {
                if (nodeList.elementAt(i) instanceof InputTag) {
                    InputTag tag = (InputTag) nodeList.elementAt(i);
                    logger.fatal(”OrFilter tag name is :” + tag.getTagName()
                            + ” ,tag value is:” + tag.getAttribute(”value”));
                }
                if (nodeList.elementAt(i) instanceof SelectTag) {
                    SelectTag tag = (SelectTag) nodeList.elementAt(i);
                    NodeList list = tag.getChildren();

                    for (int j = 0; j < list.size(); j++) {
                        OptionTag option = (OptionTag) list.elementAt(j);
                        logger
                                .fatal(”OrFilter Option”
                                        + option.getOptionText());
                    }

}
}

        } catch (ParserException e) {
            e.printStackTrace();
        }
    }
    /*
     * 测试对<table><tr><td></td></tr></table>的解析
     */
    public void testTable() {
        Parser myParser;
        NodeList nodeList = null;
        myParser = Parser.createParser(”<body> ” + “<table id=’table1′ >”
                + “<tr><td>1-11</td><td>1-12</td><td>1-13</td>”
                + “<tr><td>1-21</td><td>1-22</td><td>1-23</td>”
                + “<tr><td>1-31</td><td>1-32</td><td>1-33</td></table>”
                + “<table id=’table2′ >”
                + “<tr><td>2-11</td><td>2-12</td><td>2-13</td>”
                + “<tr><td>2-21</td><td>2-22</td><td>2-23</td>”
                + “<tr><td>2-31</td><td>2-32</td><td>2-33</td></table>”
                + “</body>”, “GBK”);
        NodeFilter tableFilter = new NodeClassFilter(TableTag.class);
        OrFilter lastFilter = new OrFilter();
        lastFilter.setPredicates(new NodeFilter[] { tableFilter });
        try {
            nodeList = myParser.parse(lastFilter);
            for (int i = 0; i <= nodeList.size(); i++) {
                if (nodeList.elementAt(i) instanceof TableTag) {
                    TableTag tag = (TableTag) nodeList.elementAt(i);
                    TableRow[] rows = tag.getRows();

                    for (int j = 0; j < rows.length; j++) {
                        TableRow tr = (TableRow) rows[j];
                        TableColumn[] td = tr.getColumns();
                        for (int k = 0; k < td.length; k++) {
                            logger.fatal(”<td>” + td[k].toPlainTextString());
                        }

}

}
}

        } catch (ParserException e) {
            e.printStackTrace();
        }
    }
    /*
     * 测试NodeVisitor的用法，遍历所有节点
     */
    public void testVisitorAll() {
        try {
            Parser parser = new Parser();
            parser.setURL(”http://www.google.com”);
            parser.setEncoding(parser.getEncoding());
            NodeVisitor visitor = new NodeVisitor() {
                public void visitTag(Tag tag) {
                    logger.fatal(”testVisitorAll() Tag name is :”
                            + tag.getTagName() + ” \n Class is :”
                            + tag.getClass());
                }

};

            parser.visitAllNodesWith(visitor);
        } catch (ParserException e) {
            e.printStackTrace();
        }
    }
    /*
     * 测试对指定Tag的NodeVisitor的用法
     */
    public void testTagVisitor() {
        try {

            Parser parser = new Parser(
                    “<head><title>dddd</title>”
                            + “<link href=’/test01/css.css’ text=’text/css’ rel=’stylesheet’ />”
                            + “<link href=’/test02/css.css’ text=’text/css’ rel=’stylesheet’ />”
                            + “</head>” + “<body>”
                            + “<a href=’http://www.yeeach.com’>yeeach.com</a>”
                            + “</body>”);
            NodeVisitor visitor = new NodeVisitor() {
                public void visitTag(Tag tag) {
                    if (tag instanceof HeadTag) {
                        logger.fatal(”visitTag() HeadTag : Tag name is :”
                                + tag.getTagName() + ” \n Class is :”
                                + tag.getClass() + “\n Text is :”
                                + tag.getText());
                    } else if (tag instanceof TitleTag) {
                        logger.fatal(”visitTag() TitleTag : Tag name is :”
                                + tag.getTagName() + ” \n Class is :”
                                + tag.getClass() + “\n Text is :”
                                + tag.getText());

                    } else if (tag instanceof LinkTag) {
                        logger.fatal(”visitTag() LinkTag : Tag name is :”
                                + tag.getTagName() + ” \n Class is :”
                                + tag.getClass() + “\n Text is :”
                                + tag.getText() + ” \n getAttribute is :”
                                + tag.getAttribute(”href”));
                    } else {
                        logger.fatal(”visitTag() : Tag name is :”
                                + tag.getTagName() + ” \n Class is :”
                                + tag.getClass() + “\n Text is :”
                                + tag.getText());
                    }

}

};

            parser.visitAllNodesWith(visitor);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
    /*
     * 测试HtmlPage的用法
     */
    public void testHtmlPage() {
        String inputHTML = “<html>” + “<head>”
                + “<title>Welcome to the HTMLParser website</title>”
                + “</head>” + “<body>” + “Welcome to HTMLParser”
                + “<table id=’table1′ >”
                + “<tr><td>1-11</td><td>1-12</td><td>1-13</td>”
                + “<tr><td>1-21</td><td>1-22</td><td>1-23</td>”
                + “<tr><td>1-31</td><td>1-32</td><td>1-33</td></table>”
                + “<table id=’table2′ >”
                + “<tr><td>2-11</td><td>2-12</td><td>2-13</td>”
                + “<tr><td>2-21</td><td>2-22</td><td>2-23</td>”
                + “<tr><td>2-31</td><td>2-32</td><td>2-33</td></table>”
                + “</body>” + “</html>”;
        Parser parser = new Parser();
        try {
            parser.setInputHTML(inputHTML);
            parser.setEncoding(parser.getURL());
            HtmlPage page = new HtmlPage(parser);
            parser.visitAllNodesWith(page);
            logger.fatal(”testHtmlPage -title is :” + page.getTitle());
            NodeList list = page.getBody();

            for (NodeIterator iterator = list.elements(); iterator
                    .hasMoreNodes();) {
                Node node = iterator.nextNode();
                logger.fatal(”testHtmlPage -node is :” + node.toHtml());
            }

        } catch (ParserException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }
    /*
     * 测试LinkBean的用法
     */
    public void testLinkBean() {
        Parser parser = new Parser();

        LinkBean linkBean = new LinkBean();
        linkBean.setURL(”http://www.google.com”);
        URL[] urls = linkBean.getLinks();

        for (int i = 0; i < urls.length; i++) {
            URL url = urls[i];
            logger.fatal(”testLinkBean() -url is :” + url);
        }

}

5、相关的项目

nekohtml ：评价比htmlparser好，把html正规化标准的xml文档，用xerces处理，但文档较少。

mozilla htmlparser：http://www.dapper.net/网站采用的html解析器，开源了，基于mozilla的解析器，值得研究一下。

http://jerichohtml.sourceforge.net/

http://htmlcleaner.sourceforge.net/

http://html.xamjwg.org/cobra.jsp

http://jrex.mozdev.org/

https://xhtmlrenderer.dev.java.net

其他一些html parser可以参考相关的汇总文章：

http://www.manageability.org/blog/stuff/screen-scraping-tools-written-in-java/view

http://java-source.net/open-source/html-parsers

http://www.open-open.com/30.htm

6、参考文档

http://www.blogjava.net/lostfire/archive/2006/07/02/56212.html

http://blog.csdn.net/scud/archive/2005/08/11/451397.aspx

http://chasethedevil.blogspot.com/2006/05/java-html-parsing-example-with.html

http://javaboutique.internet.com/tutorials/HTMLParser/

Technorati 标签: nekohtml,htmlparser,scraping,scrape,spider,爬虫,crawler

无线互联网垂直电子商务平台各系统内容运维策略思考

Posted 05月 16, 2008

Comments(0)

在平台的eSales系统、BSS/OSS系统、支付平台、门户这几大平台中，门户及eSales系统中有大量的关于手机软件、手机素材、手机型号参数、手机相关专业知识等相关的资源，这些内容的完备与否是各平台能否成功的关键所在。但作为一家以“渠道通路”为核心竞争力的初创性的互联网公司，内容本身的运维、运营并不是我们自己最为擅长的地方，近期也不可能招聘一批专职的内容运营人员来做网站内容本身的运营。从技术角度谈一下门户及eSales系统的内容运维策略，以更好支撑运营部门的日常运营。

1. 平台（门户、eSales系统）内容运维基本原则

门户定位：手机增值业务垂直性门户
内容运维基本原则：采用搜索引擎全自动或搜索引擎+人工（人肉搜索）方式对内容进行爬取入库
内容演进过程：垂直搜索引擎自动爬取的内容基础库（无原创内容，无筛选）->垂直搜索引擎爬取+内容运营人员编辑形成的内容库（较少原创内容，人工参与筛选）->垂直搜索引擎爬取+内容运营人员编辑+社区原创内容(具有部分原创内容)->以社区原创性内容为主的内容（UGC）。

第一阶段：垂直搜索引擎自动爬取的内容基础库

由垂直搜索引擎的对互联网上海量的手机内容进行自动爬取入库，形成自身的基础内容库；在内容上无太多的原创内容，也无内容编辑人员对爬取的内容进行筛选和过滤。这属于内容运维的第一阶段，也是近期的技术开发重点。

第二阶段：垂直搜索引擎爬取+内容运营人员编辑形成的内容库

在第一阶段的基础上，由内容运营人员对爬取内容进行审核、编辑，保证内容库的质量

第三阶段：垂直搜索引擎爬取+内容运营人员编辑+社区原创内容

在第三阶段基础上，将内容平台逐步开放，并将社区人员来参与到内容平台的建设中，充分发挥群体智慧的力量。

第四阶段：以社区原创性内容为主的内容

在社区逐步成熟后，在此阶段，平台的核心内容只要是用户参与产生的内容（UGC），这也是门户的核心价值。

2. 技术架构指导原则：

技术架构的统一：各平台核心数据模型、业务模型、技术架构必须遵循平台统一的架构，保证平台各系统的内容资源是完全复用的。

垂直搜索引擎的建设：尽管垂直门户的建设是门户的核心内容，但围绕“渠道通路”的建设才是的核心竞争力，这包括支付通路、内容分销通路、手机通路、互联网通路等，近期的建设重点并不是社区门户的建设，因此在开发上不能投入太多的开发资源到垂直搜索引擎的开发上，在满足未来扩展性的基础上，采用相对快捷的方式开发垂直搜索引擎。

3. 垂直搜索引擎技术实现

近期垂直搜索引擎的建设重点是爬虫，与普通的垂直性搜索引擎不同，我们是对网站内容进行爬取，而不对内容进行索引。而在内容爬取上，重点是对指定网站页面内容（例如北斗手机网）所需要内容的定向解析。

爬取整站内容或复杂爬取需求选用的爬虫框架：Heritrix、Nutch。但这两个框架都较重，初期我们并不需要处理诸如爬取层次、增量爬取等策略，因此这两个框架后期再采用。

对Javascript的解析：采用Rhino（SpiderMonkey）

爬取指定内容选用的爬虫框架（目前使用方式）：httpclient+htmlparser(nekohtml)。采用httpclient完成对网站内容指定页面的爬取，采用nekohtml或htmlparser包来对页面内容进行定向解析并爬取。在实现上可以参考httpunit对Rhino+httpclient+nekohtml的封装和实现。

对采用AJAX方式生成内容的爬取：采用Cobra（http://lobobrowser.org/cobra.jsp）

搜索引擎：采用Lucene+Compass

Technorati 标签: 电子商务,无线互联网,垂直搜索引擎,内容运营,heritrix,nutch,htmlparser,rhino,cobra,lucene

Compass 入门指南

Posted 03月 23, 2008

Comments(0)

在新架构中打算选择Compass或Hibernate Search作为搜索引擎框架，比较后，感觉Hibernate Search上还是没有Compass成熟，另外考虑到后期对网页的爬取及搜索需求，决定还是基于Compass来作为架构缺省的搜索引擎。网上关于Compass的文档很多，但说得相对完整其详细的入门文档基本上没有，Compass的官方文档倒是说得很详细，但是例子一塌糊涂，存在很大问题。记录一下搭建的过程，作为入门的指南。

Compass 通过OSEM(Object/Search Engine Mapping)允许把应用对象的领域模型映射到搜索引擎，最终通过访问common meta data来达到访问对象的目的。

1、几个核心概念

1.1、annotation vs. xml配置文件

Compass的配置文件主要分成三类：

第一类：*.cmd.xml文件*

.cmd.xml文件是对common meta data进行定义，定义了最终搜索的结果中的最基本的元数据。

第二类：*.cpm.xml文件

*.cpm.xml是Object/Search Engine Mapping,提供了POJO到common meta data的映射。

第三类：*.cfg.xml文件

Compass的*.cfg.xml定义了Compass的Index存放路径、搜索引擎分词等相关信息。

与采用xml配置文件相比较，采用Annonation方式还是相对简单，尤其是采用Spring时候，不用写*.cmd.xml文件、*.cpm.xml、*.cfg.xml，相对很方便，而且不像Hibernate的Annonation很多，Compass的Annonation的核心标注只有@Searchable、@SearchableId、@SearchableProperty、@SearchableComponent个，很容易记忆。因此推荐使用Annonation方式

１.2、Compass核心API

Compass的核心API借鉴了Hibernate的术语，因此在操作上基本上与Hibernate类似，以下为Compass的几个核心接口：

    CompassConfiguration(类似Hibernate Configuration)：用来在一些设置参数、配置文件和映射定义上配置Compass。通常用来创建Compass接口。
    Compass(类似Hibernate SessionFactory)：为单线程使用，创建线程安全的实例来打开Compass Seesion。同样还提供了一些搜索引擎索引级别的操作。
    CompassSesssion(类似Hibernate Session)：用来执行像保存、删除、查找、装载这样的搜索操作。很轻量但是并不是线程安全的。
    CompassTransaction(类似Hibernate Transaction)：管理Compass事务的接口。使用它并不需要事务管理环境（像Spring、JTA）。

1.3、Compass与Spring集成

Compass已经对对spring集成做了很好的封装，同时与Spring对Hibernate的支持类似，Compass也提供了CompassTemplate来简化诸如对Session、Transaction、Exception等操作，尽量充分使用此工具，可以有效提高效率。例如：

CompassTemplate ct = (CompassTemplate) context.getBean(”compassTemplate”);

Article article = new Article();
article.setTitle(”Compass Test”);
article.setPublishDate(new Date());
article.setAuthor(1);

ct.save(article); //存储对象需要索引的数据到Compass的索引中。

2、软件环境

Spring ：2.5

Compas：1.2.1

Hibernate：3.2.5

Mysql ：5.0.5

3、数据库脚本

CREATE TABLE `article` ( 

`Id` int(11) NOT NULL auto_increment, 

`title` varchar(40) NOT NULL default ”, 

`author` int(11) default ‘0′, 

`publish_date` date NOT NULL default ‘0000-00-00′, 

PRIMARY KEY (`Id`) ) TYPE=MyISAM; 

CREATE TABLE `author` ( 

`Id` int(11) NOT NULL auto_increment, 

`username` varchar(20) NOT NULL default ”, 

`password` varchar(20) NOT NULL default ”, 

`age` smallint(6) default ‘0′, 

PRIMARY KEY (`Id`) ) TYPE=MyISAM;

4、测试用例

从测试用例讲起比较容易把关系理清楚，不然一堆术语和概念很让人晕乎。

import org.apache.log4j.Logger;
import java.util.Date;

import junit.framework.TestCase;

import org.compass.core.Compass;
import org.compass.core.CompassDetachedHits;
import org.compass.core.CompassHit;
import org.compass.core.CompassHits;
import org.compass.core.CompassSession;
import org.compass.core.CompassTemplate;
import org.compass.core.CompassTransaction;
import org.compass.core.support.search.CompassSearchCommand;
import org.compass.core.support.search.CompassSearchResults;
import org.springframework.context.support.ClassPathXmlApplicationContext;

import com.mobilesoft.esales.dao.hibernate.ArticleDAO;
import com.mobilesoft.esales.dao.hibernate.AuthorDAO;
import com.mobilesoft.esales.model.Article;
import com.mobilesoft.esales.model.Author;
import com.mobilesoft.framework.search.service.CompassSearchService;

/**
 * Compass服务使用的测试用例
 * 
 * @author liangchuan@mobile-soft.cn
 * 
 */

public class TestCompass extends TestCase {

    private static final Logger logger = Logger.getLogger(TestCompass.class);

    private static ClassPathXmlApplicationContext context = null;
    private static CompassTemplate ct;

    static {
        context = new ClassPathXmlApplicationContext(new String[] {
                “applicationContext.xml”, “applicationContext-resources.xml”,
                “applicationContext-dao.xml”, “applicationContext-service.xml”,
                “applicationContext-compass.xml” });
        ct = (CompassTemplate) context.getBean(“compassTemplate”);
    }

    protected void setUp() throws Exception {

    }

    /**
     * 插入测试数据
     */
    public void testInsert() {

        ArticleDAO articleDao = (ArticleDAO) context.getBean(“articleDAO”);
        AuthorDAO authorDao = (AuthorDAO) context.getBean(“authorDAO”);
        Article article = new Article();
        Author author = new Author();
        author.setAge((short) 27);
        author.setUsername(“liangchuan”);
        author.setPassword(“liangchuan”);
        article.setTitle(“Compass Test”);
        article.setPublishDate(new Date());
        article.setAuthor(1);
        authorDao.save(author);
        articleDao.save(article);
        ct.save(article);
        ct.save(author);
    }

    /**
     * 用于测试使用CompassTransaction事务方式
     */
    public void testTransactionalFind() {

        Compass compass = ct.getCompass();
        CompassSession session = compass.openSession();
        CompassTransaction tx = null;
        try {
            tx = session.beginTransaction();
            CompassHits hits = session.find(“Compass*”);

            logger.error(“testTransactionalFind() - CompassHits hits=”
                    + hits.getLength());
            for (int i = 0; i < hits.getLength(); i++) {
                Object hit = hits.data(i);
                if (hit instanceof Article) {
                    Article item = (Article) hit;
                    logger.error(“testTransactionalFind() - article     hits=”
                            + item.getTitle());
                } else if (hit instanceof Author) {
                    Author item = (Author) hit;
                    logger.error(“testTransactionalFind() - author hits=”
                            + item.getUsername());
                } else {
                    logger.error(“testTransactionalFind() - error hits=”);
                }
            }
            tx.commit();
        } catch (Exception e) {
            if (tx != null) {
                tx.rollback();
            }
        } finally {
            session.close();
        }
    }

    /**
     * 用于演示CompassDetachedHits的使用。
     * 由于CompassTempalte得到的结果集必须在transactionalcontext中才能使用，
     * 因此必须使用CompassDetachedHits方式测试CompassDetachedHits方式
     */
    public void testDetachedFind() {

        // 由于CompassTempalte得到的结果集必须在transactional
        // context中才能使用，因此必须使用CompassDetachedHits方式
        // 测试CompassDetachedHits方式
        CompassDetachedHits hits = ct.findWithDetach(“Compass*”);

        logger.error(“testDetachedFind() - CompassHits hits=”
                + hits.getLength());
        for (int i = 0; i < hits.getLength(); i++) {
            Object hit = hits.data(i);
            if (hit instanceof Article) {
                Article item = (Article) hit;
                logger.error(“testDetachedFind() - article     hits=”
                        + item.getTitle());
            } else if (hit instanceof Author) {
                Author item = (Author) hit;
                logger.error(“testDetachedFind() - author hits=”
                        + item.getUsername());
            } else {
                logger.error(“testDetachedFind() - error hits=”);
            }
        }

    }

    /**
     * 用于演示com.mobilesoft.framework.search.service.CompassSearchService的使用
     * 
     */
    class CompassSearch extends CompassSearchService{
        CompassSearch(){
            Compass compass = ct.getCompass();
            CompassSession session = compass.openSession();
            CompassTransaction tx = null;

            try {
                tx = session.beginTransaction();
                CompassSearchCommand command = new CompassSearchCommand();
                command.setQuery(“Compass”);
                CompassSearchResults results= performSearch(command,session);
                logger.error(“CompassSearch() - CompassHit TotalHits value=” +results.getTotalHits());

                for (int i = 0; i < results.getHits().length; i++) {
                    CompassHit hits=results.getHits()[i];
                    Object hit=hits.getData();
                    logger.error(“CompassSearch() - CompassHit hit=” + hit); //$NON-NLS-1$

                    if (hit instanceof Article) {
                        Article item = (Article) hit;
                        logger.error(“testCompassSearchService() - article     hits=”
                                + item.getTitle());
                    } else if (hit instanceof Author) {
                        Author item = (Author) hit;
                        logger.error(“testCompassSearchService() - author hits=”
                                + item.getUsername());
                    } else {
                        logger.error(“testCompassSearchService() - error hits=”);
                    }

                    tx.commit();
                }
            } catch (Exception e) {
                if (tx != null) {
                    tx.rollback();
                }
            } finally {
                session.close();
            }        

        }

    }
    public void testCompassSearchService() {
        new CompassSearch();
        }

    protected void tearDown() throws Exception {
    }
}

5、配置文件

applicationContext-compass.xml

<?xml version=”1.0″?>
<!DOCTYPE beans PUBLIC “-//SPRING//DTD BEAN 2.0//EN”
    “http://www.springframework.org/dtd/spring-beans-2.0.dtd”>
<beans default-lazy-init=”true”>
    <bean id=”compassTemplate” class=”org.compass.core.CompassTemplate”>
        <property name=”compass” ref=”compass”/>
    </bean>
    <bean id=”annotationConfiguration”
        class=”org.compass.annotations.config.CompassAnnotationsConfiguration”>
    </bean>
    <bean id=”compass” class=”org.compass.spring.LocalCompassBean”>
        <property name=”classMappings”>
            <list>
                <value>com.mobilesoft.esales.model.Article</value>
                <value>com.mobilesoft.esales.model.Author</value>
            </list>
        </property>
        <property name=”compassConfiguration” ref=”annotationConfiguration”/>

        <property name=”compassSettings”>
            <props>
                <prop key=”compass.engine.connection”> file://compass </prop>
                <prop key=”compass.transaction.factory”>
                    org.compass.spring.transaction.SpringSyncTransactionFactory
                    </prop>
                <prop
                    key=”compass.engine.highlighter.default.formatter.simple.pre”>
                    <![CDATA[<font color=”red”><b>]]>
                </prop>
                <prop
                    key=”compass.engine.highlighter.default.formatter.simple.post”>
                    <![CDATA[</b></font>]]>
                </prop>
            </props>
        </property>

        <property name=”transactionManager” ref=”transactionManager”/>
    </bean>

    <bean id=”hibernateGpsDevice”
        class=”org.compass.gps.device.hibernate.HibernateGpsDevice”>
        <property name=”name”>
            <value>hibernateDevice</value>
        </property>
        <property name=”sessionFactory” ref=”sessionFactory”/>
        <property name=”mirrorDataChanges”>
            <value>true</value>
        </property>
    </bean>
    <bean id=”compassGps” class=”org.compass.gps.impl.SingleCompassGps”
        init-method=”start” destroy-method=”stop”>
        <property name=”compass” ref=”compass”/>
        <property name=”gpsDevices”>
            <list>
                <bean
                    class=”org.compass.spring.device.SpringSyncTransactionGpsDeviceWrapper”>
                    <property name=”gpsDevice” ref=”hibernateGpsDevice”/>
                </bean>
            </list>
        </property>
    </bean>
    <bean id=”compassSearchService” class=”com.mobilesoft.framework.search.service.CompassSearchService”>
        <property name=”compass” ref=”compass”/>
        <property name=”pageSize” value=”15″/>
    </bean>

    <!– 定时重建索引(利用quartz)或随Spring ApplicationContext启动而重建索引 –>
    <bean id=”compassIndexBuilder” class=”com.mobilesoft.framework.search.service.CompassIndexBuilder” lazy-init=”false”>
        <property name=”compassGps” ref=”compassGps”/>
        <property name=”buildIndex” value=”false”/>
        <property name=”lazyTime” value=”10″/>
    </bean>

</beans>

applicationContext-dao.xml、applicationContext-service.xml、applicationContext-resources.xml等略去。

6、Service层(参考了SpringSide实现)

AdvancedSearchCommand.java

package com.mobilesoft.framework.search.service;

import java.util.HashSet;
import java.util.Set;

import org.apache.commons.lang.StringUtils;
import org.compass.core.CompassQuery.SortDirection;
import org.compass.core.CompassQuery.SortPropertyType;
import org.compass.core.support.search.CompassSearchCommand;

import org.springframework.util.Assert;

public class AdvancedSearchCommand extends CompassSearchCommand {

    /**
     * 封装基于Compass 的排序参数.
     */
    class CompassSort {

        private String name;

        private SortPropertyType type;

        private SortDirection direction;

        public CompassSort() {
        }

        public CompassSort(String sortParamName, String paramType,
                           boolean isAscend) {
            Assert.isTrue(StringUtils.isNotBlank(sortParamName));
            setName(sortParamName);

            if (“int”.equalsIgnoreCase(paramType)) {
                setType(SortPropertyType.INT);
            } else if (“float”.equalsIgnoreCase(paramType)) {
                setType(SortPropertyType.FLOAT);
            } else if (“string”.equalsIgnoreCase(paramType)) {
                setType(SortPropertyType.STRING);
            } else {
                setType(SortPropertyType.AUTO);
            }

            if (isAscend) {
                setDirection(SortDirection.AUTO);
            } else {
                setDirection(SortDirection.REVERSE);
            }
        }

        public String getName() {
            return name;
        }

        public void setName(String name) {
            this.name = name;
        }

        public SortPropertyType getType() {
            return type;
        }

        public void setType(SortPropertyType type) {
            this.type = type;
        }

        public SortDirection getDirection() {
            return direction;
        }

        public void setDirection(SortDirection direction) {
            this.direction = direction;
        }
    }

    /**
     * 搜索结果排序表.
     */
    private Set<CompassSort> sortMap = new HashSet<CompassSort>();

    private String[] highlightFields;

    /**
     * @param paramType 现定义了三种类型： int string 以及 float。<br>
     *                  除去这三种外，其他会被自动定义为SortPropertyType.AUTO 具体的可见{@link org.compass.core.CompassQuery.SortPropertyType}
     * @param isAscend  顺序还是倒序排序
     * @see org.compass.core.CompassQuery.SortPropertyType#AUTO
     * @see org.compass.core.CompassQuery.SortPropertyType#INT
     * @see org.compass.core.CompassQuery.SortPropertyType#STRING
     * @see org.compass.core.CompassQuery.SortPropertyType#FLOAT
     * @see org.compass.core.CompassQuery.SortDirection#AUTO
     * @see org.compass.core.CompassQuery.SortDirection#REVERSE
     */
    public void addSort(String sortParamName, String paramType, boolean isAscend) {

出家如初，成佛有余

Archive for the '技术-搜索引擎' Category

企业级搜索引擎Solr使用入门指南

1、 Solr简介

2、 Tomcat下Solr安装配置

3、 Solr原理

4、 Solr测试使用

5、Solr查询条件参数说明

6、 在门户社区中solr使用模式

7、参考资料

htmlparser encoding 问题

htmlparser使用指南

1、htmlparser对html页面处理的数据结构

2、htmlparser对html页面处理的算法

3、htmlparser关键包结构说明

3.1、org.htmlparser

3.2、org.htmlparser.beans

3.3、org.htmlparser.nodes

3.4、org.htmlparser.tags

3.5、org.htmlparser.filters

3.6、org.htmlparser.visitors

3.7、org.htmlparser.parserapplications

3.8、org.htmlparser.tests

4、htmlparser的使用样例

5、相关的项目

6、参考文档

无线互联网垂直电子商务平台各系统内容运维策略思考

Compass 入门指南

1、几个核心概念

１.2、Compass核心API

2、软件环境

3、数据库脚本

4、测试用例

5、配置文件

applicationContext-compass.xml

6、Service层(参考了SpringSide实现)

6、在门户社区中solr使用模式