Dai Chong's blog

一、Sphinx是什么?

 是一个基于SQL的全文检索引擎,可以结合MySQL,PostgreSQL做全文搜索,它可以提供比数据库本身更专业的搜索功能,使得应用程序更容易实现专业化的全文检索。Sphinx特别为一些脚本语言设计搜索API接口,如Java,PHP,Python,Perl,Ruby等,同时为MySQL也设计了一个存储引擎插件。 —百度百科

 Sphinx 单一索引最大可包含1亿条记录,在1千万条记录情况下的查询速度为0.x秒(毫秒级)。Sphinx创建索引的速度为:创建100万条记录的索引只需 3~4分钟,创建1000万条记录的索引可以在50分钟内完成,而只包含最新10万条记录的增量索引,重建一次只需几十秒。—百度百科

二、Sphinx的特性是什么?

 高速索引 (在新款CPU上,近10 MB/秒); 高速搜索 (2-4G的文本量中平均查询速度不到0.1秒); 高可用性 (单CPU上最大可支持100 GB的文本,100M文档); 提供良好的相关性排名 支持分布式搜索; 提供文档摘要生成; 提供从MySQL内部的插件式存储引擎上搜索 支持布尔,短语, 和近义词查询; 支持每个文档多个全文检索域(默认最大32个); 支持每个文档多属性; 支持断词; 支持单字节编码与UTF-8编码;

三、Sphinx安装与配置 –windows环境

 1.万物不离其宗,第一步肯定是安装啦!下载地址 —具体的安装步骤就不一一介绍了

 2.解压之后会看到 api、bin、doc、etc、misc、src 六个文件。 –windows环境可能和其他环境不同

 3.在同级目录下新建data、log两个文件。 –data:数据文件、log:检索的日志文件

 4.复制etc目录下的sphinx-min.conf.distbin目录修改文件名为sphinx.conf。修改配置为:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59

source school # school 名字是随意起的
{
type = mysql

sql_host = localhost
sql_user = root
sql_pass = root
sql_db = test
sql_port = 3306
# 设置数据库字符集
sql_query_pre = SET NAMES utf8
# 配置数据源--也就是数据表的数据
sql_query = SELECT id, school, address FROM school
# 配置返回字段--必须是数据表中存在的字段,不能设置返回主键,否则会报错
# 这里的字段还要和下面index里配置的 rt_field相对应
sql_field_string = school
sql_field_string = address
}


index school
{
source = school # 数据源--也就是上边的名字
path = E:\sphinx\data\school # 数据存放的地址--配置为刚新建的data下
mlock = 0 # 缓存内存锁定
morphology = none # 数据处理方法
min_word_len = 1 # 最小索引字长
html_strip = 0 # 是否去除html标签
ngram_len = 1 # 支持中文
ngram_chars = U+3000..U+2FA1F # 支持中文

# 字段配置
rt_attr_uint = id
rt_field = school
rt_field = address
}

indexer
{
mem_limit = 128M
}

# 下面都是默认的 修改一下log地址就好了
searchd
{
listen = 9312
listen = 9306:mysql41
log = E:\sphinx\log\searchd.log
query_log = E:\sphinx\log\query.log
read_timeout = 5
max_children = 30
pid_file = E:\sphinx\log\searchd.pid
seamless_rotate = 1
preopen_indexes = 1
unlink_old = 1
workers = threads # for RT to work
binlog_path = E:\sphinx\data
}

四、Sphinx在项目中如何使用呢?

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
<?php
require "E:\sphinx\api\sphinxapi.php";

$page = isset($_GET['p']) ? intval($_GET['p']) : 1;
if ($page <= 0) {
$page = 1;
}
$pagesize = 20;

$sphinxClass = new \SphinxClient();
$sphinxClass->setServer("localhost", 9312);
$sphinxClass->setMaxQueryTime(3);
$sphinxClass->SetArrayResult(true);
$sphinxClass->SetLimits(($page - 1) * $pagesize, $pagesize, 3000); // 搜索分页
// @school 表示只匹配数据表中school的字段 ,第二个参数表示使用的索引方法 对应sphinx中的index school
$result = $sphinxClass->query('@school 戴崇', 'school');
echo '<pre>';
print_r($result);

从上面代码可以看出,在项目中使用sphinx是非常简单的只需要引入这个类就ok了。

五、测试

 数据量200014条数据。

 使用mysql模糊查询平均耗时 0.130s

 使用sphinx搜索引擎平均耗时 0.030s

 由此可见差距是很大的,如何数据量更大的情况下差距会更大。

六、Sphinx的优点及缺点

 优点:
  (1)Sphinx索引文件每次更新都会把数据全部存储在本地,也就是说当用户使用搜索的时候并不会直接请求数据库,降低了数据库的压力。
  (2)在几十万级数据查询时,Sphinx索引速度要比数据库索引速度快上好几倍,速度快。

 缺点:
  (1)数据的索引文件会存储在本地,数据量大的时候对内存也有一定影响。
  (2)数据库的数据变化,是无法同步到Sphinx索引文件里的,也就是说每次数据库更新都要手动更新索引文件。
  (3)在没有使用中文分词的技术上,Sphinx搜索的结果是不准确的,例如:数据库中有‘戴崇1,戴崇2,戴崇3,戴崇’,使用like查询‘戴崇’会有四个结果,但使用Sphinx查询只会出现一个。

总结

 Sphinx从官网上可以看出已经将近一年没有更新过了,甚至还有一些bug没有修复,但整体来说Sphinx在使用方面还是非常简单可靠的。

PS:下一篇将会介绍Sphinx中文分词如何使用!


 评论