求解python语句

2023-02-27 02:06:02Python08

求解python语句,第1张

format是一种格式化输出，你可以查一下，这句话的作用就是把tmp中4个元素按顺序填到前面的4个{}中，前面的> 代表右对齐，后面的数字表示一个占几个字符，:表示规定空白位置补什么

前一阵子尝试使用了一下Sphinx，一个能够被各种语言(PHP/Python/Ruby/etc)方便调用的全文检索系统。网上的资料大多是在linux环境下的安装使用，当然，作为生产环境很有必要部署在*nix环境下，作为学习测试，还是windows环境比较方便些。

本文旨在提供一种便捷的方式让Sphinx在windows下安装配置以支持中文全文检索，配置部分在linux下通用。

一、关于Sphinx

Sphinx 是一个在GPLv2 下发布的一个全文检索引擎，商业授权（例如, 嵌入到其他程序中）需要联系作者（Sphinxsearch.com）以获得商业授权。

一般而言，Sphinx是一个独立的搜索引擎，意图为其他应用提供高速、低空间占用、高结果相关度的全文搜索功能。Sphinx可以非常容易的与SQL数据库和脚本语言集成。

当前系统内置MySQL和PostgreSQL 数据库数据源的支持，也支持从标准输入读取特定格式的XML数据。通过修改源代码，用户可以自行增加新的数据源（例如：其他类型的DBMS的原生支持）。

搜索API支持PHP、Python、Perl、Rudy和Java，并且也可以用作MySQL存储引擎。搜索API非常简单，可以在若干个小时之内移植到新的语言上。

Sphinx特性：

高速的建立索引(在当代CPU上，峰值性能可达到10MB/秒)高性能的搜索(在2–4GB的文本数据上，平均每次检索响应时间小于0.1秒)可处理海量数据(目前已知可以处理超过100GB的文本数据,在单一CPU的系统上可处理100M文档)提供了优秀的相关度算法，基于短语相似度和统计（BM25）的复合Ranking方法支持分布式搜索提供文件的摘录生成可作为MySQL的存储引擎提供搜索服务支持布尔、短语、词语相似度等多种检索模式文档支持多个全文检索字段(最大不超过32个)文档支持多个额外的`属性信息(例如：分组信息，时间戳等)停止词查询支持单一字节编码和UTF-8编码原生的MySQL支持(同时支持MyISAM和InnoDB)原生的PostgreSQL支持.

中文手册可以在这里获得（酷勤网备用下载地址：sphinx_doc_zhcn_0.9.pdf）。

二、Sphinx在windows上的安装

1.直接在http://www.sphinxsearch.com/downloads.html找到最新的windows版本，我这里下的是Win32 release binaries with MySQL support，下载后解压在D:sphinx目录下；

2.在D:sphinx下新建一个data目录用来存放索引文件，一个log目录方日志文件，复制D:sphinxsphinx.conf.in到D:sphinxbinsphinx.conf（注意修改文件名）；

3.修改D:sphinxbinsphinx.conf，我这里列出需要修改的几个：

type= mysql # 数据源，我这里是mysqlsql_host= localhost # 数据库服务器sql_user= root # 数据库用户名sql_pass='' # 数据库密码sql_db= test # 数据库sql_port= 3306 # 数据库端口

sql_query_pre= SET NAMES utf8 # 去掉此行前面的注释，如果你的数据库是uft8编码的

index test1{#放索引的目录path= D:/sphinx/data/# 编码charset_type= utf-8#指定utf-8的编码表charset_table=0..9, A..Z->a..z, _, a..z, U+410..U+42F->U+430..U+44F, U+430..U+44F# 简单分词，只支持0和1，如果要搜索中文，请指定为1ngram_len= 1# 需要分词的字符，如果要搜索中文，去掉前面的注释ngram_chars= U+3000..U+2FA1F}

# index test1stemmed : test1# {# path= @CONFDIR@/data/test1stemmed# morphology= stem_en# }# 如果没有分布式索引，注释掉下面的内容# index dist1# {# 'distributed' index type MUST be specified# type= distributed

# local index to be searched# there can be many local indexes configured# local= test1# local= test1stemmed

# remote agent# multiple remote agents may be specified# syntax is 'hostname:port:index1,[index2[,...]]# agent= localhost:3313:remote1# agent= localhost:3314:remote2,remote3

# remote agent connection timeout, milliseconds# optional, default is 1000 ms, ie. 1 sec# agent_connect_timeout= 1000

# remote agent query timeout, milliseconds# optional, default is 3000 ms, ie. 3 sec# agent_query_timeout= 3000# }

# 搜索服务需要修改的部分searchd{# 日志log= D:/sphinx/log/searchd.log

# PID file, searchd process ID file namepid_file= D:/sphinx/log/searchd.pid

# windows下启动searchd服务一定要注释掉这个 # seamless_rotate= 1}

4.导入测试数据

C:Program FilesMySQLMySQL Server 5.0bin>mysql -uroot test<d:/sphinx/example.sql

5.建立索引

D:sphinxbin>indexer.exe test1

Sphinx 0.9.8-release (r1533)

using config file ‘./sphinx.conf’…

indexing index ‘test1′…

collected 4 docs, 0.0 MB

sorted 0.0 Mhits, 100.0% done

total 4 docs, 193 bytes

total 0.101 sec, 1916.30 bytes/sec, 39.72 docs/sec

D:sphinxbin>

6.搜索’test’试试

D:sphinxbin>search.exe test

Sphinx 0.9.8-release (r1533)

using config file ‘./sphinx.conf’…

index ‘test1′: query ‘test ‘: returned 3 matches of 3 total in 0.000 sec

displaying matches:

1. document=1, weight=2, group_id=1, date_added=Wed Nov 26 14:58:59 2008

id=1

group_id=1

group_id2=5

date_added=2008-11-26 14:58:59

title=test one

content=this is my test document number one. also checking search within

phrases.

2. document=2, weight=2, group_id=1, date_added=Wed Nov 26 14:58:59 2008

id=2

group_id=1

group_id2=6

date_added=2008-11-26 14:58:59

title=test two

content=this is my test document number two

3. document=4, weight=1, group_id=2, date_added=Wed Nov 26 14:58:59 2008

id=4

group_id=2

group_id2=8

date_added=2008-11-26 14:58:59

title=doc number four

content=this is to test groups

words:

1. ‘test’: 3 documents, 5 hits

D:sphinxbin>

都所出来了吧。

6.测试中文搜索

修改test数据库中documents数据表，

UPDATE `test`.`documents` SET `title` = ‘测试中文’, `content` = ‘this is my test document number two，应该搜的到吧’ WHERE `documents`.`id` = 2

重建索引：

D:sphinxbin>indexer.exe –all

搜索’中文’试试：

D:sphinxbin>search.exe 中文

Sphinx 0.9.8-release (r1533)

using config file ‘./sphinx.conf’…

index ‘test1′: query ‘中文 ‘: returned 0 matches of 0 total in 0.000 sec

words:

D:sphinxbin>

貌似没有搜到，这是因为windows命令行中的编码是gbk，当然搜不出来。我们可以用程序试试，在D:sphinxapi下新建一个foo.php的文件，注意utf-8编码

<?php

require ’sphinxapi.php’

$s = new SphinxClient()

$s->SetServer(’localhost’,3312)

$result = $s->Query(’中文’)

var_dump($result)

启动Sphinx searchd服务

D:sphinxbin>searchd.exe

Sphinx 0.9.8-release (r1533)

WARNING: forcing –console mode on Windows

using config file ‘./sphinx.conf’…

creating server socket on 0.0.0.0:3312

accepting connections

执行PHP查询：

php d:/sphinx/api/foo.php

结果是不是出来？剩下的工作就是去看手册，慢慢摸索高阶的配置。

关于ES的搜索，小白暂且简单的归纳如下:

新增文档时涉及分词、构建索引

查询时涉及分词、查询索引、相关度评分

那么接下来，小白就从分词、索引、相关度评分三个方面开始瞎掰了...

分词是指将文本转换成一系列单词（term or token）的过程，也可以叫做文本分析，在es里面称为Analysis。

分词机制：

Character Filter：对原始文本进行处理，例如去除html标签、替换字符等

Tokenizer：将原始文本进行分词，例如小白最帅 =>小白，最，帅

Token Filters：分词后的关键字进行加工，例如转小写、删除语气词、近义词和同义词等

在进行Tokenizer之前对对原始文本进行处理，例如去除html标签、替换字符等

不过进行处理后，会影响后续Tokenizer解析的position和offset

HTML Strip => 去除html标签和转换html实体

Mapping => 字符串替换操作

Pattern Replace => 正则匹配替换

将原始文本进行分词，例如小白最帅 =>小白，最，帅

Elasticsearch自带的分词器：

【分词器（Analyzer）】【特点】

standard（es默认）支持多语言，按词切分并做小写处理

simple 按照非字母切分，小写处理

whitespace 按照空格来切分

stop 去除语气助词，如the、an、的、这等

keyword 不分词

pattern 正则分词，默认\w+,即非字词符号做分割符

language 常见语言的分词器（30+）

常见中文分词器：

【名称】【介绍】【特点】

IK 实现中英文单词切分自定义词库

https://github.com/medcl/elasticsearch-analysis-ik

Jieba python流行分词系统，支持分词和词性标注支持繁体、自定义、并行分词

http://github.com/sing1ee/elasticsearch-jieba-plugin

Hanlp 由一系列模型于算法组成的java工具包普及自然语言处理在生产中应用

https://github.com/hankcs/HanLP

THULAC 清华大学中文词法分析工具包具有中文分词和词性标注功能

https://github.com/microbun/elasticsearch-thulac-plugin

分词后的关键字进行加工，例如转小写、删除语气词、近义词和同义词等

lowercase => 将所有term转换为小写

stop => 删除stop words

ngram => 和Edge NGram连词分割

synonym => 添加近义词的term

提到ES中的索引，就算没用过，估计也听过，就是倒排索引，当然ES中不可能不涉及正排索引。

通俗地来讲，正排索引是通过key找value，倒排索引则是通过value找key。举个例子，如果要查找图书馆中名为【水浒传】的书籍时，提前建立正排索引会提高查询效率；如果要查找图书馆中所有包含词语【英雄】的书籍时，提前建立倒排索引会提高查询效率，而正排索引需要遍历所有的书籍内容。

记录文档id到文档内容or单词的关联关系，比如：

【DocId】【content】

1 => 小白最帅（小白、最、帅）

2 => 小黑最帅（小黑、最、帅）

3 => 拳打小白（拳打、小白）

备注：IK分词器中提供了两个分词算法 ik_smart 和 ik_max_word

其中 ik_smart 为最少切分，ik_max_word为最细粒度划分

本小节分词采用的是 ik_smart

记录单词到文档id的关联关系，包含：

1、Term DicTionary（单词词典）：记录所有文档的单词，一般比较大

2、Posting List（倒排链表）：记录单词倒排列表的关联信息

以第1节中文档【小白最帅】和【拳打小白】中的【小白】为例：

Term DicTionary：小白

Posting List：

【DocId】【TF】【Position】【Offset】

1 1 0 <0-2>

3 1 1 <2-4>

DocId：文档id，指向文档的原始信息

TF：单词频率，记录该词在文档中出现的次数，用于后续相关性评分

Position：位置，记录文档中字段分词后，单词所在的位置，从0开始

Offset：偏移量，记录单词在文档中开始和结束位置，用于高亮显示等，从0开始

不是很恰当的说，索引的建立，标志着key的创建，再让key和value之间建立联系，就可以让原本直接查找value，变成了先去查找key，再直接定位到对应的value，属于典型的空间换时间或者说是先栽树、再乘凉。

下面这个数据结构图，不管是java开发还是大数据开发，估计都看烂了。。。

备注：每个文档字段都有自己的倒排索引

相关性描述的是“语句”与“某个文档”匹配的程度。ES 会对每个匹配查询的结果进⾏计算，得出_score，_score 的评分越高，相关度就越高，那这个计算就需要一个算法。在ES5之前默认的算法是TF/IDF，ES5之后默认采用的是BM25，BM25是对TF/IDF的改进，所以这里小白直接以BM25为主来叨叨。

在进行相关度计算之前，会先有一个过程叫Boolean Model，之后再使用TFNORM/IDF算法。

简单来说，Boolean Model就是根据查询条件，对文档进行一个快速的筛选，不涉及相关度计算。

即词频长度(Term Frequency Norm)，单个term在文档中出现的频率，并结合字段长度，出现次数越高，字段长度越低，分越高

计算公式：

tfNorm(t in d) = (freq * (k1 + 1)) / (freq + k1 * (1 - b + b * fieldLength / avgFieldLength))

freq：term出现频率

k1 ：这个参数控制着词频结果在词频饱和度中的上升速度。默认值为1.2。值越小饱和度变化越快，值越大饱和度变化越慢

b ：这个参数控制着字段长归一值所起的作用， 0.0会禁用归一化，1.0会启用完全归一化。默认值为0.75

fieldLength：字段长度

avgFieldLength：平均字段长度

即逆向文档频率(inversed document frequency)，单个term在所有文档里出现的频率，出现次数越高，分越低。

计算公式：