entos最新版solr5.3.1安装和数据整理以及遇到的问题解答

首先介绍一下solr

Solr现在是一个独立的服务器。

从Solr5.0开始,Solr不再发布为在任何Servlet容器(tomcat等 自带一个jetty服务器)中部署的“war”Web应用程序包(Web Application Archive)。Solr现在部署为一个独立的java服务器应用程序,包含在Unix、linux和Windows平台上可以使用的启动和停止脚本,以及将Solr作为服务安装到类Unix平台的/etc/init.d下的安装脚本。

从本质上看,Solr仍然以Servlet APIs实现,并在Jetty上运行,但只是作为一个实现。部署为“webapp”到其他的Servlet容器(或其他Jetty实例)上不被支持,可能在未来的Solr 5.x版本不会工作。而可能会带来Solr的其他改变,事实上是利用自定义网络协议栈功能

一、安装JAVA环境以及JRE

# cd /tmp/

# tar zxvf  jdk-7u9-linux-x64.tar.gz

# mv  jdk1.7.0_09 /usr/

# vi  /etc/profile

在最后一行复制以下代码添加如下内容:

JAVA_HOME=/usr/jdk1.7.0_09/

CLASSPATH=.:$JAVA_HOME/lib/tools.jar

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH

保存退出(:wq!)后,执行下面命令生效:

source /etc/profile

二、安装Solr5.3.1

去http://www.apache.org/dyn/closer.lua/lucene/solr/5.3.1下载Solr安装文件solr-5.3.1.tgz。

将solr-5.3.1.tgz文件放到/home/solr目录下,执行如下脚本:

创建应用程序目录

# mkdir -p /home/solr

# cd /home/solr

# tar -zxvf solr-5.3.1.tgz // 解压压缩包

创建运行solr的用户并赋权

# groupadd solr

# useradd -g solr solr

# chown -R solr.solr /home/solr  将home/solr下面的所有目录修改成solr用户权限

三、安装solr服务

# solr-5.3.1/bin/install_solr_service.sh solr-5.3.1.tgz -d /home/solr/data -i /home/solr

至此已经安装好solr5.3.1然后检查服务状态

#service solr status

将会看到如下输出:

Solr process 29692 running on port 8983

{

"solr_home":"/home/solr/data/",

"version":"5.3.1 1696229 - noble - 2015-12-4 17:10:43",

"startTime":"2015-12-4T01:32:03.919Z",

"uptime":"0 days, 0 hours, 3 minutes, 6 seconds",

"memory":"89.8 MB (%18.3) of 490.7 MB"

}

说明已经正常启动

四、查看solr命令选项

solr命令用法

定位到solr应用程序目录

# cd /home/solr/solr-5.3.1/solr

# ./bin/solr restart|start|stop 重启|启动|关闭 服务

接下来就是添加core或者集合的时候了

一、首先创建一个core 命令为:su - solr -c "/home/solr/solr-5.3.1/bin/solr create -c companys"或者 切换到/home/solr/solr-5.3.1/ 目录下 通过./bin/solr create -c companys

su - solr意思是切换到solr用户后进行创建core核心

如果以上命令把core创建到/home/solr/data/下面的话 是有问题的 solr默认加载的core目录是在

/home/solr/solr-5.3.1/server/solr/下面,然后可以复制/home/solr/data/下面core或者集合到/home/solr/solr-5.3.1/server/solr/目录下面(纠正:其实这段是有问题的后来查看资料发现solr默认的数据文件是在根目录下面即/home/solr/data)

这块的真正原因在于安装脚本的时候默认的路径 其实这里可以修改 如下图所示:

SOLR_PID_DIR=/home/solr

SOLR_HOME=/home/solr/data 主要是这块的配置 如果是在server下面的solr就会将core和索引数据创建到server下面 如果是根目录data那么索引就会在data下面

LOG4J_PROPS=/home/solr/log4j.properties

SOLR_LOGS_DIR=/home/solr/logs

SOLR_PORT=8983

然后重启solr服务

启动步骤:

(1)切换到/home/solr/solr-5.3.1/

(2)执行: # ./bin/solr restart 等待几秒中会自动重启成功

(3)接下来就会创建好相关的core或者集合 如下图所示:

二、接下来看看core里面的组成部分 进入companys core目录下面

里面有conf、data2个目录和core.properties

接着进入conf目录下面里面有下图几个配置文件和相关其他文件

其中solrconfig.xml是solr的相关配置文件

managed_schema主要定义索引的字段和字段类型还有一些分词等等设置 (类似于数据表配置文件貌似是solr5以后的文件名)

data-config.xml是将mysql数据导入到solr的相关配置 首先得在solrconfig.xml中配置开启一个xml选项后

data-config.xml

然后在data-config.xml里面设置以下

注:上面的database_name是你创建的数据库名,userName是数据库用户名,passWord是数据库密码,tableName是你的表名,field区域当中的column对应数据库中的列,而name就是solr中显示的名称。

(1)在配置完以上设置项后还需要将solr-dataimporthandler-5.3.1.jar从solr-5.3.1/dist/文件夹下copy到solr-5.3.1/server/solr-webapp/webapp/WEB-INF/lib当中,此jar包是导入数据用的。

(2)再从mysql官网中下载一个mysql-connector-java-5.1.35.zip压缩包,解压出一个mysql-connector-java-5.1.35-bin.jar包,将它copy到solr-5.3.1/server/lib下。

然后在solr的管理平台才能通过在浏览器中输入:localhost:8983/solr/dataimport?command=full-import或者图形操作来完成全量数据导入,在每次全量数据导入执行的时候,原有索引会被删除,如果不想删除原有索引,可以运行如下命令:localhost:8983/solr/dataimport?command=full-import&clean=false

三、接下来讲解shema的设置

vim managed-schema 之前版本名称叫shema.xml 最新版貌似改了 然后在里面添加数据库相关字段

接下来介绍字段相关知识:

性能须知: 这里包含了很多实际应用不需要的可选项。 为改善性能,你可以:

- 尽量将所有仅用于搜索,而不用于实际返回的字段设置stored="false";

- 尽量将所有仅用于返回,而不用于搜索的字段设置indexed="false";

- 去掉所有不需要的copyField 语句;

- 为了达到最佳的索引大小和搜索性能,对所有的文本字段设置indexed="false",

使用copyField将他们拷贝到“整合字段”name="text"的字段中,使用整合字段进行搜索;

- 使用server模式来运行JVM,同时将log级别调高, 避免输出所有请求的日志。

-->

。。。。。

-->

name: 必须属性 - 字段名

type: 必须属性 - 中定义的字段类型

indexed: 如果字段需要被索引(用于搜索或排序),属性值设置为true

stored: 如果字段内容需要被返回,值设置为true

docValues: 如果这个字段应该有文档值(doc values),设置为true。文档值在门面搜索,分组,排序和函数查询中会非常有用。虽然不是必须的,而且会导致                 生成索引变大变慢,但这样设置会使索引加载更快,更加NRT友好,更高的内存使用效率。然而也有一些使用限制:目前仅支持StrField, UUIDFiel                d和所有 Trie*Fields, 并且依赖字段类型, 可能要求字段为单值(single-valued)的,必须的或者有默认值。

multiValued: 如果这个字段在每个文档中可能包含多个值,设置为true

termVectors: [false] 设置为true后,会保存所给字段的相关向量(vector)

当使用MoreLikeThis时, 用于相似度判断的字段需要设置为stored来达到最佳性能.

termPositions: 保存和向量相关的位置信息,会增加存储开销

termOffsets: 保存 offset 和向量相关的信息,会增加存储开销

required: 字段必须有值,否则会抛异常

default: 在增加文档时,可以根据需要为字段设置一个默认值,防止为空

sortMissingLast:    指没有该指定字段数据的document排在有该指定字段数据的document的后面

sortMissingFirst:    指没有该指定字段数据的document排在有该指定字段数据的document的前面

omitNorms:    字段的长度不影响得分和在索引时不做boost时,设置它为true。一般文本字段不设置为true。

compressed:    字段是压缩的。这可能导致索引和搜索变慢,但会减少存储空间,只有StrField和TextField是可以压缩,这通常适合字段的长度超过200个字符。

positionIncrementGap: 和multiValued一起使用,设置多个值之间的虚拟空白的数量

-->

id

文档的唯一标识, 必须填写这个field(除非该field被标记required="false"),否则solr建立索引报错。

name

如果搜索参数中没有指定具体的field,那么这是默认的域。

配置搜索参数短语间的逻辑,可以是"AND|OR"。

中文分词后续在介绍。。。。。。。

四、至此所有配置都已经完成,接下来重启solr 进入到/home/solr/solr-5.3.1/solr 然后执行

# ./bin/solr restart

等待启动以后然后通过

http://localhost:8983/solr/#/进入到solr的管理平台页面

下图就是在添加一个core或者集合 首先得完成上面的那些配置 主要是先通过命令去生成一个core然后配置好或者不配置然后在这里添加,通过错误提示然后进行配置或者文件相关创建或者修改等等

下图展示一个core里面的查询相关的数据:

数据导入有两种实现方式

(1)通过solr自带的导入方式 有全量导入和增量导入 首先得配置好上面第二部分和第三部分红色的

然后点击

选择好相关选项后点击 execute按钮 就会在右侧显示相关实时动态

最后补充几个容易忽视的问题也会对使用造成干扰

1、

改完重启solr以后 再次打开solr的管理平台 就会自动出现已经创建好的core 如图:

2、配置好的solr没有任何数据,启动时报错:SolrException: Invalid Number: MA147LL/A

这不是你的错,你可能是把solr schema.xml的id设置成了int类型,设置成int类型没什么错,但是solr启动是会扫描conf目录下的elevate.xml文件,这个文件中定义的id值是MA147LL/A所以就会出现异常SolrException: Invalid Number: MA147LL/A

解决问题的方法是修改elevate.xml文件,将其中的id值设置为数字,就可以了。

3、如果配置好后执行更新solr数据命令后 solr报以下错误后

只需要把当前core的managed-schema或者schema.xml配置文件中的自增id改成string类型 重启solr后就不会报错了这是因为solr本身索引是基于文本值的

c_id

4、solr的原子更新 就是只改某个字段问题解决:

官网文档地址:http://wiki.apache.org/solr/UpdateJSON#Solr_4.0_Example

至此 安装和测试数据整合已经完毕 特此备注下已备忘 欢迎各位拍砖。。。。。

下一篇会讲solr的一些用法solr5使用方法篇以及高级功能facet使用

本文出自 “网站架构技术总结” 博客,请务必保留此出处http://mengphilip.blog.51cto.com/2243393/1719686

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,117评论 4 360
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,963评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 107,897评论 0 240
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,805评论 0 203
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,208评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,535评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,797评论 2 311
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,493评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,215评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,477评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,988评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,325评论 2 252
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,971评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,055评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,807评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,544评论 2 271
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,455评论 2 266

推荐阅读更多精彩内容