Kibana on Dapeng Zhang

LEK[Logstash + Elasticsearch + Kibana] 故障一

Mon, 21 Jul 2025 18:16:35 +0800

今早遇到如下几个问题：

“Courier Fetch: 30 of 60 shards failed.”

“Data too large, data for [time] would be larger than limit”

经过Stackoverflow查看到如下几个方案

针对第一个问题，执行如下的请求，大概的意思就是说，清理缓存的意思吧，试了一下果然有效了。

curl --user es_admin:qeeniao1234 http://10.132.14.58:9200/logstash-*/_cache/clear

但是这个问题并没有解决我如下的问题，查看elasticsearch.log仍然会有第二个问题的提示，

根据Stackoverflow的查找，做了下面的请求操作。打开Kibana就没有对应类似的提示了。

curl --user es_admin:qeeniao1234 -XPUT http://10.132.14.58:9200/_cluster/settings -d '{
 "persistent" : {
 "indices.breaker.fielddata.limit" : "75%" 
 }
}'

原因就是elasticsearch默认启动是给了indices.breaker.fielddata.limit的值为60%，需要设置大一点的值，

于是我就给了75%。

经过我的再次查看，发现在使用kabana的时候尽量的选择时间区间范围小一点，这个应该是跟服务器的硬件设备有很大关系的，

一旦你查看的数据太大了，那么对应的Fielddata的数据量就对应的增加。

像我这里：rt

[FIELDDATA] Data too large, data for [rt] would be larger than limit of [422523699/402.9mb]

在查看过去24小时的时候，它的数据量达到了402M,可想而之其他fielddata放在一起会有多大。

Kibana使用之Lucene的语法查询

Tue, 08 Jul 2025 09:48:02 +0000

Kibana使用的查询语法是Lucene的查询语法，这里在使用Kibana的同事一定要注意，不然，在进行搜索的时候，你会抓狂的。
下面了解下Lucene的查询语法，了解了Lucene的查询语法也就知道了改如何使用Kibana的使用方式
Lucene查询语法以可读的方式书写，然后使用JavaCC进行词法转换，转换成机器可识别的查询。

词语查询，语法如下

"here","there"
"here,there"

字段查询，语法如下

tag:there
tag:"there are"

搜索语句是需要加上双引号，否则

tag:there are

就意味着，搜索tag为there，或者包含are关键字的文档

修饰符查询，通过增加修饰，从而扩大查询的范围。

通配符一般包括如下

?:匹配单个字符
*:匹配0个或多个字符

语法如下

?tere

意味着搜索there、where等类似的文档

test*

意味着搜索test、tests、tester

模糊词查询，就是在词语后面加上符号~。语法如下

he~

意味着搜索her或hei等词
也可以在~后面添加模糊系数，模糊系数[0-1]，越靠近1表示越相近，默认模糊系数为0.5。语法如下

he~0.8

邻近词查询，语法如下

"here there"~10

代表搜索包含"here",“there"的文档，这两个词中间可以有一部分内容（这部分的内容通过字符个数显示）
能够匹配到结果的如下

"here wowo wowo there"
"here,wowow,wowow,there"

范围查询，可以指定最大值和最小值，会自动查找在这之间的文档。如果是单词，则会按照字典顺序搜索。

{}尖括号表示不包含最小值和最大值，可以单独使用
[]方括号表示包含最小值和最大值，可以单独使用。如下：

如果搜索成绩grade字段小于等于80分，大于60分的
可以写成下面的方式

grade:{60,80]

如果搜索name在A和C之间的，可以使用如下的语法

name:{A,C}

词语相关度查询

如果单词的匹配度很高，一个文档中或者一个字段中可以匹配多次，那么可以提升该词的相关度。使用符号^提高相关度。

提高jarkarta的比重
jakarta apache
可以采用下面的语法：

jakarta^4 apache

布尔操作符

支持多种操作符：

AND

AND操作符用于连接两个搜索条件，仅当两个搜索条件都满足时，才认为匹配。通常用来做交集操作。也可以使用&&替换。
注意必须使用大写。如果不使用AND，而是and，可能会被单做关键词进行搜索！

例如：搜索同时包含a和b的文档

a AND b

或者

a && b

OR

OR操作符用于连接两个搜索条件，当其中一个条件满足时，就认为匹配。通常用来做并集操作。也可以使用||替换。注意必须使用大写。

例如：搜索包含a或者b的文档

a OR b

或者

a || b

NOT

NOT操作符排除某个搜索条件。通常用来做差集操作也可以使用!替换。注意必须大写。

例如：搜索包含a，不包含b的文档

a NOT b

或者

a && !b

在kibana中支持单独使用，如：排除包含test的文档

NOT test

+（加号）

包含该操作符后跟着的搜索条件，如：搜索包含tom的文档

+tom

作用和AND的差不多，但是支持单独使用

-（减号）

排除该操作符后跟着的搜索条件，如：搜索不包含tom的文档

-tom

效果类似NOT

分组

支持使用小括号对每个子句进行分组，形成更为复杂的查询逻辑。
例如：要搜索包含a的文档中，也包含b或者c的

a AND (b OR c)

也支持在字段中使用小括号。如：要搜索标题中，既包含a也包含b的

title:(+a +"b")

转义字符

由于Lucene中支持很多的符号，如

+ - && || ! ( ) { } [ ] ^ " ~ * ? : \

因此如果需要搜索 (1+1):2 需要对改串进行转换，使用字符\。

\(1\+1\)\:2

参考文档：
http://www.cnblogs.com/xing901022/p/4974977.html
https://segmentfault.com/a/1190000002972420

2015-09-10 工作记录

Tue, 01 Jul 2025 15:04:20 +0000

1、查看innodb死锁情况

查看事务情况

show engine innodb status\G

查看事务详情

SELECT * FROM information_schema.INNODB_TRX\G

2、kibana 4 添加图表，以及如何在dashboard【仪表板】上展示所有的图表或者分开展示图表

添加图表的流程一定要清楚，先要有visualization【可视化视图】，然后才能在dashboard【仪表板】上面添加图表，事实上图表就是所谓的

visualization【可视化视图】；

这里的操作关键比较难的是如何添加visualization【可视化视图】，并且在添加visualization【可视化视图】过程中的Filter的操作。

Filter说起来也很简单就是搜索出你要展示的数据数量的值，比如访问链接地址的时长，某个链接的请求次数的值。

关键是在添加visualization【可视化视图】过程中，先要选择视图的类型，然后就要对metrics和buckets的操作。

这里有一篇关于kibana4的图表入门：请点击这里

3、curl 指定用户以及密码访问

很简单：

curl -u user:password -XGET http://www.xxx.net/study/

就可以了.

4、通过python的线程实现异步发送邮件

from threading import Thread
def send_async_email(app, msg):
 with app.app_context():
 mail.send(msg)
def send_email(to, subject, template, **kwargs):
 msg = Message(app.config['FLASKY_MAIL_SUBJECT_PREFIX'] + subject,
 sender=app.config['FLASKY_MAIL_SENDER'], recipients=[to])
 msg.body = render_template(template + '.txt', **kwargs)
 msg.html = render_template(template + '.html', **kwargs)
 thr = Thread(target=send_async_email, args=[app, msg])
 thr.start()
 return thr

5、针对Flask项目初始化数据库

>>> from walkerfree import config
>>> from walkerfree import app
>>> app.config.from_object(config['development'])
>>> from walkerfree import db
>>> db.init_app(app)
>>> db
<SQLAlchemy engine='mysql+mysqldb://root:@127.0.0.1/walkerfree?charset=utf8'>
>>> db.create_all()