Java REST客户端有两种风格： Java低级别REST客户端（Java Low Level REST Client，以后都简称低级客户端算了，难得码字）：Elasticsearch的官方low-level客户端。 它允许通过http与Elasticsearch集群进行通信。 不会对请求进行编码和响应解码。 它与所有Elasticsearch版本兼容。Java高级REST客户端（Java High Level REST Client，以后都简称高级客户端）：Elasticsearch的官方h...阅读全文
文章目录 一.查看 环境变量, 参数1.ps命令的方式获取信息: 执行目录, 环境变量, 完整的命令行2.查看文件的方式获取信息: 执行目录, 环境变量, 完整的命令行 二.查看端口ps aux 命令展示项说明 一.查看 环境变量, 参数 1.ps命令的方式获取信息: 执行目录, 环境变量, 完整的命令行 ps eww -p <process_pid> : 返回某个进程的执行时的环境变量和完整的命令行 参数说明 e 显示环境以及传递给命令的参数，最多不超过 80 个字符。 eww 将 e 标志中...阅读全文
武汉某高校出现“猫红人”，厉害了！今天，V观菌在朋友圈看到，一组图片吸引了很多同学的眼光！ 这位“猫红人”厉害了，定居武汉高校中，以食堂饭菜为生，黏...武汉高校V观菌阅读 69评论 0赞 0阅读全文
在对磁盘分区的大小进行规划时，往往不能确定这个分区要使用的空间的大小。而使用 fdisk、gdisk 等工具对磁盘分区后，每个分区的大小就固定了。如果分区设置的过大，就白白浪费了磁盘空间；如果分区设置的过小，就会导致空间不够用的情况出现。对于分区过小的问题，可以从新划分磁盘的分区，或者通过软连接的方式将此分区的目录链接到另外一个分区。这样虽然能够临时解决问题，但是给管理带来了麻烦。类似的问题可以通过 LVM 来解决。说明：本文的演示环境为 ubuntu 16.04。 LVM 是什么 LVM 是 ...阅读全文
Elasticsearch Java API的基本使用说明 在明确了ES的基本概念和使用方法后，我们来学习如何使用ES的Java API. 本文假设你已经对ES的基本概念已经有了一个比较全面的认识。 客户端 你可以用Java客户端做很多事情： 执行标准的index,get,delete,update,search等操作。 在正在运行的集群上执行管理任务。 但是，通过官方文档可以得知，现在存在至少三种Java客户端。 Transport Client Java High Level REST Cl...阅读全文
我在尝试运行连接到Elasticsearch的应用程序时收到此错误消息。An attempt was made to call the method org.elasticsearch.client.RestHighLevelClient.<init>(Lorg/elasticsearch/client/RestClientBuilder;)V but it does not exist. Its class, org.elasticsearch.client.RestHighLevelClie...阅读全文
为什么引入CompletableFutrue? 回调 回调函数的机制： 定义一个回调函数 提供函数实现的一方在初始化时候，将回调函数的函数指针注册给调用者 当特定的事件或条件发生的时候，调用者使用函数指针调用回调函数对事件进行处理 回调方式的异步编程 所谓异步调用其实就是实现一个可无需等待被调用函数的返回值而让操作继续运行的方法。在 Java 语言中，简单的讲就是另启一个线程来完成调用中的部分计算，使调用继续运行或返回，而不需要等待计算结果。但调用者仍需要取线程的计算结果。 JDK5新增了Fut...阅读全文
场景：如何查看一个运行docker 容器的docker run启动参数，假设没有使用docker-compose这样的编排工具。现在我如何进行重启，如何找回此前的启动命令？ 方法1：runlike参考 参考 用法：runlike <container-name> -p将命令行分解为行 安装: pip install runlike 如果想不安装，执行命令（注：assaflavie/runlike实际上是一个docker image）： docker run --rm -v /var/run/do...阅读全文
本文是花椒前端团队总结文章，其中有一些图片是网上找的，如侵，请告知，马上处理什么是流媒体流媒体（streaming media）是指采用流式传输技术在网络上连续实时播放的媒体格式，如音频、视频或多媒体文件，采用流媒体技术使得数据包得以像流水一样发送, 如果没有流媒体技术, 那么我们就要像以前用迅雷下电影一样, 下载整个影片才能观看, 讲DASH之前先简单介绍一下常用的直播协议: HLS, RTMP, HDS协议. 因为DASH协议其实就是组合了以前的一些技术而发展出来的.1. RTMPRTMP(...阅读全文
老版本Docker中为什么不支持多个 FROM 指令 Docker 17.05版本以后，新增了Dockerfile多阶段构建。所谓多阶段构建，实际上是允许一个Dockerfile 中出现多个 FROM 指令。这样做有什么意义呢？ 老版本Docker中为什么不支持多个 FROM 指令 在17.05版本之前的Docker，只允许Dockerfile中出现一个FROM指令，这得从镜像的本质说起。 在《Docker概念简介》 中我们提到，你可以简单理解Docker的镜像是一个压缩文件，其中包含了你需要...阅读全文
要让archlinux支持MTP协议，需要安装 mtpfs sudo pacman -S mtpfs --noconfirm 但对于Android 4+的设备，光有 mtpfs 还不够，还需要安装 jmtpfs, 而 jmtpfs 是在AUR中的： yaourt -S jmtpfs 之后，只需要运行 jmtpfs 挂载点 就能将手机挂载到 挂载点了 [lujun9972@T520 ~]$ jmtpfs ~/mnt Device 0 (VID=2717 and PID=ff40) is a Xia...阅读全文
（一）scroll的介绍 有时候我们可能想要读取整个es索引的数据或者其中的大部分数据，来重建索引或者加工数据，相信大多数人都会说这很简单啊直接用from+size就能搞定，但实际情况是from+size的分页方法不适合用于这种全量数据的抽取，越到后面这种方法的性能就越低，这也是es里面为什么限制了单次查询结果的数据不能超过1万条数据的原因。 es里面提供了scroll的方式来全量读取索引数据其与数据库里面的游标（cursor）的概念非常类似，使用scroll读取数据的时候，只需要发送一次查询请...阅读全文
spark-udf虽然spark.sql.function中的已经包含了大多数常用的函数，但是总有一些场景是内置函数无法满足要求的，此时就需要使用自定义函数了(UDF)。刚好最近用spark时，scala,java,python轮换着用，因此这里总结一下spark中自定义函数的简单用法。这里总结了scala,java,python 三种接口的DataFrame和sparkSQL的自定义函数定义和使用方法，对于比较复杂的分组自定义函数未涉及，对于这类复杂需求，应该有变通之法吧。1、pyspark接...阅读全文
如果面试的时候碰到这样一个面试题：ES 在数据量很大的情况下（数十亿级别）如何提高查询效率？这个问题说白了，就是看你有没有实际用过 ES，因为啥？其实 ES 性能并没有你想象中那么好的。很多时候数据量大了，特别是有几亿条数据的时候，可能你会懵逼的发现，跑个搜索怎么一下 5~10s？后面反而就快了，可能就几百毫秒。说实话，ES 性能优化是没有银弹的。啥意思呢？就是不要期待着随手调一个参数，就可以万能的应对所有的性能慢的场景。也许有的场景是你换个参数，或者调整一下语法，就可以搞定，但是绝对不是所有场...阅读全文
通过分析mpstat的iowait和iostat的util%，判断IO瓶颈 IO瓶颈往往是我们可能会忽略的地方（我们常会看top、free、netstat等等，但经常会忽略IO的负载情况），今天给大家详细分享一下如何确认一台服务器的IO负载是否到达了瓶颈，以及可能优化、定位的点。 mpstat中看CPU的iowait高了，难道IO就瓶颈了吗？？？ 先来看一台典型的IO密集型服务器的cpu统计图： 可以看到，CPU总使用率不高，平均1.3%，max到5.6%，虽然大部分都耗在了iowait上，但才...阅读全文
1.概述 HBase是一款非关系型、分布式的KV存储数据库。用来存储海量的数据，用于键值对操作。目前HBase是原生是不包含SQL操作，虽然说Apache Phoenix可以用来操作HBase表，但是需要集成对应的Phoenix依赖包到HBase集群中，同时需要编写对应的Schema才能实现SQL操作HBase。 本篇博客，笔者将为大家介绍另一位一种SQL方式来操作HBase，那就是Hive。 2.内容 2.1 使用场景 熟悉大数据的同学应该都知道，Hive是一个分布式的数据仓库，它能够将海量数...阅读全文
在使用mysql时，int、char和varcahr这几种类型是比较常用的。在大学时有学过数据库，对于int(N)、char(N)和varchar(N)中的N一直了解的不是较透彻，前段时间在网上查了很多资料，现在整理下。 1、int（N） int(N) ，N 表示最大显示宽度（字段设置zerofill属性时可查看区别），不指定N时，默认为11。N 的值跟 int(N) 所占多少存储空间或最大能存储多大长度数据并无任何关系。也就是说 int(3)、int(4)、int(8) 在磁盘上都是占用 4 ...阅读全文
服务端的系统设置中经常会和底层协议打交道，我们有必要重温一下曾经那些“听过”却不熟悉的名词。今天聊的话题是 KeepAlive，在实际应用中又是怎么使用的？为什么有Keepalive？大家都做过电梯吧，假设电梯来了你先进去，你朋友还没进来，过一段时间电梯门就会自动关闭，你应该没遇到过哪个电梯会一直等你朋友来了才关门的。如果真是那样，那别的楼层的小姐姐们会炸了~我们举个编程中的例子来解释下，我编写了一个服务端程序S和一个客户端程序C，客户端向服务端发送一个消息：客户端发送消息服务端收到消息后一看，...阅读全文
