很多软件公司的研发团队都喜欢用Scrum管理研发流程，Scrum是一个诞生于20世纪90年代的敏捷方法论，CORNERSTONE内部也一直在使用这一方法。 相较于瀑布式开发的其他传统方法，Scrum最大的优点是关注持续快速迭代以及对变化的适应性。如果使用瀑布式开发，在项目一开始就要确定项目结果，并且要对此达成一致，通常还要有详细的计划和项目规范。项目计划是从这些规范中产生的，通过以项目在未来的完成情况为出发点，向后推进，以线形的方式规划出时间、预算和各阶段的联系性。 瀑布式开发的成品是一份路线图，能推算出一款软件到推出之日为止，需要完成的所有开发工作，而不足之处就是如果在软件开发过程中出现了变动，包括时间线或各阶段连接时出现问题，甚至在很多时候连预算都需要完全重做，实际上这就破坏了计划。 S...阅读全文
MapReduce简介 MapReduce是面向大数据并行处理的计算模型、框架和平台，它隐含了以下三层含义： 1）MapReduce是一个基于集群的高性能并行计算平台（Cluster Infrastructure）。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。 2）MapReduce是一个并行计算与运行软件框架（Software Framework）。它提供了一个庞大但设计精良的并行计算软件框架，能自动完成计算任务的并行化处理，自动划分计算数据和计算任务，在集群节点上自动分配和执行任务以及收集计算结果，将数据分布存储、数据通信、容错处理等并行计算涉及到的很多系统底层的复杂细节交由系统负责处理，大大减少了软件开发人员的负担。 3）MapReduce是一...阅读全文
用了 Maven 好几年了，许多人还是只懂得简单的依赖坐标。对于 Maven 的聚合和继承还是一知半解，甚至很多人以为是同一个东西。但其实聚合是用于快速构建项目，是表示项目与子项目之间的关系。而继承则是为消除重复的配置。下面通过一个例子深入聊聊这两者的关系。 聚合 Maven 的聚合其实就是项目与子项目的表示，其存在的意义在于快速构建项目。例如我们有一个淘宝商城项目，这个项目有账号子项目和邮件子项目。在这个时候我们需要在 Maven 中表达这种项目归属关系，那么我们就可以用 Maven 的聚合来进行配置。 我们首先创建一个 taobao-aggregator 项目，表示是一个聚合项目。之后再创建两个子项目，分别为：com.chenshuyi.mail 和 com.chenshuyi.acco...阅读全文
说明：本文是最近项目上使用tcp时遇到的问题找到的原因，参考了网络上的几篇文章整理出来，如有版权问题，请留言。 Nagle 算法用于对缓冲区内的一定数量的消息进行自动连接。该处理过程(称为Nagling)，通过减少必须发送的封包的数量，提高了网络应用程序系统的效率。 **1. ** Nagle算法的规则 （可参考tcp_output.c文件里tcp_nagle_check函数注释）： 1）如果包长度达到MSS(MSS是最大分段大小Maxitum Segment Size ，MTU是最大传输单元Maxitum Transmission Unit)，则允许发送； 2）如果该包含有FIN，则允许发送； 3）设置了TCP_NODELAY选项，则允许发送； 4）未设置TCP_CORK选项时，若所有发出...阅读全文
在对Mapper调优的过程中，一个经验法则是： map任务最好拥有一分钟以上的运行时间。 因为如果任务运行时间过短，将导致在整个作业的执行过程中任务启动所花费的时间过大，从而降低了实际的任务执行效率。 对map任务的运行时间影响最大的是Mapper的个数，不过与Reducer不同，Mapper的个数是无法显示指定的。 调节Mapper数量的一种方式是设置参数mapred.jobtracker.maxtasks.per.job， 但其只能限制每个job中并发运行的map或reduce任务的上限，而当实际运行的map数低于该上限时，该参数将失效。 如果想要对Mapper个数进行更加直接有效的控制，需要指定输入数据的分片大小。 输入分片(input split)是MapReduce框架为使map任...阅读全文
注意：iso-8859-1是JAVA网络传输使用的标准字符集,而gb2312是 标准中文字符集,当你作出提交表单等需要网络传输的操作的时候, 就需要把 iso-8859-1转换为gb2312字符集显示,否则如果 按浏览器的gb2312格式来解释iso-8859-1字符集的话, 由于2者不兼容, 所以会 是乱码. UTF-8三个字节代表一个char iso-8859-1一个字节代表一个char GBK两个字节代表一个char 一直以为，java中任意unicode字符串，可以使用任意字符集转为byte[]再转回来，只要不抛出异常就不会丢失数据，事实证明这是错的。 经过这个实例，也明白了为什么 getBytes()需要捕获异常，虽然有时候它也没有捕获到异常。 言归正传，先看一个实例。 用ISO-...阅读全文
ChannelPipeline ChannelPipeline不是单独存在,它肯定会和Channel、ChannelHandler、ChannelHandlerContext关联在一起,所以有关概念这里一起讲。 一、ChannelHandler 1、概念 先看图 ChannelHandler下主要是两个子接口 ChannelInboundHandler(入站): 处理输入数据和Channel状态类型改变。 适配器: ChannelInboundHandlerAdapter（适配器设计模式） 常用的: SimpleChannelInboundHandler ChannelOutboundHandler(出站): 处理输出数据 适配器: ChannelOutboundHandlerAdapter...阅读全文
1.DDL（Data Definition Language）数据库定义语言statements are used to define the database structure or schema. DDL是SQL语言的四大功能之一。用于定义数据库的三级结构，包括外模式、概念模式、内模式及其相互之间的映像，定义数据的完整性、安全控制等约束DDL不需要commit.CREATEALTERDROPTRUNCATECOMMENTRENAME2.DML（Data Manipulation Language）数据操纵语言statements are used for managing data within schema objects. 由DBMS提供，用于让用户或程序员使用，实现对数据库中数据...阅读全文
“敏捷”这个词近几年非常火，经常会有人问：“我们应该怎样开始做敏捷？”或者：“能不能来帮我们推一下敏捷？敏捷有很多实践，管理的、工程的都有，但敏捷绝非我们看到的站会、持续集成、TDD等那么简单，真正的敏捷体系是从理念到文化的一次变革。 敏捷作为一种快速应对需求变化的新兴软件开发模式，正受到越来越广泛的关注和应用。它强调快速验证，表现为快速上线、快速根据反馈迭代产品。 今天在这里给大家推荐一款敏捷项目管理平台—CORNERSTONE，那么，究竟是什么样的呢？让我们一起来体验吧~ CORNERSTONE 敏捷项目管理解决方案特点为全角色、全流程、支持中大型团队： 提供包含项目管理、产品、运营、研发、测试等各职能角色在内的完整解决方案。 为需求管理、迭代规划、进度跟踪等经典 Scrum 环节提供工...阅读全文
在某些情况下，我们需要动态生成java代码，通过动态编译，然后执行代码。JAVA API提供了相应的工具（JavaCompiler）来实现动态编译。下面我们通过一个简单的例子介绍，如何通过JavaCompiler实现java代码动态编译。 一、获取JavaCompiler JavaCompiler compiler = ToolProvider.getSystemJavaCompiler(); 获取JDK提供的java编译器，如果没有提供编译器，则返回null； 二、编译 //获取java文件管理类 StandardJavaFileManager manager = compiler.getStandardFileManager(null, null, null); //获取java文件对象...阅读全文
1.关于MTU MTU最大传输单元，这个最大传输单元实际上和链路层协议有着密切的关系，EthernetII帧的结构DMAC+SMAC+Type+Data+CRC由于以太网传输电气方面的限制，每个以太网帧都有最小的大小64Bytes最大不能超过1518Bytes，对于小于或者大于这个限制的以太网帧我们都可以视之为错误的数据帧，一般的以太网转发设备会丢弃这些数据帧。 由于以太网EthernetII最大的数据帧是1518Bytes这样，刨去以太网帧的帧头（DMAC目的MAC地址48bits=6Bytes + SMAC源MAC地址48bits=6Bytes + Type域2Bytes）14Bytes和帧尾CRC校验部分4Bytes那么剩下承载上层协议的地方也就是Data域最大就只能有1500Byte...阅读全文
今天看到一个博客园的一篇关于MySQL的IN子查询优化的案例，一开始感觉有点半信半疑（如果是换做在SQL Server中，这种情况是绝对不可能的，后面会做一个简单的测试。）随后动手按照他说的做了一个表来测试验证，发现MySQL的IN子查询做的不好，确实会导致无法使用索引的情况（IN子查询无法使用所以，场景是MySQL，截止的版本是5.7.18） MySQL的测试环境 测试表如下 create table test_table2 ( id int auto_increment primary key, pay_id int, pay_time datetime, other_col varchar(100) ) 建一个存储过程插入测试数据，测试数据的特点是pay_id可重复，这里在存储过程处理...阅读全文
当前，企业面对的商业环境瞬息万变，移动、社交、物联网、云计算、大数据、AI等蓬勃发展。新技术突飞猛进的同时，新业务形态越来越复杂、需求变化越来越快、软件规模越来越大、交付周期越来越短、开发和维护成本越来越高，产品交付的风险急剧增加，传统研发模式无法适应快速变化的市场需求。 为了应对这些挑战，业界软件开发模式经历了持续的改进和变迁，从20世纪60年代作坊式开发，到80年代过程控制模型，到2001年敏捷、DevOps模式探索。 代码出了问题,总是要在本地复现,然后debug,这个过程是在是不太友好,而且线上的很多数据本地没有,经常耽误好久的时间来同步数据. 前文介绍过一种在运行时DEBUG及修改Java代码的方式,阿里开源java动态追踪工具 Arthas的使用.其主要针对的是线上修改代码及JVM实时查看. 但是有很多问题,我们更想要IDE的DEBUG功能,比如线上跑了NPE,本地没有办法复现因为可能是线上的数据问题,这时候就会想,如果可以在线上这里打个断点,就知道是谁为空了. 幸好Java是有远程DEBUG的支持的,而且Intellij-IDEA也实现了相关的功能,今天学习并且记录一下. 启动参数 首先在服务端使用JVM的-Xdebug参数启动Jar包. java -Xdebug ...阅读全文
83版《西游记》里有一个桥段：金角大王拿着宝葫芦对孙悟空说：“我叫你名字，你敢答应吗？”孙悟空不知情，回了句：”爷爷在此“。然后就被吸到宝葫芦里去了，金角大王成功拿到一血。这个桥段相信大家已经看过无数遍了。有一次我在讲课讲到某工具时，不知怎的就想起了它，于是现场做了个测试：我把手里的话筒比作宝葫芦，找前排的某帅哥问：“我叫你名字你敢答应吗？”对方答：“不敢”。在全场的哄笑声中，我想我已经清楚地将想表达的东西给表达了出来。需要声明的是：对方不是事先预定的群演。只不过，倘若将对方的反应放在《西游记》电视剧拍摄项目的现场，导演组大概会有点崩溃：”这个戏真没法拍下去了，我亮出法宝，喊出口诀，他应该表现的很惊恐啊，亦或是无所谓的样子，接着不小心答应一声，被吸入到宝葫芦里去，他怎么能不按剧本出牌呢？”可...阅读全文
MySQL中lock tables和unlock tables浅析 在MySQL中提供了锁定表（lock tables）和解锁表（unlock tables）的语法功能，ORACLE与SQL Server数据库当中没有这种语法。相信刚接触MySQL的人，都想详细、深入的了解一下这个功能.下面就尽量全面的解析、总结一下MySQL中lock tables与unlock tables的功能，如有不足或不正确的地方，欢迎指点一二。 锁定表的语法： LOCK TABLES tbl_name [AS alias] {READ [LOCAL] | [LOW_PRIORITY] WRITE} [, tbl_name [AS alias] {READ [LOCAL] | [LOW_PRIORITY] WRIT...阅读全文
说是大全其实我列取得只是一些常用的命令与大家分享。 下面的例子全是以抓取eth0接口为例，如果不加”-i eth0”是表示抓取所有的接口包括lo。 1、抓取包含10.10.10.122的数据包 # tcpdump -i eth0 -vnn host 10.10.10.122 2、抓取包含10.10.10.0/24网段的数据包# tcpdump -i eth0 -vnn net 10.10.10.0/24 3、抓取包含端口22的数据包# tcpdump -i eth0 -vnn port 22 4、抓取udp协议的数据包# tcpdump -i eth0 -vnn udp 5、抓取icmp协议的数据包# tcpdump -i eth0 -vnn icmp 6、抓取arp协议的数据包# tcpd...阅读全文
背景： 为了提高数据库效率，建索引是家常便饭；那么当查询条件为2个及以上时，我们是创建多个单列索引还是创建一个联合索引好呢？他们之间的区别是什么？哪个效率高呢？我在这里详细测试分析下。 一、联合索引测试 注：Mysql版本为 5.7.20 创建测试表(表记录数为63188)： CREATE TABLE `t_mobilesms_11` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `userId` varchar(255) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL DEFAULT '' COMMENT '用户id，创建任务时的userid', `mobile` varchar(24) NOT NULL D...阅读全文
前言MyBatis是常见的Java数据库访问层框架。在日常工作中，开发人员多数情况下是使用MyBatis的默认缓存配置，但是MyBatis缓存机制有一些不足之处，在使用中容易引起脏数据，形成一些潜在的隐患。个人在业务开发中也处理过一些由于MyBatis缓存引发的开发问题，带着个人的兴趣，希望从应用及源码的角度为读者梳理MyBatis缓存机制。本次分析中涉及到的代码和数据库表均放在GitHub上，地址： mybatis-cache-demo 。目录本文按照以下顺序展开。一级缓存介绍及相关配置。一级缓存工作流程及源码分析。一级缓存总结。二级缓存介绍及相关配置。二级缓存源码分析。二级缓存总结。全文总结。一级缓存一级缓存介绍在应用运行过程中，我们有可能在一次数据库会话中，执行多次查询条件完全相同的S...阅读全文
ToB产品经理的核心技能，确实跟其他产品经理的核心技能有很大的区别。 核心能力1：对行业、职能、流程的了解、尊重。 在ToB领域，对线下业务的了解，永远都是第一位。请永远记住，你所做的事情，就是把线下已经固有存在了很多年的业务，用更加合适的方式在线上描述出来，优化掉，做好，再呈现到客户面前。 随之而来的是，必须建立起对线下已有行业、职能、流程的了解和尊重。请永远记住，你被苹果砸中一个念头迸发出的所谓创新——其实早已经被这些行业、职能、流程验证过千百遍了。甚至可以说一句——如果你不了解这个行业，不要谈创新。对面的客户很可能不懂什么叫互联网、大数据、云计算、生态、平台、闭环等等各种高大上的词，但他对行业、职能、流程的熟悉程度，是你的百倍以上。你跟他谈产品、创新，请先把自己对行业、职能、流程的了解...阅读全文
Hive中collect相关的函数有collect_list和collect_set。 它们都是将分组中的某列转为一个数组返回，不同的是collect_list不去重而collect_set去重。 做简单的实验加深理解，创建一张实验用表，存放用户每天点播视频的记录：create table t_visit_video ( username string, video_name string ) partitioned by (day string) row format delimited fields terminated by ','; 在本地文件系统创建测试数据文件：张三,大唐双龙传 李四,天下无贼 张三,神探狄仁杰 李四,霸王别姬 李四,霸王别姬 王五,机器人总动员 王五,放牛班的春...阅读全文
项目管理过程中常常面对很多挑战，资源管理是项目经理日常烦心事之一。 项目资源过剩会给企业带来浪费，资源过少又会影响项目目标的达成。 另外，项目资源在不同的组织间分配不平衡或者在时间上分配不平衡也会对项目造成不利的影响。 因此，项目资源的管理不仅仅只是简单的资源使用记录，而是应该贯穿项目从计划到后期的整个过程。 项目资源的合理分配和使用可以有效地推动项目成功，需要相关人员互相配合、互相监督。但由于项目具有不确定性和复杂性，项目资源管理亦有不少难度。 所以，企业应该借助合适的项目管理工具开展管理活动，以便全面掌控项目资源的情况和资源的状态，让资源分配更高效、资源管理更便捷。 本文将以CORNERSTONE项目管理工具为例，向你展示如何用做好资源管理： 一、分析资源情况 首先，资源管理要在项目规划...阅读全文
首先说说系统调用是什么，当你的代码需要做IO操作（open、read、write）、或者是进行内存操作（mmpa、sbrk）、甚至是说要获取一个系统时间（gettimeofday），就需要通过系统调用来和内核进行交互。无论你的用户程序是用什么语言实现的，是php、c、java还是go，只要你是建立在Linux内核之上的，你就绕不开系统调用。图1 系统调用在计算机系统中的位置大家可以通过strace命令来查看到你的程序正在执行哪些系统调用。比如我查看了一个正在生产环境上运行的nginx当前所执行的系统调用，如下:# strace -p 28927 Process 28927 attached epoll_wait(6, {{EPOLLIN, {u32=96829456, u64=1403123...阅读全文
小型项目通常是指工作量在三人至十几人之间的项目，这类项目一般是放任自流，少有管理，通常具有投资少、人员少、时间紧、需求不明确等特点。 如借助小型项目管理工具，可以节省大量时间和避免资源浪费，提高项目效率。 下面介绍小型项目团队常遇到的问题，以及项目管理工具是如何有效协助解决这些问题的，与大家一起分享交流。 因资源有限，小型项目团队很少设有专职的项目经理控制项目进度，以至于规范的项目管理方法常常被忽视。 另一方面，由于小型项目直接沟通成本较低，过多的项目管理流程反而使得项目执行过程变得更繁琐。 也正因为这样，在项目管理过程中，小型项目团队大多数会遇到以下问题： 1、项目质量、进度跟不上 小型项目执行过程中，缺乏统一的项目工作流程，不知道先做什么再做什么，没有一一个详细的规划，往往等事情发生了才...阅读全文
一、netty的Pipeline模型 netty的Pipeline模型用的是责任链设计模式，当boss线程监控到绑定端口上有accept事件，此时会为该socket连接实例化Pipeline，并将InboundHandler和OutboundHandler按序加载到Pipeline中，然后将该socket连接（也就是Channel对象）挂载到selector上。一个selector对应一个线程，该线程会轮询所有挂载在他身上的socket连接有没有read或write事件，然后通过线程池去执行Pipeline的业务流。selector如何查询哪些socket连接有read或write事件，主要取决于调用操作系统的哪种IO多路复用内核，如果是select（注意，此处的select是指操作系统内核...阅读全文
groovy是一种动态脚本语言，适用于一些可变、和规则配置性的需求，目前Spring提供ScriptSource接口，支持两种类型，一种是 ResourceScriptSource，另一种是 StaticScriptSource，但是有的场景我们需要把groovy代码放进DB中，所以我们需要扩展这个。 ResourceScriptSource：在 resources 下面写groovy类 StaticScriptSource：把groovy类代码放进XML里 DatabaseScriptSource：把groovy类代码放进数据库中 工程模块为： ResourceScriptSource groovy的pom
前言我们在上篇文章 排序算法（五）-双调排序 介绍了双调排序，今天我们来看一下另一种排序算法 —— TimSort。TimSort是Tim Peters发明的一种混合排序，最早是Python语言的内置排序算法。关于Python内置的TimSort描述可以查看该 文档。关于TimSort的理论基础，可以查看该篇论文 Optimistic Sorting and Information Theoretic Complexity，这篇论文论证了插入排序和归并排序合并后效率提高的可能性，即TimSort的理论基础。Java自Java 7 后加入TimSort，其实现参考了Python版本的实现，我们可以在JDK源码的util包下找到它，java.util.TimSort，这个class不是publi...阅读全文
JerryTse 386 Spring事务传播行为详解 java spring 事务 更新于 2019-09-30 约 29 分钟 前言 Spring在TransactionDefinition接口中规定了7种类型的事务传播行为。事务传播行为是Spring框架独有的事务增强特性，他不属于的事务实际提供方数据库行为。这是Spring为我们提供的强大的工具箱，使用事务传播行可以为我们的开发工作提供许多便利。但是人们对他的误解也颇多，你一定也听过“service方法事务最好不要嵌套”的传言。要想正确的使用工具首先需要了解工具。本文对七种事务传播行为做详细介绍，内容主要代码示例的方式呈现。 基础概念 1. 什么是事务传播行为？ 事务传播行为用来描述由某一个事务传播行为修饰的方法被嵌套进另一个方法的时...阅读全文
随着项目管理在企业中的广泛应用，它对于企业内部效率以及经济效益的提升扮演着越来越重要的角色。 有调查分析显示，使用软件辅助管理项目的企业中，项目可以顺利验收的比率是92.5%，而不使用软件管理的，项目成功率只有72.7%。 保质保量按时完成项目是每个项目管理者最基本的目标，但在实际项目开展工作中，类似以下情况导致工期延时的例子比比皆是。企业应该怎样做才能使项目如期按质按量完成？ 小王是某小公司的项目经理，前段时间公司在筹备一个内部项目，项目正式实施后被公司任命为项目经理。 但使小王感到无奈的是：其他职能部门的经理虽然为该项目安排了时间和人手，但他们同时也忙于其他项目，而且部分经理有时需要使用同样的项目资源。 项目进度已经落后预期一个月，但还没有成型的单元完成，公司管理层对项目拖期问题很关注，...阅读全文
前言在接触到MQTT之后，总是会有疑问，为什么用MQTT不用TCP长连接透传？看起来【TCP长连接+私有协议透传】和【MQTT+业务主题】似乎都能达到同样的目的，甚至用MQTT会使得设备端逻辑实现、APP端逻辑实现、云端架构实现更加复杂。那么为什么物联网还要使用MQTT协议呢？一、MQTT相比于TCP长连接的优势1、协议更标准MQTT是标准的RFC协议，相比于私有协议而言更加标准。好处在于：（1）协议非常完整，能够马上用于生产。各端实现同一套协议之后，就能进行通信；私有协议还需要进行大量的验证，看有无缺陷或欠考虑的地方等。（2）协议的标准化带来大量的开源组件，降低开发难度。随着物联网+5G生态越来越好，开源组件越来越多，可以减少重复编码量。（3）标准协议利于第三方接入。当第三方设备、平台想要...阅读全文
前言 在开始之前，我们先来模拟一下以下的场景： 小李：“小明，你的接口没有返回数据，麻烦帮忙看一下？” 小明：“我这边的数据也是从别人的服务器中拿到的，但是我不确定是因为逻辑处理有问题导致没有结果，还是因为我依赖的服务有问题而没有返回结果，我需要确认一下。” 小明：“哎呀，线上没有日志，我需要加个日志上个线。” 30 分钟之后…… 小明：“不好意思，日志加错地方了……稍等……” 接来下隆重登场的就是本文的主角 JVM SandBox 了。基于 JVM SandBox，我们可以很容易地做到在不重新部署应用的情况下，给指定的某些类的某些方法加上日志功能。当然，动态加日志仅仅是 JVM SandBox 可以应用的一个小小的场景，JVM SandBox 的威力远不在于此。套用官方的话说就是"JVM-...阅读全文
更多腾讯海量技术文章，请关注云加社区：https://cloud.tencent.com/developer作者：谢代斌研究测试TCP断开和异常的各种情况，以便于分析网络应用（比如tconnd）断网的原因和场景，帮组分析和定位连接异常掉线的问题，并提供给TCP相关的开发测试人员作为参考。各个游戏接入都存在一定的掉线问题，而且有的游戏项目的掉线比例还比较高，现在互娱自研游戏的网络接入基本上都用的是tconnd和ProtocalHandler组件（该组件请参考附件的《TSF4G_ProtocalHandler开发指导手册》），因此参与其掉线原因分析和研究。在参与A项目的掉线问题研究分析过程中，tconnd增加了玩家每个连接的流水日志和ProtocalHandler增加了每个连接的Qos上报日志，...阅读全文
1、前言 一直在从事linux下后台开发，经常与core文件打交道。还记得刚开始从事linux下开发时，程序突然崩溃了，也没有任何日志。我不知所措，同事叫我看看core，我却问什么是core，怎么看。同事鄙视的眼神，我依然在目。后来学会了从core文件中分析原因，通过gdb看出程序挂再哪里，分析前后的变量，找出问题的原因。当时就觉得很神奇，core文件是怎么产生的呢？难道系统会自动产生，可是我在自己的linux系统上面写个非法程序测试，并没有产生core问题？这又是怎么回事呢？今天在ngnix的源码时候，发现可以在程序中设置core dump，又是怎么回事呢？在公司发现生成的core文件都带有进程名称、进程ID、和时间，这又是怎么做到的呢？今天带着这些疑问来说说core文件是如何生成，如何配...阅读全文
使用UDP协议进行信息的传输之前不需要建议连接。换句话说就是客户端向服务器发送信息，客户端只需要给出服务器的ip地址和端口号，然后将信息封装到一个待发送的报文中并且发送出去。至于服务器端是否存在，或者能否收到该报文，客户端根本不用管。 单播用于两个主机之间的端对端通信，广播用于一个主机对整个局域网上所有主机上的数据通信。单播和广播是两个极端，要么对一个主机进行通信，要么对整个局域网上的主机进行通信。实际情况下，经常需要对一组特定的主机进行通信，而不是整个局域网上的所有主机，这就是多播的用途。 通常我们讨论的udp的程序都是一对一的单播程序。本章将讨论一对多的服务：广播（broadcast）、多播（multicast）。对于广播，网络中的所有主机都会接收一份数据副本。对于多播，消息只是发送到一...阅读全文
在敏捷开发过程中，一个产品或者一个发布版本通常是由多个冲刺来实现的，每个冲刺都能增量交付可运行的系统功能，实现客户价值。每个冲刺都是从冲刺规划开始，团队成员一起商定冲刺目标和明确交付的系统功能，并进行冲刺执行，实现系统功能，再通过冲刺评审和回顾对实现的产品功能和过程进行检视，期望在下一冲刺过程中对产品功能和过程进行改进和完善。 一、冲刺流程 冲刺包括冲刺规划、冲刺执行、冲刺评审、冲刺回顾四大过程。冲刺是从规划开始，团队成员必须就本次冲刺的目标和计划达成共识，全体成员在整个冲刺过程按照既定的计划奔着这个目标前进，每天对取得的成果和面临的问题进行沟通讨论。冲刺结束阶段，在冲刺评审活动中召集相关利益相关方一起演示产品功能并获得反馈，获得的反馈是产品列表和下一阶段冲刺规划内容的重要来源。在冲刺回顾活...阅读全文
备注: Hive 版本 2.1.1 Table of Contents一.Hive 正则表达式概述1.1 字符集合:1.2 边界集合:1.3 重复次数集合:1.4 组合操作符:1.5 匹配操作符:1.6 转义操作符:二.Hive 正则表达式案例2.1 regexp2.2 regexp_replace2.2.1 截取字符串中汉字部分2.2.2 截取字符串中数字部分2.2.3 截取字符串中字母部分2.2.4 截取字符串中的大小写字母和数字2.3 regexp_extract参考： 一.Hive 正则表达式概述 Hive的正则表达式虽然没有关系型数据库的正则表达式那么强大，但是一样可以解决HQL开发过程中的诸多问题，数据工作者平时也离不开正则表达式。对此，特意做了个hive正则表达式的小结。所有代...阅读全文
深入理解JDK动态代理机制本文是基于jdk1.8来对动态代理的底层机制进行探究的 Java中代理的实现一般分为三种：JDK静态代理、JDK动态代理以及CGLIB动态代理。在Spring的AOP实现中，主要应用了JDK动态代理以及CGLIB动态代理。但是本文着重介绍JDK动态代理机制，CGLIB动态代理后面会接着探究。 代理一般实现的模式为JDK静态代理：创建一个接口，然后创建被代理的类实现该接口并且实现该接口中的抽象方法。之后再创建一个代理类，同时使其也实现这个接口。在代理类中持有一个被代理对象的引用，而后在代理类方法中调用该对象的方法。 其实就是代理类为被代理类预处理消息、过滤消息并在此之后将消息转发给被代理类，之后还能进行消息的后置处理。代理类和被代理类通常会存在关联关系(即上面提到的持...阅读全文
1.虚拟IP 在 TCP/IP 的架构下，所有想上网的电脑，不论是用何种方式连上网路，都必须要有一个唯一的 IP-address。事实上IP地址是主机硬件地址的一种抽象，简单的说，MAC地址是物理地址，IP地址是逻辑地址。 虚拟IP，就是一个未分配给真实主机的IP，也就是说对外提供服务器的主机除了有一个真实IP外还有一个虚IP，使用这两个IP中的任意一个都可以连接到这台主机。 虚拟IP一般用作达到HA(High Availability)的目的,比如让所有项目中数据库链接一项配置的都是这个虚IP，当主服务器发生故障无法对外提供服务时，动态将这个虚IP切换到备用服务器。 2.虚拟IP原理 ARP是地址解析协议，它的作用很简单，将一个IP地址转换为MAC地址，然后给传输层使用。 每台主机中都有一...阅读全文
备注: Hive 版本 2.1.1 Table of Contents一.Hive分区表概述二.静态分区2.1 单分区测试2.2 多分区测试三.动态分区3.1 动态分区测试3.2 动态分区和静态分区混合使用四.分区的其它操作4.1 恢复分区4.2 归档分区4.3 交换分区参考 一.Hive分区表概述 数据分区的概念以及存在很久了，通常使用分区来水平分散压力，将数据从物理上移到和使用最频繁的用户更近的地方，以及实现其目的。 hive中有分区表的概念，我们可以看到分区具重要性能优势，而且分区表还可以将数据以一种符合逻辑的方式进行组织，比如分层存储 Hive官方网站对Hive partition的介绍: 可以使用Partitioned BY子句创建分区表。一个表可以有一个或多个分区列，并且为分区列...阅读全文
大型互联网公司一般都会要求消息传递最大限度的不丢失，比如用户服务给代金券服务发送一个消息，如果消息丢失会造成用户未收到应得的代金券，最终用户会投诉。 为避免上面类似情况的发生，除了做好补偿措施，更应该在系设计的时候充分考虑各种异常，设计一个稳定、高可用的消息系统。 认识 Kafka 看一下维基百科的定义 Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。Kafka是一个分布式的、可划分的、冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 Kafka 架构 Kafka 的整体架构非常简单，是显式分布式架构，主要由 Producer、Broker（Kafka） 和 Consumer 组成。 Kafka架构（精简版） Pr...阅读全文
为什么慢 执行 yarn 各种命令的时候，默认是去 npm/yarn 官方镜像源获取需要安装的具体软件信息 以下命令查看当前使用的镜像源 yarn config get registry 默认源地址在国外，从国内访问的速度肯定比较慢 如何修改镜像源 阿里旗下维护着一个完整的 npm 镜像源 https://registry.npm.taobao.org/ 同样适用于 yarn 1. 临时修改 yarn save 软件名 --registry https://registry.npm.taobao.org/ 2. 全局修改（推荐） yarn config set registry https://registry.npm.taobao.org/ 3. 检查 yarn config get re...阅读全文
项目中途引入Mybatis-plus后报错：Caused by: java.lang.ClassNotFoundException: org.mybatis.logging.LoggerFactory 1、网上有提供解决办法1： 在引入mybatis-plus之前，是存在mybatis的包和pagehelper包的，把这两个注释掉就可以了。 分页就使用mybatis-plus自带的IPage。