MySQL binlog格式解析 binlog想必大家都不陌生，在主从复制或者某些情况下的数据恢复会用到。由于binlog是二进制数据，要查看一般都借助mysqlbinlog工具。这篇笔记分析了binlog格式，希望能够了解下mysqlbinlog工具背后所做的事情。 1.什么时候写binlog 在说明什么时候写binlog前，先简单介绍下binlog的用途。binlog是二进制日志文件，用于记录mysql的数据更新或者潜在更新(比如DELETE语句执行删除而实际并没有符合条件的数据)，在mysql主从复制中就是依靠的binlog。在mysql中开启binlog需要设置my.cnf中的log_bin参数，另外也可以通过binlog_do_db 指定要记录binlog的数据库和binlog_i...阅读全文
问题导读 1.什么是Hudi？ 2.Hudi对HDFS可以实现哪些操作？ 3.Hudi与其它组件对比有哪些特点？ 前两天我们About云群大佬公司想了解Hudi ，并上线使用。Hudi 或许大家了解的比较少，这里给大家介绍下Hudi这个非常实用和有潜力的组件。 Hudi是在HDFS的基础上，对HDFS的管理和操作。支持在Hadoop上执行upserts/insert/delete操作。这里大家可能觉得比较抽象，那么它到底解决了哪些问题？ Hudi解决了我们那些痛点 1.实时获取新增数据 你是否遇到过这样的问题，使用Sqoop获取Mysql日志或则数据，然后将新增数据迁移到Hive或则HDFS。对于新增的数据，有不少公司确实是这么做的，比较高级点的，通过Shell调用Sqoop迁移数据实现自动...阅读全文
企业不同的发展阶段对项目管理的形式、对项目经理有着不同的期望，企业的发展正对应着一个项目经理的发展方向。 一、从零到一组建项目管理团队，重点在理不在管 首先，对于从零开始组建项目管理团队的公司，这时候普遍的问题是技术团队开始庞大（可能超过100人了），天天加班，需求推进缓慢。 项目管理团队在这个时点介入的重点在于理而不在于管： 1、首要任务是梳理清楚目前各个业务线或者产品线的工作流程，并清晰化当前正在做的以及规划中的各种需求和资源。 2、派驻项目经理到具体的业务产品线里，跟技术团队一起工作，规范化日常的需求或小项目，例如按周或按日出进度报告，把每一个需求都具体到明确的人来跟进。 3、理清项目完成的进度，解决方案，让老板能一目了然看清楚整个团队在做些什么...阅读全文
很多软件公司的研发团队都喜欢用Scrum管理研发流程，Scrum是一个诞生于20世纪90年代的敏捷方法论，CORNERSTONE内部也一直在使用这一方法。 相较于瀑布式开发的其他传统方法，Scrum最大的优点是关注持续快速迭代以及对变化的适应性。如果使用瀑布式开发，在项目一开始就要确定项目结果，并且要对此达成一致，通常还要有详细的计划和项目规范。项目计划是从这些规范中产生的，通过以项目在未来的完成情况为出发点，向后推进，以线形的方式规划出时间、预算和各阶段的联系性。 瀑布式开发的成品是一份路线图，能推算出一款软件到推出之日为止，需要完成的所有开发工作，而不足之处就是如果在软件开发过程中出现了变动，包括时间线或各阶段连接时出现问题，甚至在很多时候连预算都需要完全重做，实际上这就破坏了计划。 S...阅读全文
众所周知，沟通在项目管理中很重要，但即便优秀如华为，在项目初期的时候，也吃过很多沟通不畅的亏。  今天这篇文章就来解读一下，华为项目管理的有效沟通是怎么做的，以及在项目之余，华为日常工作中的高效沟通方法。希望对你有帮助~ 一、缺乏有效沟通对项目是灾难性的 在华...阅读全文
什么是数字化转型的本质？我们认为，数字化转型的本质是，在数据+算法定义的世界中，以数据的自动流动化解复杂系统的不确定性，优化资源配置效率，构建企业新型竞争优势。 无论是社会经济，还是科学技术，都始终处于一个流动的过程之中，由于信息技术和硬件设备的不断成熟，数字化转型是当下经济社会中的一个里程碑事件，也是企业发展的必经之路。数字化转型对于企业来说，不单单是某一次的变革和动作，而是企业的整体框架升级，渗透到企业的生产、决策、经营等各个环节之中。在数字化转型中占据先机的企业，将会在竞争中获得更多的优势。 下面我们就来细数一下，企业数字化转型将会给企业带来的三个变革。 一、决策革命 决策革命简而言之就是基于数据+算法的决策。“数据+算法=服务”实现分四个环节：一是描述，在虚拟...阅读全文
最近和很多之前做互联网产品的小伙伴交流：在如今消费互联网红利减少，产业互联网逐渐兴起的时候，想从事B端产品经理，不知道是否可以？说实话，从C端到B端并非完全不可能，我本人也是这样转型经历。只是二者的侧重点不同，所以对于想从事B端产品经理的同学来说，择业时不妨从以下几方面考量。一、选择感兴趣的行业沉淀1. 行业属性起初做产品的时候，往往觉得不受行业限制。因为做产品的方法论是通用的。这种情况在C端的时候可能还相对适用。因为受众群体直接是普通大众，懂人心、知人性，或许就能做出个好产品。但如今，产业互联网兴起，产品的受众人群可能是有专属业务技能和业务知识的。因此，产品设计更多的会与业务相关联。此时对于产品经理来说，行业经验和业务知识的积累就尤为重要。在一个行业深耕，会使你逐渐成为该领域的专家。此时这...阅读全文
对于绝大多数人来说,2020的春节,注定要与自己以往所经历的所有春节,都有所不同!新冠疫情，随着春运的脚步一下就席卷了全国各地。这个春节，相信每一家，每一人都过得很不平静，大家都心系着疫情发展情况。而我此时就是在疫情重灾区书写着这篇文章， 作为大众而言，生活仍在继续，工作也在继续，面对疫情，最好的方式就是不给国家和他人添乱，在家呆着，不出门就是对社会最大的贡献，武汉加油，中国加油！ 由于新型冠状病毒的蔓延以及春运返工潮的临近，春节假期也因此而延长，但是，还是有不少人员已提前返岗，他们需要填写，无数张各种各样的表格，面对各种总结与售后工作。而对于上班族来说，假期的延长也未必是好消息，大家仍然有一大堆工作要处理。疫情期间，多家公司已启动在家办公机制，同时，越来越多的人也开始意识到，...阅读全文
多个服务，使用监听一个端口。先上一个demo Test.thrift namespace java com.gxf.thrift enum RequestType { SAY_HELLO, //问好 QUERY_TIME, //询问时间 } struct Request { 1: required RequestType type; // 请求的类型，必选 2: required string name; // 发起请求的人的名字，必选 3: optional i32 age; // 发起请求的人的年龄，可选 } exception RequestException { 1: required i32 code; 2: optional string reason; } // 服务名 ser...阅读全文
对于软件研发项目管理，需求变更频繁是一个非常让人头痛也很无奈的问题，小到某个文档标题的改变，大到一个新的产品功能需求的提出…… 一旦需求发生变更，往往容易引起重估、返工，那时就不得不修改设计、重写代码、修改测试用例、调整项目计划等等。 任何需求变更的提出，几乎都会增加整个研发项目成本，如果控制不好，还会导致项目范围蔓延、进度延迟、质量不过关和成本严重超支等诸多问题，甚至因过多的分歧、变更而半途而废。 面对不断的研发项目需求变更，我们应该怎么办？ 首先，要认识到一点就是研发项目中的需求是不可能被完全消除和避免的。 我们所能做的，就是找到需求变更产生的原因，针对性采取行之有效的措施，将需求变更给研发项目带来的损失减到最小。 管理项目时已经发现了，我们悄悄的对我们多维度视图有了一次重大的更新。更新前大家都知道，我们提供了【表格、分栏、看板、甘特图、日历、统计、周汇总、分类导图】八种视图，更新后我们把原有的日历视图跟改成了现有的资源日历视图。本文就主要介绍资源日历视图以及其一些基础操作，资源日历视图应该是现有市面上的项目管理工具都没有的，手动加狗头！仅此一家，绝无分店。其他视图的使用方法，相信大家都已经驾轻就熟了，在这里就不多介绍了。 资源日历视图： 资源日历视图，左侧部分显示项目组成员情况，右侧部分显示任务分配状况。  制定OKR时，尽量避免这些误区： 沟通不畅的OKR延伸目标 设定延伸目标需要在...阅读全文
 你肯定注意到了，5月4日朋友圈被一则视频《后浪》刷了屏。视频发布方哔哩哔哩（bilibili，以下简称B站）再次走进公众视野，引发了广泛讨论。B站的发迹史，可以说是一次教科书式的产品开发范例，今天我们聊一聊发展历程，他们做对了什么。 一、破局，找准突破口 2009年6月2...阅读全文
前言其实我之前是不太了解时序数据库以及它相关的机制的，只是大概知晓它的用途。但因为公司的业务需求，我意外参与并主导了公司内部开源时序数据库influxdb的引擎改造，所以我也就顺理成章的成为时序数据库“从业者”。造飞机的人需要时刻理解开飞机的人的需求。我不算时序数据库的使用者，但我想站在用户的角度去思考，他们需要一款怎样的“时序数据库”，我司的influxdb的第一阶段改造已经完成，所以我写下这篇文章，总结一下自己在开发中的一些思考与想法。也许有些地方还不够成熟，但胜在人会慢慢进步。正文一、几款优秀的时序数据库Prometheus、Influxdb和opentsdb是三款业内比较知名且实际生产使用的时序数据库了，总的来说三款各有优缺点，这里不谈它们的性能，主要谈谈使用和生态。Influxdb...阅读全文
Flink-Task、SubTask、并行度 ldc2013的博客 08-01 292 Task与SubTask 一个算子就是一个Task. 一个算子的并行度是几,这个Task就有几个SubTask 对应关系： 算子=Task 并行度=SubTask task是抽象概念，subtask是物力概念 Parallelism并行度 默认并行度--cpu核数 关键点 不同的并行度（subtask），肯定在不同的slot，但也可能在不同的taskmanager 一个流程序的并行度，可以认为就是其所有算子中算子并行度最大的并行度 数据传输模式： One-to-one：. 【白话Flink基础理论】Flink运行时(Runtime)架构（三）并行度&Task&SubTask&Slot&Flink中的并行剖...阅读全文
最近被领导指派负责一个新的项目，我想把项目做成功，给老板留下深刻的印象，同时也给自己的职业生涯添上浓墨重彩的一笔。但是，项目管理流程很复杂，项目本身也不好做。在收集了与该项目有关的所有信息，并将新的团队整合在一起之后，身边的朋友建议我找一些项目管理工具，来帮助我更好地管理手中的项目。虽然朋友的建议很有道理，但是一旦真正开始寻找，很快我就意识到选择合适的项目管理软件可能与管理项目一样困难。市面上的项目管理软件令人眼花缭乱，哪种工具最容易使用？哪些功能的是项目管理必备的？下面分享一点我的心得，希望对你有所帮助！选择项目管理软件之前要清楚的问题一、你的项目性质是什么并非所有项目性质都相同。例如，互联网公司的研发项目管理与传统生产制造业的项目管理不同，因为他们需要整合管理的资源、团队性质以及具体实...阅读全文
1、 计算机的存储体系 内存是计算机很重要的一个资源，因为程序只有被加载到内存中才可以运行；此外，CPU所需要的指令与数据也都是来自内存的。可以说，内存是影响计算机性能的一个很重要的因素。 在介绍内存管理的细节前，先要了解一下分层存储器体系： 大部分的计算机都有一个存储器层次结构，即少量的非常快速、昂贵、易变的高速缓存(cache)；若干兆字节的中等速度、中等价格、易变的主存储器(RAM)；数百兆或数千兆的低速、廉价、不易变的磁盘。这些资源的合理使用与否直接关系着系统的效率。 CPU缓存（Cache Memory）：是位于CPU与内存之间的临时存储器，它的容量比内存小的多但是交换速度却比内存要快得多。缓存的出现主要是为了解决CPU运算速度与内存 读写速度不匹配的矛盾，因为CPU运算速度要比内...阅读全文
前言：企业在划分项目时，可按照项目的复杂程度、管理范围等将项目分为三个级别，分别是企业级、部门级和小组级（与目标划分原则相同），然后将每一级的目标与项目对应起来。我们知道，企业制定的目标（OKR），一个目标（O）会有多个关键结果（KR），关键结果是衡量目标完成与否的标准，因此，每个项目的目标对应的应该是目标中的关键结果，当然，目标及关键结果的复杂程度不同，所以一个关键结果可能会对应多个项目。，一款软件聚合多种功能 , 全流程帮助各大企业管理整个项目生命周期。  近几年，OKR 这个词越来越流行了。 OKR由intel首创，在 Google 使用后被推广，接着华为、百度等国内知名公司也都积极引入。 2017年，华为内部的一次绩效满意度调查中显示：开展OKR的团队在绩效管理各维度的满意度全面高于采用传统绩效管理方法的团队。 带团队、打硬仗，你们公司的...阅读全文
项目经理是个"坑"，谁当谁知道啊，可是没当过项目经理的你们，永远也不知道"坑"在哪里。 1、当了项目经理，你才知道，还是做技术的时候最简单。 因为技术的不确定性最小，业务和管理的不确定性太多，不确定性就意味着复杂，需要更多的判断、选择和运气。业务和管理要不断和人打交道，而人无疑是最复杂的。 2、当了项目经理，你才知道，千万不要凭经验执行你不擅长的领域。 专业领域有专业的人员去做，你的职责是给他们协调资源、提供良好的工作环境、把控最终结果，中间过程应该给予足够的信任。要知道，你只是个项目经理，不是那个可以指点别人的技术大牛。 3、当了项目经理，你才知道，甲方的需求永远是对的。 即使甲方的要求是不合理的，那也不能直接拒绝。你要以理服人（虽然大部分情况下没啥用）...阅读全文
 腾讯做产品厉害，这个众人皆知。他们不仅打造了QQ和微信这样的国民产品，还形成了自己的产品方法和文化。 阿里最早的“中供铁军”名声远扬，他们的推广销售和业务拓展能力也形成了一种阿里文化。 百度一直以技术自居，从传统的核心搜索技术到目前押宝人工智能，在技术路线上百度一直有自己的追求。 腾讯的产...阅读全文
有些朋友经常问我是不是该升级电脑了，我通常的建议却是升级机械硬盘HDD到固态硬盘SSD。CPU隔个几代升级也许会让你的系统感觉快了一些，内存大了也会好一些，但HDD到SSD的升级却是质的变化。好刚要用到刀刃上，要升级SSD当然是升级系统盘了。“重装系统好麻烦！”，“硬件驱动恐怕找不到了！”等等问题是大家升级系统盘的顾虑。是啊，重装系统耗时耗力，古老的驱动盘不知道丢到哪里去了，还不如一步到位装个新电脑呢？可又看看钱袋子，还是忍忍吧！如果我说可以克隆HDD到SSD，而不必重装系统呢？相信很多人就立刻来了兴趣。但是先别高兴，还有一些棘手的问题需要考虑：硬盘大小不一致怎么办？HDD和SSD的介质不一样，克隆会不会出问题呢？今天我们就一步一步介绍给你如何从HDD迁移到SSD，首先我们为了保持我们专栏一...阅读全文
Golang从1.5开始引入了三色GC, 经过多次改进, 当前的1.9版本的GC停顿时间已经可以做到极短. 停顿时间的减少意味着"最大响应时间"的缩短, 这也让go更适合编写网络服务程序. 这篇文章将通过分析golang的源代码来讲解go中的三色GC的实现原理. 这个系列分析的golang源代码是Google官方的实现的1.9.2版本, 不适用于其他版本和gccgo等其他实现, 运行环境是Ubuntu 16.04 LTS 64bit. 首先会讲解基础概念, 然后讲解分配器, 再讲解收集器的实现. 基础概念 内存结构 go在程序启动时会分配一块虚拟内存地址是连续的内存, 结构如下: 这一块内存分为了3个区域, 在X64上大小分别是512M, 16G和512G, 它们的作用如下: arena a...阅读全文
目录 使用情景 将定时任务录入数据库（这样做的好处是定时任务可视化，也可以动态修改各个任务的执行时间），通过反射执行对应的方法； 配合Netty实现简单的HTTP请求处理框架 其他需要使用反射执行Spring方法的业务亦可 目的 很多文章都提到了反射，但是对于方法参数处理这一块都是明确了类型，不支持按照实际参数动态转换，而本篇文章提供了一个思路怎么做到方法参数的动态调用。 大家也可以通过利用本文的方法结合自己的业务场景写出复用性更高、可扩展性更好的代码。欢迎各位指出文章中的错误，如果有更好的思路可以在下方评论，我们一起讨论。 欢迎转发，请注明出处。 实现方式 前提: 明确清楚需要执行的类和方法。 思路 通过Spring容器获取需要执行的类，注意：从spring容器中获取的类可能是被JDK或C...阅读全文
在网上看见有一个笑话是这样的： 1. 程序员写出自认为没有Bug的代码。 2. 软件测试，发现了20个Bug。 3. 程序员修改了10个Bug，并告诉测试组另外10个不是Bug。 4. 测试组发现其中5个改动根本无法工作，同时又发现了15个新Bug。 5. 重复3次步骤3和步骤4。 6. 鉴于市场方面的压力，为了配合当初制定的过分乐观的发布时间表，产品终于上市了。 7. 用户发现了137个新Bug。 8. 已经领了项目奖金的程序员不知跑到哪里去了。 9. 新组建的项目组修正了差不多全部137个Bug，但又发现了456个新Bug。 10. 最初那个程序员从斐济给饱受拖欠工资之苦的测试组寄来了一张明信片。整个测试组集体辞职。 11. 公司被竞争对手恶意收购。收购时，软件的最终版本包含783个Bu...阅读全文
最近一段时间CPU漏洞的新闻可谓让人惊诧不已，一个最不可能、最不能被允许的关键设备竟然有硬件漏洞！这几天PC厂商最忙的事情就是推出补丁，用软件方式弥补硬件漏洞的错误。而且，这些措施还会导致CPU性能下降。但是这个漏洞究竟影响什么？你真需要为此而担忧吗？ 漏洞是真但不必害怕 漏洞存在这是千真万确的事情，但是你也不需要为此而担心——这个被证实影响了十几年来几乎大部分CPU的硬件缺陷确实存在，只是这个漏洞的技术细节没有（也不可能）公之于众。 事情要从去年说起，谷歌旗下的Project Zero团队发现了一些由CPU“预测执行”（Speculative Execution）引发的芯片级漏洞，“Spectre”（变体1和变体2：CVE-2017-5753和CVE-2017-5715）和“Meltdow...阅读全文
前言 一场毫无征兆的疫情袭来，从12月到现在，很多企业可能还没有反应过来就已经倒下了。“幸存者”也都在悬崖的边缘，苦苦挣扎。大部分企业面临的窘境是资金不足，需要裁减人员。但是裁员后，有没有足够的人力来获取更大的效益来维持周转。这样的悖论，把无数的企业推向了不可逆转的深渊。大家都急切的希望能够找到一个方法，能力挽狂澜。 一、危险与机遇并存 三年前正准备转型向办公硬件领域的钉钉，可能没有想到，一场疫情又把他拉回了老本行，钉钉赶上了这个风口是肯定的，然而除了钉钉，所有钉钉之前的老客户们，面对这场疫情，他们似乎看上去更加淡定，当那春节后在考虑用什么平台来进行远程办公的企业来说，老“钉子”们已经开始了自己新一年的运作。数字化社会的到来，具有更多数字化属性的企业会占据先机。 二、...阅读全文
ZGC（The Z Garbage Collector）是JDK 11中推出的一款低延迟垃圾回收器，它的设计目标包括：停顿时间不超过10ms；停顿时间不会随着堆的大小，或者活跃对象的大小而增加；支持8MB~4TB级别的堆（未来支持16TB）。从设计目标来看，我们知道ZGC适用于大内存低延迟服务的内存管理和回收。本文主要介绍ZGC在低延时场景中的应用和卓越表现，文章内容主要分为四部分：GC之痛：介绍实际业务中遇到的GC痛点，并分析CMS收集器和G1收集器停顿时间瓶颈；ZGC原理：分析ZGC停顿时间比G1或CMS更短的本质原因，以及背后的技术原理；ZGC调优实践：重点分享对ZGC调优的理解，并分析若干个实际调优案例；升级ZGC效果：展示在生产环境应用ZGC取得的效果。GC之痛很多低延迟高可用Ja...阅读全文
过去的几天里，我把JVM内部的垃圾回收算法和垃圾回收器。还剩下最后一个G1回收器没有说，我们今天数一下G1回收器和常见的参数配置。G1回收器G1 (Garbage-First)是一款面向服务器的垃圾收集器，主要针对配备多颗处理器及大容量内存的机器，以极高概率满足GC停顿时间要求的同时,还具备高吞吐量性能特征。我们会想一下我们上次课说的parNew+CMS回收器已经很厉害了，但是我们的服务器是那种超大内存的服务器呢？比如内存是32G的，可能最后我们的堆内存需要分配到十多个G，我们用parNew+CMS对于STW时间还是很长的，需要清理的越多，时间消耗越长啊，但是我们的G1垃圾回收器可以做到限制时间来收集，我们先看一下G1的模型图。来解释一下这个图，G1垃圾回收器，会把你的堆内存分为 大小相等 ...阅读全文
严峻的疫情当前，企业复工在即，及时了解、跟踪和统计员工的健康状况，对于企业正常经营来说是至关重要的，如何准确、高效的完成信息收集工作是HR面临的巨大挑战。 [CORNERSTONE](https://www.cornerstone365.cn/)团队根据客户需求加速功能升级，全力免费支持疫情信息收集统计工作，紧急上线了“问卷调查功能”，急客户之所急,想客户之所想,需客户之所需。通过工作台首页“问卷调查”的功能就可以很好的帮助到大家及时掌握相关数据情况，第一时间防止病毒的蔓延。  了，其他线程受影响吗？ 定时器 OOM(OutOfMemoryError) 了，其他线程受影响吗？ JAVA herman 3年前 (2018-09-22) 3347浏览 0评论 公告：“业余草”微信公众号提供免费CSDN下载服务(只下Java资源)，关注业余草微信公众号，添加作者微信：codedq，发送下载链接帮助你免费下载！ 本博客日IP超过2000，PV 3000 左右，急需赞助商。 极客时间所有课程通过我的二维码购买后返现24元微信红包，请加博主新的微信号：codedq，之前的微信号好友位已满，备注：返现 受密码保护的文章请关注“业余草”公众号，回复关键字“0”获得密码 所有面试题(java、前端...阅读全文
Apache Doris 在美团点评的实践 作者: 康凯森 日期: 2019-04-27 分类: OLAP 技术选型 背景 用户需求 Why Not Other ROLAP Why Doris 典型应用 变化维表 Join 明细 + 聚合 外卖准实时数仓 Doris 服务现状 平台化建设 Hive To Doris Kafka To Doris 功能改造 谓词下推的传递性优化 查询执行多实例并发 Colocate Join 未来规划 致谢 本文的内容是我 4 月 13 日在 Doris Meetup 上的分享，我主要从技术选型，典型应用，平台化建设，功能改造 4 方面进行了分享。 技术选型 背景 在2017年年底，我们已经维护了 Kylin 和 Druid 两个开源 OLAP 系统，Kyli...阅读全文
前言 再通过对THsHaServer的源码学习后，我们知道THsHaServer缺点为主线程仍然需要完成所有socket的监听接收（accept）、数据读取和数据写入操作(read/write)。当并发请求数较大时，且发送数据量较多时，负责监听的主线程就只有一个。监听socket上新连接请求不能被及时接受。 ##TThreadedSelectorServer TThreadedSelectorServer是对THsHaServer的一种扩充与完善，它将selector中的读写IO事件(read/write)从主线程中分离出来。交给了多个专门负责读写IO事件的SelectorThread，同时引入worker工作线程池，负责业务处理。它也是种Half-Sync/Half-Async的服务模型。...阅读全文
在数字化和AI时代，软件及提供在线服务的系统的战略地位越来越高；同时随着市场竞争的加剧，每个企业都在思考如何更快速地满足用户诉求，将有价值的服务提供给客户。DevOps作为一种全新的软件开发协作模式，正是在这种背景下诞生的，它强调研发组织内部不同角色的沟通、尽可能的自动化一切操作，不断地获得反馈以寻找提升效能的机会。 DevOps正在被越来越多的企业所认可和适用，例如：腾讯、阿里巴巴、百度、华为等。 [CORNERSTONE](https://www.cornerstone365.cn)一站式云端DevOps平台内部通过多年对软件工程的研究和实践，研究出了一套适用于不同业务形态、团队规模研发组织的DevOps方法论，并将其核心的理念整合进入工具链当中，形成了一套从...阅读全文
我们做弱电监控系统的时候，都避免不了要跟IP地址打交道，比如摄像头、NVR、服务器等这些设备安装好之后，就需要给它们配上IP，那这个IP地址你了解嘛?今天我们就一起来聊聊什么是内网、公网和NAT地址转换? 1、内网、公网和NAT的定义 内网也叫局域网，从范围上来讲内网就是小部分的网络，一般指的是特定环境下组成网络，比如某一个家庭多台计算机互联成的网络，也可以学校和公司的大型局域网，内网的IP一般都是192.168.1.100，192.168.0.100,172.16.1.100……这些都是内网IP，内网是不能直接连接外网，比较封闭，但在内网里面可以实现文件管理，应用软件共享、打印机共享等服务。 家庭局域网 外网又被叫做互联网，是连接不同地区局域网或者城域网计算机的通信的远程网络。通常可以跨接...阅读全文
登录注册写文章首页下载APP抽奖JAVA并发（2）—PV机制与monitor（管程）机制小胖学编程关注赞赏支持JAVA并发（2）—PV机制与monitor（管程）机制在操作系统中，进程之间经常有互斥和协作两种关系，为了有效处理这两种情况，W.Dijkstra在1965年提出了信号量（semaphore 塞吗佛）和PV操作。 1. 信号量与PV机制 信号量是一种抽象的数据类型，由一个整型S变量和P原语、V原语组成（原语：即不可中断的过程）。并且这个整型变量只能由PV改变。 P(S)意味着S-1，若S-1<0，说明资源不够用，将进程加入到等待队列中； V(S)意味着S+1，若S+1<=0，说明等待队列中存在进程，那么唤醒一个等待进程； 信号是操作系统提供的一种协调共享资源访问的方法。信号量由操作...阅读全文
我写的《Flink原理与实践》已由人民邮电出版社出版，感兴趣的朋友请到电商平台购买，谢谢！微信公号：ilulaoshi 个人网站：https://lulaoshi.info/flink/chapter-time-window/window.html我们经常需要在一个时间窗口维度上对数据进行聚合，窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API，我们可以将数据流切分成一个个窗口，对窗口内的数据进行处理。本文将介绍如何在Flink上进行窗口的计算。一个Flink窗口应用的大致骨架结构如下所示：// Keyed Window stream .keyBy(...) <- 按照一个Key进行分组 .window(...) <- 将数据流中的元素分配到相应的窗口中 ...阅读全文
昇腾众智计划火热上线！140个算子/模型等你来挑战！>>> 最近线上一个服务又出现了频繁Full GC的情况，导致提供的业务经常超时。问题出现非常不稳定，经过两周的时候，终于又捕捉到了一次Full GC，于是联系运维做Heap Dump之后，经过一系列分析，终于解决问题。这次的问题稍微复杂一点，但是也比较有代表性，用到了VisualVM和MAT两个工具，继续记录如下。 现象 这次使用公司的CAT监控平台看到的内存表现如下： 可以看到，具体表现是： 在很长一段时间内(数个小时)，New GC比较频繁，Full GC较少(一小时个位数)。 过了某一时间点后，Full GC增加，New GC则减少。 将服务切换下线后，Memory Free逐渐回升，Full GC减少。 然后观察某一时刻的JMAP...阅读全文
2020年的开局太不寻常，一场新冠疫情闹得大家都过不好年，这个春节假期对于我们来说可能是史上最长春节。除了待在家里不能出门外，对我们生活并没有其他的影响。但疫情对各大企业的影响可不是那么简单了。 因疫情原因，很多企业都延长了假期，同时也组织团队成员们开启了远程办公的模式。没办法，日子还是要过的，开工也是要开工的，市场可不会等一切恢复正常才开始运转。 但作为职场从业者，我们也要体谅一下企业家，这两年很多中小企业发展也不容易，就业市场去年就已经相当严峻，如果企业抗不下去，那么从业者也会遭遇职场寒冬。 有人说了，企业那么有钱，不就延期上班，有那么夸张么？ 能这么问的，一定是对现金流没啥概念的，很多时候不是企业没钱，而是现金流扛不过去，资金链断...阅读全文
没有任何一个项目能轻而易举的成功。但是你却可以努力去争取更大的成功率，靠的便是精心设计、并且行之有效的流程管理。本文重点介绍项目管理的十大流程，让你项目控制的更得心应手，为你的项目全程保驾护航。 其实，只要项目的流程搞清晰了，项目进度管理就不再是难事。项目的发展，首先要关注的就是以下十个关键的流程点： 1、生命周期与方法论 这是项目的纪律，为项目开展划出了清晰的界限，以保证项目进程。生命周期主要是协调相关项目，而方法论为项目进程提供了持续稳定的方式方法。 生命周期通常由项目的阶段组成（包括：开始、规划、执行/控制、完成）或由工作的重复周期构成。项目生命周期的细节一般都会随具体业务、项目、客户要求而改变。因此即使在同一个项目中，周期也会有多种可能的变化。对工作细致度、文件管理、项目交付、项目沟...阅读全文
报错信息如下： Cause: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure The last packet successfully received from the server was 97,130 milliseconds ago. The last packet sent successfully to the server was 24 milliseconds ago. ; SQL []; Communications link failure .... Caused by: com.mysql.jdbc.exceptions.jdbc4.Communic...阅读全文
