【转】SQL中inner join、outer join和cross join的区别
Pandas从入门到精通(6)- 连接1. 课程内容 SQL中最常见的操作莫过于将好几张表连接(JOIN)起来查看某些字段,与之类似,Pandas具有功...木头里有虫911阅读 60评论 0赞 ...阅读全文
Pandas从入门到精通(6)- 连接1. 课程内容 SQL中最常见的操作莫过于将好几张表连接(JOIN)起来查看某些字段,与之类似,Pandas具有功...木头里有虫911阅读 60评论 0赞 ...阅读全文
很遗憾,由于这篇文章有大量的公式,如果直接发表内容公式会显示不了,因此只能发成图片。 如果想获得更好的阅读体验,请点击:从科学记数法到浮点数标准IEEE 754 参考 https://zh.wikipedia.org/wiki/IEEE_754 https://zh.wikipedia.org/zh-hans/%E6%B5%AE%E7%82%B9%E6%95%B0 https://zh.wikipedia.org/wiki/%E7%A7%91%E5%AD%A6%E8%AE%B0%E6%95%B0%E6%B3%95 https://zh.wikipedia.org/wiki/NaN 《Java虚拟机规范(Java SE 7)》 《深入理解计算机系统》第2版 《码出高效》Java开发手册 htt...阅读全文
0 摘要 在Flink实时流数据处理中,经常用到keyBy算子, 虽然能够大致不差的使用它,实现自己的需求。然而这个算子到底做了什么事情,心里一直没有底。这篇文章算是对keyBy算子稍微深入一点的探究。 1 Spark中的按key分组操作 对于经常使用spark的同学而言,分组操作数据,那是再熟悉不过。比如groupBy, reduceBy, aggregateBy等一系列算子。基本思路都是指定key之后, 将相同key的元素集合到一个集合里面,形成一个新的集合元素,然后对每个key对应的元素集合进行操作 1.1 准备数据 1.2 spark分组操作处理数据 下面的操作以groupBy算子为例,分组后,输出结果数据,观察结果数据结构 def main(args: Array[String])...阅读全文
Flink的Watermark细节介绍一文中提到了Watermark其实主要就是解决Event Time + Window中的数据完整性问题的,本文作为那篇文章的补充,再介绍一下Window这个概念。关于这部分,我觉得官方文档已经介绍的非常详细了,如果你是Flink使用者,强烈建议好好读几遍。我这里就主要概括性的介绍一下,作为前面文章的补充,同时解决前文遗留的一个问题。What & Why什么是Window?为什么需要Window?流处理里面一般都是事件驱动的(Spark是微批),即每个事件来就会触发算子(Operator)进行计算,典型的比如map、flatmap、filter等,这些都是无状态的计算。有些时候需要在流处理里面进行有状态的计算,比如电商场景分析1分钟的访问人数、购买人数各是...阅读全文
背景 又是一年一度的秋季校招开始了,以往的校招各个公司都会在公司现场或者学校现场安排学生进行现场面试?但是今年由于疫情的原因,不允许让同学在现场进行一个面试,所以今年的面试形式就从线下转到了线上,面试形式的转变,但是我们考核学生的方式依旧没有转变。校招的同学和社招的同学有很大的不同,他们没有丰富的工作经验,没有太多的项目经历,那么我们如何去衡量一个校招的同学呢?那就是基础和潜力,怎么去理解基础呢?俗话说不积跬步,无以至千里,不积小流,无以成江海,如果没有一个好的基础那么怎么才能成为一个优秀的工程师呢。如何去考察一个学生基础的好坏呢?我觉得有三个方面比较重要,计算机网络,操作系统以及算法和数据结构,通常来说计网考察得特别多,常见的一些问题:网络模型分层TCP和UDP的区别TCP三次握手和四次挥...阅读全文
Hello,小伙伴们,大家好,我是才辰。今天和大家一起学习的是排序算法中的插入排序和希尔排序。为什么把这两个排序放在一起呢?这是因为这两种排序有一定的关联,希尔排序实际上是对插入排序的一种变形。还是老样子,我先总体上介绍一下算法的过程,接着以一个例子分步讲解,最后给出了详细的代码以及相关分析。插入排序插入排序,就和我们平时玩牌是一样的因为你想,我们在打牌的时候,是不是先把手里的牌由小到大排好,然后每摸到一张牌,就依照大小把它放在排在正确的位置。同样,插入排序也是如此。步骤:首先选取数组第二个元素,若小于数组第一个元素,则插入到第一个位置,否则保持不动;接着选取第3个元素,把它和左边第一个元素比较,如果其小于左边第一个元素,则继续与左边第二个元素比较,知道遇到不比它大的元素,然后插入到这个元素...阅读全文
背景 又是一年一度的秋季校招开始了,以往的校招各个公司都会在公司现场或者学校现场安排学生进行现场面试?但是今年由于疫情的原因,不允许让同学在现场进行一个面试,所以今年的面试形式就从线下转到了线上,面试形式的转变,但是我们考核学生的方式依旧没有转变。校招的同学和社招的同学有很大的不同,他们没有丰富的工作经验,没有太多的项目经历,那么我们如何去衡量一个校招的同学呢?那就是基础和潜力,怎么去理解基础呢?俗话说不积跬步,无以至千里,不积小流,无以成江海,如果没有一个好的基础那么怎么才能成为一个优秀的工程师呢。如何去考察一个学生基础的好坏呢?我觉得有三个方面比较重要,计算机网络,操作系统以及算法和数据结构,通常来说计网考察得特别多,常见的一些问题:网络模型分层TCP和UDP的区别TCP三次握手和四次挥...阅读全文
ES系列之原来查看文档数量有这么多姿势犀牛饲养员发布于 2020-04-03 1、引言 有人可能觉得,查看文档数量不是很简单吗?直接 GET /_cat/count/index_name?v 不就可以了吗。 事实上远不止这么简单,比如嵌套文档的情况等。相信你看了我这篇文章之后你会感叹原来统计文档有这么多讲究啊。 2、正文 cat/count 首先是最常用的的方式,也是一种快速查询文档的优先推荐方式,cat count api我们使用kibana自带的电商索引来实验。 GET _cat/count/kibana_sample_data_ecommerce?v 返回, epoch timestamp count 1585910697 10:44:57 4675 cat count api的方式能...阅读全文
目录一、概述二、Grafana Alerting 模块介绍三、配置图表四、告警告警规则五、配置告警通道(Contact points)1)Email1、配置smtp(grafana.ini)2、配置消息模板3、配置告警通道2)WebHook1、编写webhook api服务2、在grafana页面上配置3)Alertmanager 一、概述 在版本4.0+ grafana中增加了Alerting 告警模块,丰富了grafana功能,以前告警需要借助AlertManager,但是有grafana告警模块之后就可以不使用AlertManager告警了,但是grafana也支持对接AlertManager,所以还是非常方面,又可以省区一个组件的维护和资源开销。 下图概述了 Grafana 告警的工...阅读全文
今天小编给带来一篇linux解压方面的资料 Linux解压gz文件的命令有:gunzip命令、gzip命令、tar命令。下面本篇文章就来带大家了解一下 gz文件是一种压缩文件,以.gz或者.tar.gz(.tgz)为扩展名,在Linux、UNIX和OSX下常见,Linux和OSX都可以直接解压使用这种压缩文件。在Windows下常用压缩软件WinRAR打开gz文件,它相当于常见的RAR和ZIP格式。 .gz文件解压 如果是以.gz扩展名结尾的gz文件,可以使用gunzip命令、gzip命令来解压。 gunzip命令 作用是解压文件,使用权限是所有用户。例: gunzip FileName.gz gzip命令 gzip命令是在Linux系统中经常使用的一个对文件进行压缩和解压缩的命令,既方便又...阅读全文
本文分享自天翼云开发者社区《内容分发网络 CDN 概述》,作者:JerryCDN(Content Delivery Network)是一种分布式网络架构,旨在提供高效、可靠地将内容传送给全球用户的服务。CDN 的主要目标是通过将数据缓存到位于不同地理位置的多个服务器上,使用户能够从离他们更近的服务器获取内容,从而减少访问延迟、提高加载速度和改善网站的性能。在这篇文章中,我将详细介绍 CDN 的工作原理、使用 CDN 的好处,并举例说明它如何优化内容传递的过程。一、CDN 的工作原理CDN 的工作原理基于两个主要的技术:缓存和就近访问。缓存:CDN 将网站的静态内容(例如图片、CSS、JavaScript 文件等)缓存在多个地理分布的服务器上。当用户请求访问网站时,CDN 会检查是否有相应的缓...阅读全文
docker安装指定版本minio CSDN-Ada助手: 非常棒的博客!你的第二篇博文标题和摘要都很吸引人。鼓励你继续创作,分享更多有趣的技术知识和经验。 除了介绍如何安装指定版本的minio镜像外,你可以考虑在博文中添加一些相关的扩展知识和技能。例如,你可以介绍如何使用Docker Compose来管理多个Docker容器,这样可以更方便地构建和管理你的应用程序环境。另外,你还可以介绍如何在安装minio之后,配置和使用它的各种功能和特性,比如对象存储、数据备份等等。 希望这些建议对你有所帮助。继续努力,期待看到更多精彩的博文! 如何写出更高质量的博客,请看该博主的分享:https://blog.csdn.net/lmy_520/article/details/128686434?utm...阅读全文
地址1:https://pan.baidu.com/s/1eAgrPWfwwSklX7Z12yI1qQ 提取码: drmd 地址2:https://share.weiyun.com/2pn97By4 密码:c58ghh CKA认证难吗?考试内容有哪些?这个应该是很多准备考CKA认证的学员想问的问题。那么我们今天就针对这个进行详细的讲解。 CKA认证全称是 Certificated Kubernetes Administrator,也就是官方认证的 Kubernetes 管理员,由 Kubernetes 的管理机构 CNCF 授权。 CKA认证考试的题目全部是实操题,没有任何一个选择题或者填空题之类的,而且经常听学员反馈考点设备的网络较卡,设备反应慢等问题,考试环境中需要你自己动手把所有的实操...阅读全文
1.like的使用详解 1.语法规则: 格式是A like B,其中A是字符串,B是表达式,表示能否用B去完全匹配A的内容,换句话说能否用B这个表达式去表示A的全部内容,注意这个和rlike是有区别的。返回的结果是True/False.B只能使用简单匹配符号 _和%,”_”表示任意单个字符,字符”%”表示任意数量的字符like的匹配是按字符逐一匹配的,使用B从A的第一个字符开始匹配,所以即使有一个字符不同都不行。 2.操作类型: strings3.使用描述: 如果字符串A或者字符串B为NULL,则返回NULL;如果字符串A符合表达式B 的正则语法,则为TRUE;否则为FALSE。尤其注意NULL值的匹配,返回的结果不是FALSE和TRUE,而是null,其实除了is null ,is not...阅读全文
(3)确认好系统应用的专业技术,开展线上确定系统所划分的用户角色,而且依据用户角色划分明确所要构思的功能模块,对考试成绩分析系统系统设计关键划分别为管理人员和用户角色,并所采用的功能模块也随之不一样,可是系统的数据库系统完成内容就是互动的,用户随时都可以根据自己的喜好开展课程内容信息,针对系统工作员要根据自己的主抓信息进行线上信息的处理方法及实际操作,管理人员掌握到全部用户的基本数据信息,并依据实际需求第一时间处理处理。该系统的设计执行为成绩分析系统的运转打好基础,为成绩分析系统提供更好的标准...阅读全文
之前文章提到过Kafka的broker端有ISR机制,它可以看成多个副本的集合,里面有leader副本和多个follower副本,数量是我们可以配置的,只有ISR中的副本才有可能成为leader副本。 我们可以通过一些参数的配置,例如ack的配置、生产者重试、isr最小数量,消费者改为手动提交等方式来尽可能的保障Kafka的消息可靠性。 Kafka在保证数据的可靠性上使用的是‘数据冗余’的方式,即将一个分区下的数据保存到多个副本中,起到备份数据的作用。这样如果leader挂了,会重新选举follower作为leader继续工作,那么Kafka中leader副本是如何将数据同步到follower副本中的呢?今天想通过这篇文章总结记录下。 1.副本中的高水位(High Watermark) 什么...阅读全文