基础 内存地址是从低地址开始进行编号的，用16进制来进行编号，比如内存的开始地址（即低地址）0x0000,然后内存偏移以字节为单位，比如0x0001表示从0x0000位置偏移到后面1个字节，即偏移8bit.字节的高低位是俗成约定的，比如字节序列0x12345678，由于一个16进制的转为2进制占四个2进制(2^4=16，进制转换基础)，那么0x12则可以转为8个二进制，也就是8bit=1byte，也就是1字节，回到字节的高低位的俗成约定，0x12为最高位，0x78为字节序列的最低位置 什么是大端和小端 Big-Endian和Little-Endian的定义如下： 1. Little-Endian就是低位字节排放在内存的低地址端，高位字节排放在内存的高地址端。 2. Big-Endian就是高...阅读全文
就在今年的3月份，字节跳动迎来新一轮组织架构大调整。 不同于同时期崛起的创业企业，过去很长一段时间里，字节跳动的架构中极少有CXO的身影，更没有CFO、CMO和CTO。 14名高管直接向CEO张一鸣汇报，涵盖公司所有职能，这一模式让张一鸣很难有富余的时间精力去做除了团队管理和业务沟通以外的事。  如何定义字节跳动这家公司？它是一家以娱乐为主的公司，还是一家以新闻资讯为主的公司？如何定义今日头条这款超级爆品？它是一个新闻媒体，还是一个移动互联网时代的资讯嫁接平台？ 同样，如何定义创始人张一鸣，未来他会成为中国的传媒大亨，还是成为中国智能算法的第一人？ 1、低调的独角兽 ...阅读全文
职场中的非暴力沟通技巧小强是一名硬件工程师，平时表现一直中规中矩，但在一次重要的单板开发中出现了失误，导致改版，并因此耽误项目进度。科长...硬件工程师ted阅读 797评论 0赞 ...阅读全文
为什么想要写这个，是因为在上周，表格存储的一个客户，告知我们在将数据通过DataX从OTS导出到ODPS后，发现数据『丢失』了。而在调查过后，发现数据并不是所谓的『丢失』了，而是数据被『改变』了。 什么原因导致数据发生了『改变』呢？却是因为一个大部分Java程序员都会忽略的问题导致的，所以我觉得有必要单独拿出来讲讲。 首先看下如下代码: byte[] original1 = new byte[]{(byte)0xef, (byte)0x8f, (byte)0x8f}; byte[] transformed1 = new String(original1).getBytes(); System.out.println(Arrays.toString(original1)); System.ou...阅读全文
sort sort 命令对 File 参数指定的文件中的行排序，并将结果写到标准输出。如果 File 参数指定多个文件，那么 sort 命令将这些文件连接起来，并当作一个文件进行排序。 sort语法 [root@www ~]# sort [-fbMnrtuk] [file or stdin] 选项与参数： -f ：忽略大小写的差异，例如 A 与 a 视为编码相同； -b ：忽略最前面的空格符部分； -M ：以月份的名字来排序，例如 JAN, DEC 等等的排序方法； -n ：使用『纯数字』进行排序(默认是以文字型态来排序的)； -r ：反向排序； -u ：就是 uniq ，相同的数据中，仅出现一行代表； -t ：分隔符，默认是用 [tab] 键来分隔； -k ：以那个区间 (field) 来...阅读全文
互联网人爱相互跳槽，腾讯和阿里一直相互流动，近两年势头强劲的字节跳动也成为跳槽热门去向，那么在这三家公司工作有什么区别呢？一起来看——旗舰产品擅长领域腾讯：是社交领域的霸主；阿里：是电商界的巨头；字节跳动：是内容领域的王者。公司特色腾讯：产品文化，小马哥是产品出身；阿里：运营文化，马爸爸口才世界第一；字节跳动：技术文化，一鸣同学是技术出身。公司成立腾讯和阿里：早于 2000 年成立的老牌巨头；字节跳动：2012 年成立的互联网新贵。7 年增长腾讯、阿里平稳发展，字节是后起之秀，势头猛烈。公司总部腾讯：总部在深圳科技园，周边都是互联网公司；阿里：总部在杭州余杭大农村，周边都是高速；字节跳动：总部在北京北三环，周边都是名牌大学。全球化办公室腾讯：全球化公室 70+；阿里：全球化办...阅读全文
在对Mapper调优的过程中，一个经验法则是： map任务最好拥有一分钟以上的运行时间。 因为如果任务运行时间过短，将导致在整个作业的执行过程中任务启动所花费的时间过大，从而降低了实际的任务执行效率。 对map任务的运行时间影响最大的是Mapper的个数，不过与Reducer不同，Mapper的个数是无法显示指定的。 调节Mapper数量的一种方式是设置参数mapred.jobtracker.maxtasks.per.job， 但其只能限制每个job中并发运行的map或reduce任务的上限，而当实际运行的map数低于该上限时，该参数将失效。 如果想要对Mapper个数进行更加直接有效的控制，需要指定输入数据的分片大小。 输入分片(input split)是MapReduce框架为使map任...阅读全文
大端小端序概念 讲概念前，先插个小东西，之前搞混高字节、高地址、低字节、低地址这几个概念，之后理解大小端序就费劲了些。故画了下图： 大端序（big-Endian）：高字节保存在内存的低地址，低字节保存在内存的高地址。 小端序（little-Endian）：高字节保存在内存的高地址，低字节保存在内存的低地址。 概念较抽象，可结合下图来理解： 大小端优缺点 存在即是合理，大端的优点就是小端的缺点，反之亦然。 大端优点：符号位在所表示数据内存的第一个字节，便于快速判断数据的正负和大小。 小端优点：内存的低地址存放数据低字节，大数强制转换小数时效率高，直接丢弃高地址数据即可；cpu在做数值运算时依次从低到高取数运算即可，效率高效。 Socket通信字节序问题 IP/TCP网络传输时采用网络字节序（即...阅读全文
【推荐阅读】微服务还能火多久？>>> 字符串的内部表示？ 字符串在java中统一用unicode表示( 即utf-16 LE) , 对于 String s = "你好哦!"; 如果源码文件是GBK编码, 操作系统（windows）默认的环境编码为GBK，那么编译时, JVM将 按照GBK编码将字节数组解析成字符，然后将字符转换为unicode格式的字节数组，作为内部存储。 当打印这个字符串时，JVM 根据操作系统本地的语言环境，将unicode转换为GBK，然后操作系统将GBK格式的内容显示出来。 当源码文件是UTF-8, 我们需要通知编译器源码的格式，javac -encoding utf-8 ... , 编译时，JVM按照utf-8 解析成字符，然后转换为unicode格式的字节数组， ...阅读全文
通过分析mpstat的iowait和iostat的util%，判断IO瓶颈 IO瓶颈往往是我们可能会忽略的地方（我们常会看top、free、netstat等等，但经常会忽略IO的负载情况），今天给大家详细分享一下如何确认一台服务器的IO负载是否到达了瓶颈，以及可能优化、定位的点。 mpstat中看CPU的iowait高了，难道IO就瓶颈了吗？？？ 先来看一台典型的IO密集型服务器的cpu统计图： 可以看到，CPU总使用率不高，平均1.3%，max到5.6%，虽然大部分都耗在了iowait上，但才百分之五左右，应该还没到瓶颈吧？？？ 错了！这里要特别注意：iowait≠IO负载，要看真实的IO负载情况，一般使用iostat –x 命令： 你会发现iowait虽然只有5%，但是iostat中看到...阅读全文
背景 又是一年一度的秋季校招开始了，以往的校招各个公司都会在公司现场或者学校现场安排学生进行现场面试？但是今年由于疫情的原因，不允许让同学在现场进行一个面试，所以今年的面试形式就从线下转到了线上，面试形式的转变，但是我们考核学生的方式依旧没有转变。校招的同学和社招的同学有很大的不同，他们没有丰富的工作经验，没有太多的项目经历，那么我们如何去衡量一个校招的同学呢？那就是基础和潜力，怎么去理解基础呢？俗话说不积跬步,无以至千里,不积小流,无以成江海，如果没有一个好的基础那么怎么才能成为一个优秀的工程师呢。如何去考察一个学生基础的好坏呢？我觉得有三个方面比较重要，计算机网络，操作系统以及算法和数据结构，通常来说计网考察得特别多，常见的一些问题：网络模型分层TCP和UDP的区别TCP三次握手和四次挥...阅读全文
我有一个看起来像（a（B（C D））（E（F））的列表，它表示这棵树： A / \ B E / \ / C D F 我怎么把它打印成（A B E C D F）？据我所知：((lambda(tree) (loop for ele in tree do (print ele))) my-list) 但它印着：A (B (C D)) (E (F)) NIL 我对Common LISP还不太熟悉，所以可能有些函数是我应该使用的如果是这样的话，那就让我清醒。谢谢。最佳答案：从表面上看，您希望按“广度优先”顺序打印节点，而不是使用标准的深度优先顺序之一：“按顺序”或“预订单”或“后订单”。顺序：C B D A E F预定：A B C D E F后订单：C D B F E A请求订单：A B E C D ...阅读全文
mmap 基础概念mmap 是一种内存映射文件的方法，即将一个文件映射到进程的地址空间，实现文件磁盘地址和一段进程虚拟地址的映射。实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页到对应的文件磁盘上，即完成了对文件的操作而不必再调用 read,write 等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间的文件共享。mmap工作原理操作系统提供了这么一系列 mmap 的配套函数void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset); int munmap( void * addr, size_t len); in...阅读全文
缓冲区原理简介： go字节缓冲区底层以字节切片做存储，切片存在长度len与容量cap, 缓冲区写从长度len的位置开始写，当len>cap时，会自动扩容。缓冲区读会从内置标记off位置开始读(off始终记录读的起始位置)，当off==len时，表明缓冲区已全部读完 并重置缓冲区(len=off=0),此外当将要内容长度+已写的长度(即len) <= cap/2时，缓冲区前移覆盖掉已读的内容(off=0，len-=off)，从避免缓冲区不断扩容。 package main import ( "bytes" "fmt" ) func main() { byteSlice := make([]byte, 20) byteSlice[0] = 1 // 将缓冲区第一个字节置1 byteBuffer ...阅读全文
本文分享自天翼云开发者社区《全栈混合云综合架构方案研究和落地》，作者: y****n 链接： https://www.ctyun.cn/developer/article/354717063266373 (一)业务背景 随着云服务的便利性日益被市场接受，企业客户越来越倾向采用公有云服务补充其现有的企业内部部署的数据中心和私有云基础架构的不足。因此，混合云成为云服务市场的重要发展趋势。广义上讲，混合云的形态可以包括云与云的组合、云与传统IT系统的组合、云与虚拟化技术的组合等，它们可根据具体业务场景需求使用混合IT方式解决具体问题；狭义上讲，混合云指的是至少使用了两种不同部署模式（公有云、私有云、社区云）的云服务。当前，应用较多的混合云形式为公有云+私有云的组合。 现有混合云管理方法主要解决以下...阅读全文
小知识，大挑战！本文正在参与“程序员必备小知识”创作活动。 文章目录 介绍 RandomAccessFile 使用 创建对象 写方法 读取方法 介绍 java.io.RandomAccessFile 1、读写文件的工具 2、将文件中的字节数据，当作数组，用下标访问指定位置的字节值 RandomAccessFile 既可以读取文件内容，也可以向文件输出数据。同时，RandomAccessFile 支持“随机访问”的方式，程序快可以直接跳转到文件的任意地方来读写数据。 由于 RandomAccessFile 可以自由访问文件的任意位置，所以如果需要访问文件的部分内容，而不是把文件从头读到尾，使用 RandomAccessFile 将是更好的选择。 RandomAccessFile 允许自由定义文...阅读全文
在HBase Shell中，虽然主要使用的是HBase特有的一套命令语法，但因为Shell本身基于Java实现，所以其对单引号（'）和双引号（"）的处理遵循Java和大多数Unix/Linux shell的传统规则。在HBase Shell中，单引号和双引号主要用作字符串的界定符，它们的主要区别如下：单引号 ('')原样输出： 单引号内的一切字符均被视为字面值，不进行任何特殊字符的转义或变量替换。这意味着在单引号内，即使是美元符号$、反斜杠\或回车等特殊字符，也会被当作普通字符处理。禁止变量扩展： 在单引号包围的字符串中，无法引用或展开变量。例如，如果你有一个变量my_rowkey，试图在单引号内使用'$my_rowkey'将会直接打印出$my_rowkey作为文本，而不会解析其实际值。不能...阅读全文
本文分享自天翼云开发者社区《ISA-L库调研》，作者:何****尔1.Intel SIMD指令集SIMD(single instruction multiple data)单指令多数据流，能够复制多个操作数，并把它们打包在大型寄存器的一组指令集。以同步方式，在同一时间内执行同一条指令。以加法指令为例，单指令单数据（SISD）的CPU对加法指令译码后，执行部件先访问内存，取得第一个操作数；之后再一次访问内存，取得第二个操作数；随后才能进行求和运算。而在SIMD型的CPU中，指令译码后几个执行部件同时访问内存，一次性获得所有操作数进行运算。这个特点使SIMD特别适合于多媒体应用等数据密集型运算。目前主流的支持SIMD相关指令的寄存器有128bit（XMM 指令)、256bit(YMM 指令)这两...阅读全文
前言 前段时间有套线上HBase出了点小问题，导致该套HBase集群服务停止了2个小时，从而造成使用该套HBase作为数据存储的应用也出现了服务异常。在排查问题之余，我们不禁也在思考，以后再出现类似的问题怎么办？这种问题该如何避免？用惯了MySQL，于是乎想到了HBase是否跟MySQL一样，也有其高可用方案？ 答案当然是肯定的，几乎所有的数据库(无论是关系型还是分布式的)，都采用WAL的方式来保障服务异常时候的数据恢复，HBase同样也是通过WAL来保障数据不丢失。HBase在写数据前会先写HLog，HLog中记录的是所有数据的变动， HBase的高可用也正是通过HLog来实现的。 进阶 HBase是一个没有单点故障的分布式系统，上层(HBase层)和底层(HDFS层)都通过一定的技术手段...阅读全文
在近日召开的第二十六届中国科协年会上，中国科协正式发布2023年“科创中国”系列榜单，榜单包括先导技术榜、新锐企业榜、融通创新组织榜、技术经理人先锋榜等。天翼云自主研发的天翼分布式云操作系统入选先导技术榜，充分展现了在科技创新方面的硬实力。“科创中国”系列榜单由中国科协设立。2023年“科创中国”系列榜单聚焦“技术攻关+成果转化+组织赋能+人才支撑”全过程创新生态链，挖掘一批前沿技术成果、潜力型科创企业、产学研协同创新组织、技术转移转化人才，打造特色与引领兼备的榜单品牌。其中，先导技术榜遴选出具有产业先导意义和广阔市场前景的前沿技术。天翼分布式云操作系统的成功入选，代表了权威机构对天翼云科技创新能力的高度认可。天翼分布式云操作系统TeleCloudOS（简称：云操作系统）核心组件自研，突破...阅读全文
本文分享自天翼云开发者社区《一体机场景ceph高可用介绍》，作者：b****n一体机场景使用ceph开源架构作为存储系统的主体架构,原生方案支持存储数据高可用性，包括副本数可以灵活控制/支持故障域分隔，数据强一致性/多种故障场景自动进行修复自愈/没有单点故障，自动管理。部署形态存储引擎组件部署形态IO高可用-流程组件高可用-心跳存储数据高可用-备份 图像 小部...阅读全文
相位检测对焦（Phase Detection Autofocus, PDAF）和对比度检测对焦（Contrast Detection Autofocus, CDAF）是两种不同的自动对焦技术。十字对焦则是一种对焦点的类型，它可以用于不同的对焦技术中。下面详细介绍这两种对焦技术和十字对焦的关系。相位检测对焦（PDAF）相位检测对焦是一种快速且准确的对焦方法，主要应用于单反相机和一些高端无反相机中。工作原理：相位检测传感器：相机内部有一组专门的相位检测传感器，这些传感器可以测量光线通过镜头到达传感器的不同时间差。相位差：通过比较从不同方向进入传感器的光线的相位差，相机可以快速判断对焦点的位置。对焦调整：相机根据相位差直接调整镜头的位置，直到相位差为零，即对焦成功。优点：速度快：相位检测对焦通常比...阅读全文
本文分享自天翼云开发者社区《CPU算力如何计算》，作者：l****n什么是算力随着国家大力发展数字基础设施，算力的提升和普惠变得越来越重要，它注定会在人们的视线中占据很重要的一席。那么算力是什么呢所谓算力，简而言之就是设备的计算能力（Computing Power）。小至手机、PC，大到超级计算机，没有算力就没有各种软硬件的正常应用。以PC而言，搭载的CPU、显卡、内存配置越高，一般来说算力就越高。算力的单位大数据时代，数据和算力都是巨量的，这里先解释一下单位巨大量级的表示方式：K（Kilo）表示103 、M（Mega）表示106 、 G（Giga）表示109 、 T（Tera）表示1012 、 P（Peta） 表示1015、 E（Exa）表示1018、 Z（Zetta）表示1021 、 Y...阅读全文
近日，天翼云科技有限公司成功通过ISO 37301合规管理体系双认证（GB/T 35770-2022/ISO 37301：2021 & CTS GHMS001-2024)，标志着公司合规管理和风险控制的管理水平达到国际领先标准，合规体系建设迈上了新台阶。ISO 37301: 2021全称为《合规管理体系 要求及使用指南》，由ISO/TC309技术委员会编制，适用于全球任何类型、规模、性质和行业的组织。作为A类管理体系标准，ISO 37301合规管理体系能够帮助公司建立、实施、维护和改进其合规管理体系，从而有效应对日益复杂的合规挑战和风险。依法治企是推动企业高质量发展的坚实支撑。此次通过ISO 37301合规管理体系双认证，不仅是对天翼云建立的合规管理体系的肯定，也是对天翼云在风险管理、法...阅读全文
极客时间-初级Go工程师训练营（完结）获课：aixuetang点xyz/6141/获取ZY↑↑方打开链接↑↑本课程介绍了榜单模型与分布式任务调度榜单模型与分布式任务调度是两个紧密相关的概念，尤其是在处理大规模数据和高并发请求的场景中。以下是对这两个概念的详细解析：榜单模型榜单模型通常用于处理各种排名、评分或统计数据的展示，如热门歌曲榜、电影票房榜、游戏排行榜等。在构建榜单模型时，需要考虑以下几个关键因素：数据源：榜单的数据来源至关重要。它可能来自用户行为数据、第三方API、数据库等。确保数据的准确性和实时性是构建高质量榜单的基础。算法：根据业务需求选择合适的算法来计算排名。例如，基于点击量、播放量、评分、下载量等多种指标的综合排名算法。实时性：对于某些榜单，如实时热搜榜，需要实现高实时性的...阅读全文
--- 在发送**单条消息**的场景下，RocketMQ 的端到端延迟通常优于 Kafka，具体原因与两者的设计取舍和实现机制密切相关： --- ### **一、性能对比数据（单条消息场景）** | **指标** | Kafka (acks=1) | RocketMQ (同步刷盘) | RocketMQ (异步刷盘) | |------------------|----------------|---------------------|---------------------| | 平均延迟（P50） | 12 ms | 3 ms | 1 ms | | 尾部延迟（P99） | 35 ms | 8 ms | 5 ms | | 可靠性 | 较高 | 最高（金融级） | 一般 | **测试条件...阅读全文
--- ### **1. 核心区别：是否认“真实时间”的账** • **线性一致性**：像有个**全球统一的大钟**，所有操作必须按真实发生的先后顺序排队。你做完一个操作（比如存钱），后面所有人立刻能看到最新结果，不存在“我刚刚存的100块，别人却查不到”的情况。 *举例*：你去银行存钱，柜员A操作完，下一秒柜员B查余额必须显示刚存的钱。 • **顺序一致性**：不认真实时间，只要**大家编的故事一致**就行。比如你存钱和同事取钱同时发生，只要所有人最终都认同“先存后取”或“先取后存”的顺序，就算符合规则，哪怕实际时间上两人操作是重叠的。 *举例*：你和同事同时操作账户，只要银行记录里你俩的操作顺序一致（比如系统统一说“先处理你的存钱，再处理他的取钱”），哪怕实际是同时发生的，也算合规。 -...阅读全文
本文分享自天翼云开发者社区《云主机网络测试方法》，作者：高淑杰测试指标pps：表示通过 UDP 进行批量数据传输时的数据传输吞吐量，能反映网络极限转发能力。bps：表示通过 TCP 进行批量数据传输时的数据传输吞吐量，能反映网络极限带宽能力。使用netperf进行网络测试0 环境准备创建两台相同配置 ECS, 其中一台作为server，另一台作为client规格：s7.xlarge.2镜像：centos 8.21 工具安装分别在两台ECS上安装netperftar zxvf netperf-2.7.0.tar.gz cd netperf ./configure make && make install netserver -h netperf -h2 测试bps在server端执行如下脚本p...阅读全文
获课♥》789it.top/14335/获取ZY↑↑方打开链接↑↑MQTT（Message Queuing Telemetry Transport）是一种轻量级的物联网通信协议，其报文长度计算主要涉及**剩余长度（Remaining Length）**字段的编码。剩余长度表示当前报文（可变头 + 负载）的总字节数，采用可变长度的编码方式，最多占用4字节。以下是详细的计算方法：1. 剩余长度（Remaining Length）的计算规则剩余长度的编码规则如下：每个字节的最高位（第8位）为标志位：0：表示这是最后一个字节。1：表示后续还有字节。剩余长度按低7位优先存储，即数值的低7位在前，高位在后。最终长度 = 所有字节的低7位按权重 (128^0, 128^1, 128^2, \ldots)...阅读全文
