概述数据的价值在于把数据变成行动。这里一个非常重要的过程是数据分析。提到数据分析，大部分人首先想到的都是Hadoop、流计算、机器学习等数据加工的方式。从整个过程来看，数据分析其实包含了4个过程：采集，存储，计算，展示。大数据的数据采集工作是大数据技术中非常重要、基础的部分，具体场景使用合适的采集工具，可以大大提高效率和可靠性，并降低资源成本。Flume、Logstash和Filebeat都是可以作为日志采集的工具，本报告将针对这三者进行分析。一、FlumeFlume是一种分布式、高可靠和高可用...阅读全文
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。阅读全文
本文分享自微信公众号：中国电信天翼云你是具有“社牛”属性的“e人”还是“社恐”属性的“i人”？在年轻群体中火起来的“MBTI人格测试”中“i”代表intraversion（内倾型）“e”则代表extraversion（外倾型）也就是大家平时所说的内向和外向在征服internet的道路上总有些痛是i人和e人都无法承受的……比如，网络连接比i人还“内向”尤其在“国际社交”方面跨国链路抖动，远程会议卡顿应用登录超时，协同效率低下跨境玩家同服对战延时道具交易、指令互动、语音聊天延迟卡顿除了网络连接，...阅读全文
本文分享自微信公众号：中国电信天翼云近年来，随着信息技术的快速发展，人们知识获取方式和传授方式发生了革命性变化，教育领域的数字化改革随之日渐加速。我国在《“十四五”数字经济发展规划》提出“深入推进智慧教育”，强调推进教育新型基础设施建设，推动“互联网+教育”持续健康发展。夯实教育网络底座、泛在智能教学环境是开展数字教育的基础。随着在线教学、远程办公等方式的流行，校园云化数字转型加速进行，广大师生经常需要在校外访问校内各个应用系统，以完成科研、学习等各项任务。但校园网络建设在实际操作中常常面临各种...阅读全文
本文分享自微信公众号：中国电信天翼云“中国速度 智算未来——天翼云中国行人工智能算力高层论坛”于10月14日在宁波召开。宁波市经信局相关领导莅临并发表致辞，行业及学术界的客户、伙伴等众多业界代表共同出席，聚焦人工智能算力前沿技术、应用案例和发展趋势，分享最新的研究成果和应用经验，促进人工智能算力的创新和升级。智算正成为人工智能时代的关键生产力要素。为落实好国家要求，抓住智算新机遇，天翼云着力打造从IaaS到SaaS的一体化服务，实现基础设施、算力平台、算力调度、行业大模型的全面升级。天翼云科技有...阅读全文
在Hive中会有很多数据是用Json格式来存储的，如开发人员对APP上的页面进行埋点时，会将多个字段存放在一个json数组中，因此数据平台调用数据时，要对埋点数据进行解析。接下来就聊聊Hive中是如何解析json数据的。 本文首发于公众号【五分钟学大数据】 Hive自带的json解析函数 1. get_json_object 语法：get_json_object(json_string, '$.key') 说明：解析json的字符串json_string,返回path指定的内容。如果输入的jso...阅读全文
UDTF是User-Defined Table-Generating Functions 的缩写，即用户定义的表生成函数。UDTF 用于从原始表中的一行生成多行数据。典型的 UDTF有EXPLODE、posexplode等函数，它能将array或者map展开。 表生成函数和聚合函数是相反的，表生成函数可以把单列扩展到多列。表生成函数：可以理解为一个函数可以生成一个表。 1、explode函数-行转列 explode函数以array类型数据输入，然后对数组中的数据进行迭代，返回多行结果，一行一个数...阅读全文
上云有道 | 一图读懂天翼云边缘安全加速平台AccessOne！ 图像 小部件阅读全文
随着互联网的飞速发展，网站建设已成为企事业单位推广、提供服务的重要途径之一。在数字技术快速迭代的当下，如何在保障网站安全的前提下提供高效服务，是企事业单位需要着重考虑的内容。网站安全防护是网站建设后不容忽视的一环，若不法分子通过网站漏洞进行攻/击，轻则导致企业服务中断，重则导致页面数据被篡改，且无法恢复。同时，网站的响应速度和成功率是现代信息科技的重要指标，时延问题将直接影响搜索引擎排名和网站转化率。那么网站防护和加速问题如何快速致胜呢？天翼云边缘安全加速平台AccessOne将用一个具体场景应...阅读全文
玩转云端 | 如何防爬虫？天翼云边缘安全加速平台AccessOne带你涨姿势！ 图像 小部件阅读全文
2023年6月30日，由中国信息通信研究院、中国通信标准化协会主办的“2023云边协同大会”在北京举办。大会聚集了产学研用各界大咖，深入探讨云边协同趋势及产业创新发展。大会颁发了多个奖项，天翼云分别斩获三项“分布式云技术创新先锋案例”奖，两项“2023年度分布式云最佳实践先锋案例”奖、2022-2023年度云边协同“领航人物”奖，同时，天翼云多项技术及产品通过了2023上半年分布式云、边缘计算、AIoT、算力服务时延圈首批评估，技术创新及实践能力获得了权威认可。发布算力时延圈领航计划天翼云助推...阅读全文
网络视频（Web 视频）是指利用 HTML5 技术在浏览器中播放的视频，这类视频资源通常可以被随意下载，某些行业（比如教培行业）如果希望保护自己的视频资源不被下载，就需要对视频做防盗链处理。 防盗链需要着重加强两个方面的安全性：网络传输和客户端。 网络传输安全网络传输层面能做的不多，HTTPS是必要的，除此之外的防护措施效果也有限。 验证 Referer防盗链最常规的手段是验证Referer，而伪造Referer几乎零成本，所以它只防君子不防小人，没用。 请求防重放盗链可以理解成一种对静态资源的...阅读全文
本文分享自天翼云开发者社区《殊荣双至，天翼云边缘计算再获两项大奖！》，作者：天翼云社区官方账号近日，全球边缘计算大会·北京站在新世界大酒店成功召开。大会公布了“2023金边奖”评选结果，天翼云斩获“最佳智能边缘云服务商”“最佳边缘安全加速平台”两项大奖。天翼云边缘计算产品专家熊瑶、天翼云边缘安全产品专家杜茜参加会议并分别发表演讲，分享了天翼云边缘计算发展规划与实践。云计算、物联网、大数据、人工智能等技术的发展推动了企业数字化转型走向深入，越来越多的企业核心应用“云化”部署和业务场景“边缘化”下...阅读全文
本文分享自天翼云开发者社区《玩转云端|天翼云边缘安全加速平台AccessOne实用窍门之上传下载极速推进，纵享丝滑体验！》，作者：天翼云社区官方账号随着传媒行业数字化转型驶入深水区，如何提升内容生产与服务能力成为传媒产业新的时代命题。传媒业务数据量庞大，包含海量视频、音频、图像及文字等数据，这意味着传媒业务的内容上传和下载工作成为从业者工作中的重要部分。受限于传输速度和网络拥堵等因素，传媒业务中的上传和下载工作往往会遇到诸多困难。那么，如何提高传媒业务的上传下载速度，助力传媒行业提升平台运营水平...阅读全文
本文分享自天翼云开发者社区《玩转云端|天翼云边缘安全加速平台AccessOne实用窍门之保障热门产品发售服务安全稳定》，作者：天翼云社区官方账号随着社会经济的发展和人民生活水平的提高，越来越多的人开始注重收藏和投资，尤其是近年来持续走热的虚拟资产、限时发售商品等稀缺物品的吸引力水涨船高。生肖纪念币、贺岁新钞现金红包、人民币纪念册……银行系统推出的这些产品往往在发售之后就会迅速被抢购一空。产品抢购火爆现象不仅带来了巨大的经济收益，也给银行网络系统带来了压力。如何畅通银行网络系统，保障用户体验？对此...阅读全文
本文正在参加「Java主题月 - Java 刷题打卡」，详情查看 活动链接 在我们日常的工作中，经常需要做对象的拷贝或转化，例如在传递参数时，把入参的DTO转化为PO存入数据库，在返回前端时把PO再转化为VO。如果再分的细一点，可能还会有DO(Domain Object)，TO(Transfer Object) ，BO(business object)等对象，随着业务的划分越来越细，对象的拷贝工作也越来越频繁，所以本文就来梳理一下常用的对象拷贝工具和它们的差异。 常用的工具大概有以下几种： Ap...阅读全文
本文分享自天翼云开发者社区《天翼云发布边缘安全加速平台AccessOne，四大产品能力助力企业安全高速发展》，作者：天翼云社区官方账号2023年5月30日全国科技工作者日，以“连接世界从边缘开始”为主题的天翼云边缘安全加速平台发布会在线上顺利举办。会上，天翼云重磅发布边缘安全加速平台AccessOne（后称AccessOne），并深入介绍了产品四大能力，以及在教育行业的实践成果，为企业提供性能、安全、算力等满足不同场景需求的智能边缘网络。应对多重网络应用挑战，一体化服务成优先选择数字化转型进程中...阅读全文
本文分享自天翼云开发者社区《玩转云端|天翼云边缘安全加速平台AccessOne实用窍门之让办公访问安全、高效又稳定》，作者：天翼云社区官方账号随着社会信息化程度不断提高，远程办公已经成为许多企事业单位的主流工作模式。“内部业务系统”作为企事业单位的核心资产，如何在保障远程办公安全的同时兼顾效率，也成为越来越现实的问题。传统边界安全理念下的安全技术无法匹配日益复杂的业务场景需求，亟需更好的安全防护理念和解决思路。在此背景下，“持续验证、永不信任”的零信任安全理念得到迅速发展。那么，零信任是如何解决...阅读全文
本文分享自天翼云开发者社区《玩转云端|演唱会一票难求？快用天翼云边缘安全加速平台AccessOne！》，作者：天翼云社区官方账号Super Idol的笑容虽然非常甜无数粉丝宝宝的心里却是有苦难言不少铁粉在遭遇一轮又一轮“缺货登记”之后不禁发出了灵魂之问：为什么手机屏幕都要戳穿了演唱会的票还是秒没？到底是谁抢到票又放出了15W的天价票告诉我要见周同学“我不配”？其实跟你一起抢票的未必是人而有可能是爬虫！网络技术不断发展的过程中，安全问题也如影随形。近期，组织化、团伙化的黄牛利用最/新技术，不仅有恶...阅读全文
本文分享自天翼云开发者社区《玩转云端|够轻松！天翼云边缘安全加速平台AccessOne助力企业解决远程办公难题》，作者：天翼云社区官方账号省去早起挤地铁的苦恼，享受居家办公的从容不迫……这些听起来倍儿爽的工作模式出现在近年来蔚然成风的远程办公中。不过，远程办公模式虽好，却在网络资源、安全、运维等方面给企业技术管理带来这些挑战，下面一起去看看那些令企业头疼的场面！社工钓鱼？退退退！点击一个链接却可能泄露私人信息——企业远程办公面临诸多安全风险，其中社工钓鱼是最典型的安全风险之一。什么是社工钓鱼？...阅读全文
