作为互联网公司，网站监测日志当然是数据的最大来源。我们目前的规模也不大，每天的日志量大约1TB。后续90%以上的业务都是需要基于日志来完 成，之前，业务中对实时的要求并不高，最多也就是准实时（延迟半小时以上），因此，我们使用Flume将数据收集到HDFS，然后进行清洗和分析。

作为互联网公司，网站监测日志当然是数据的最大来源。我们目前的规模也不大，每天的日志量大约1TB。后续90%以上的业务都是需要基于日志来完 成，之前，业务中对实时的要求并不高，最多也就是准实时（延迟半小时以上），因此，我们使用Flume将数据收集到HDFS，然后进行清洗和分析。

作为互联网公司，网站监测日志当然是数据的最大来源。我们目前的规模也不大，每天的日志量大约1TB。后续90%以上的业务都是需要基于日志来完 成，之前，业务中对实时的要求并不高，最多也就是准实时（延迟半小时以上），因此，我们使用Flume将数据收集到HDFS，然后进行清洗和分析。

作者 | 王一鹏 佀鑫倩 十年 Hadoop 退居幕后，云时代下的数据平台有了新的探索方向。 大数据领域从来都不缺乏重磅消息。尤记得 Cloudera 与 Hortonworks 宣布合并，后又被 KKR 和 CD&R 收购并被私有化，再加上 HPE 收购 MapR，曾经凭借 Hadoop 冲上云霄的三驾马车，如今风光不再。此外，今年 Apache 软件基金会（ASF）宣布将其至少 19 个开源项目撤回到 Apache Attic（用于归档的开源项目），其中有 10 个项目属于 Hadoop 生态系统。

https://medium.com/swlh/hadoop-evolution-decade2-ca46e5514713

如何才能成为一名真正的“全栈（full-stack）”数据科学家？需要了解哪些知识？掌握哪些技能？

云计算并非无中生有的概念，它将普通的单台PC计算能力通过分布式调度软件连接起来。其最核心的问题是如何把一百台、一千台、一万台机器高效地组织起来，灵活进行任务调度和管理，从而像使用单台机器一样方便地使用多台机器。目前，业界已存在多种分布式调度实现方案，比较知名的有 Hadoop YARN、Mesos、Google Borg 等。 区别于以上调度系统，腾讯云的 VStation 从诞生之初，便肩负着大规模调度、海量并发和支持异构计算的历史使命，历经五年的打磨和历练，VStation 通过消息压缩、镜像缓存、快照

作为互联网公司，网站监测日志当然是数据的最大来源。我们目前的规模也不大，每天的日志量大约1TB。后续90%以上的业务都是需要基于日志来完 成，之前，业务中对实时的要求并不高，最多也就是准实时（延迟半小时以上），因此，我们使用Flume将数据收集到HDFS，然后进行清洗和分析。

如何才能成为一名真正的“全栈（full-stack）”数据科学家？需要了解哪些知识？掌握哪些技能？

大数据(Big Data)，指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

近日，腾讯云安全中心监测到Apache Hadoop 被爆存在本地提权漏洞（CVE-2018-8029），攻击者利用该漏洞可将能提升到 yarn 权限的帐户提升到 root 最高权限。 为避免您的业务受影响，腾讯云安全中心建议使用 Apache Hadoop 的用户及时开展安全自查，如在受影响范围，请您及时进行更新修复，避免被外部攻击者入侵。同时建议云上租户免费开通「安全运营中心」-安全情报，及时获取最新漏洞情报、修复方案及数据泄露情况，感知云上资产风险态势。 【风险等级】 官方评级：严重（Critica

作为互联网公司，网站监测日志当然是数据的最大来源。我们目前的规模也不大，每天的日志量大约1TB。后续90%以上的业务都是需要基于日志来完 成，之前，业务中对实时的要求并不高，最多也就是准实时（延迟半小时以上），因此，我们使用Flume将数据收集到HDFS，然后进行清洗和分析。

一面数据原有的技术架构是在线下机房中使用 CDH 构建的大数据集群。自公司成立以来，每年都保持着高速增长，业务的增长带来了数据量的剧增。

引言 随着大数据技术架构的演进，存储与计算分离的架构能更好的满足用户对降低数据存储成本，按需调度计算资源的诉求，正在成为越来越多人的选择。相较 HDFS，数据存储在对象存储上可以节约存储成本，但与此同时，对象存储对海量文件的写性能也会差很多。 腾讯云弹性 MapReduce(EMR) 是腾讯云的一个云端托管的弹性开源泛 Hadoop 服务，支持 Spark、Hbase、Presto、Flink、Druid 等大数据框架。 近期，在支持一位 EMR 客户时，遇到典型的存储计算分离应用场景。客户使用了 EMR

2000 年初，Google 的三篇论文奠定了最近二十年大数据的技术发展基调，也催生了 Hadoop 生态的发展和繁荣。借助 Hadoop 的东风，一批大数据企业成长了起来，Cloudera 便是代表之一。不过，Hadoop 势弱、Spark 和云计算快速崛起后，Cloudera 等大数据企业面临着或淘汰或转型的命运。

2000 年初，Google 的三篇论文奠定了最近二十年大数据的技术发展基调，也催生了 Hadoop 生态的发展和繁荣。借助 Hadoop 的东风，一批大数据企业成长了起来，Cloudera 便是代表之一。不过，Hadoop 势弱、Spark 和云计算快速崛起后，Cloudera 等大数据企业面临着或淘汰或转型的命运。

曾经有一份简单的生活摆在企业IT商店中，我没有认清，可能只是从概念上的简单。 IT企业给员工发放PC和手提电话，维护企业软件、数据库和服务器以及支撑整个企业，这些软件大部分运行在企业内部。 现在，企业IT可以提供给员工需要遍历的所有工具，多亏了即需即付的云计算，员工可以构建应用程序，执行更加深层的数据分析。也许更重要的是，IT运维从原来只是业务支持的角色转变为业务发展的驱动力，这需要足够的敏捷性和充分地利用资源。 下面讲述的工作场所的三大力量将会在2015年改变企业软件： 平台 云计算的概念已经出

作为开源大数据项目的发端，Hadoop 兴起至今已经超过十五年。在过去这十数年里，开源大数据领域飞速发展，我们见证了多元化技术的兴起和变迁。

Spark 框架编写的应用程序可以运行在本地模式（Local Mode）、集群模式（Cluster Mode）和云服务（Cloud），方便开发测试和生产部署。

我们做政企客户的解决方案支撑工作，一直在跟客户提到“大数据”，通过大数据就能将数据转化成推动精准营销、精准管理的利器。但实际，我们对大数据的理解有多少，今天我们用几张图帮助建立对大数据的技术理解。