作为互联网公司，网站监测日志当然是数据的最大来源。我们目前的规模也不大，每天的日志量大约1TB。后续90%以上的业务都是需要基于日志来完 成，之前，业务中对实时的要求并不高，最多也就是准实时（延迟半小时以上），因此，我们使用Flume将数据收集到HDFS，然后进行清洗和分析。

作为互联网公司，网站监测日志当然是数据的最大来源。我们目前的规模也不大，每天的日志量大约1TB。后续90%以上的业务都是需要基于日志来完 成，之前，业务中对实时的要求并不高，最多也就是准实时（延迟半小时以上），因此，我们使用Flume将数据收集到HDFS，然后进行清洗和分析。

作为互联网公司，网站监测日志当然是数据的最大来源。我们目前的规模也不大，每天的日志量大约1TB。后续90%以上的业务都是需要基于日志来完 成，之前，业务中对实时的要求并不高，最多也就是准实时（延迟半小时以上），因此，我们使用Flume将数据收集到HDFS，然后进行清洗和分析。

作为互联网公司，网站监测日志当然是数据的最大来源。我们目前的规模也不大，每天的日志量大约1TB。后续90%以上的业务都是需要基于日志来完 成，之前，业务中对实时的要求并不高，最多也就是准实时（延迟半小时以上），因此，我们使用Flume将数据收集到HDFS，然后进行清洗和分析。

作为互联网公司，网站监测日志当然是数据的最大来源。我们目前的规模也不大，每天的日志量大约1TB。后续90%以上的业务都是需要基于日志来完 成，之前，业务中对实时的要求并不高，最多也就是准实时（延迟半小时以上），因此，我们使用Flume将数据收集到HDFS，然后进行清洗和分析。

日志存储分析在应用系统中扮演着重要的角色，传统的ELK对于小型团队过于繁琐，维护麻烦，腾讯云提供了CLS日志采集分析系统，可以通过LogListener来实现业务代码无侵入的方式进行采集日志，开发者还可以通过API的方式来采集日志（目前好像没有提供sdk来采集开发者应用日志，或者笔者漏读了一部分文档），官网文档对于API采集日志的最佳实践文档相对较少，本文笔者结合腾讯云CLS和Java领域的最常见的两种log工具实现代码无侵入的业务日志上报。

日志存储分析在应用系统中扮演着重要的角色，传统的ELK对于小型团队过于繁琐，维护麻烦，腾讯云提供了CLS日志采集分析系统，可以通过LogListener来实现业务代码无侵入的方式进行采集日志，开发者还可以通过API的方式来采集日志（目前好像没有提供sdk来采集开发者应用日志，或者笔者漏读了一部分文档），官网文档对于API采集日志的最佳实践文档相对较少，本文笔者根据自己的想法实现CLS结合Java领域的最常见的两种log工具的方案。

随着携程国际化战略的开展，为了给海外用户提供更好的服务，携程国际机票有很大一部分数据来源于世界各地的海外供应商和平台，在美国、德国、新加坡等全球众多的海外站点部署业务服务。相比自建私有云，购买设备和组建运维团队，公有云是企业出海的一个更好选择。

output是Logstash的最后阶段，一个事件可以经过多个输出，而一旦所有输出处理完成，整个事件就执行完成。 一些常用的输出包括：

黄鹏，微博广告实时数据开发工程师，负责法拉第实验平台数据开发、实时数据关联平台、实时算法特征数据计算、实时数据仓库、实时数据清洗组件开发工作。

云原生技术大潮已经来临，技术变革迫在眉睫。 在这股技术潮流之中，网易推出了轻舟微服务云平台，集成了微服务、Servicemesh、容器云、DevOps等，已经广泛应用于公司集团内部，同时也支撑了很多外部客户的云原生化改造和迁移。

本文介绍如何使用腾讯云的云函数功能，创建两个函数，实现定时将CDN的日志存储到COS中。

本文介绍如何使用ELK（Elasticsearch、Logstash、Kibana）集群对云上资源进行日志监控和审计。首先介绍了ELK集群的架构，然后详细讲解了如何在Kubernetes上部署ELK集群，最后介绍了如何通过ELK集群对云上资源进行日志监控和审计。

本文将从另一个角度为大家介绍 iceberg（结合之前推送的Iceberg快速入门，可以更深入的理解），然后分享 iceberg 在网易云音乐的一些实践，希望对大家能有所帮助。

roc，腾讯高级工程师，Kubernetes Contributor，热爱开源，专注云原生领域。目前主要负责腾讯云TKE 的售中、售后的技术支持，根据客户需求输出合理技术方案与最佳实践，为客户业务保驾护航。 概述 本文介绍如何利用腾讯云容器服务 TKE 的日志功能对日志进行采集、存储与查询，分析各种功能用法与场景，给出一些最佳实践建议。 注: 本文仅适用于 TKE 集群。 如何快速上手 TKE 的日志功能入口在 集群运维-日志规则，更多关于如何为 TKE 集群启用日志采集与基础用法，参考TKE日志采集

所有的软件或者系统，都无法保证100%的稳定运行，由于各种原因都会导致异常故障，如果发现太晚延误了解决问题，则会扩大线上影响。从故障出现到问题修复之间的每一分钟都是值得优化的，监控的目的就是为了快速发现问题，协助开发或者产品分析业务状态。

hello，腾讯云的小伙伴们，我是不想赖床，一位拥有2年腾讯云服务使用体验的计算机大学生。我们在使用腾讯云服务器时，在各种业务开发部署过程中会产生各种日志，如果产生错误信息，我们还需要去服务器文档中查找日志然后再去解读日志并找到问题，这样就会浪费很多时间。

随着 IT 数字化发展，日志分析在各行各业的应用越来越广泛，系统运维、研发诊断、安全审计、大数据运营分析等场景中均可以通过日志分析保障业务。 为了简化处理日志的复杂流程，提升研发效率、降低用户处理日志数据的成本，无服务器云函数 SCF 现已支持 CLS 触发器，通过 CLS 触发函数可对日志进行 ETL 日志加工，将日志转储至跨地域 CLS 集群、 ES、CDW等，拓展了更多日志处理场景和投递方式。 Tencent Serverless Hours 系列线上分享会第十二期，我们邀请了腾讯云 Serverl

关注腾讯云大学，了解行业最新技术动态 随着 IT 数字化发展，日志分析在各行各业的应用越来越广泛，系统运维、研发诊断、安全审计、大数据运营分析等场景中均可以通过日志分析保障业务。 为了简化处理日志的复杂流程，提升研发效率、降低用户处理日志数据的成本，无服务器云函数 SCF 现已支持 CLS 触发器，通过 CLS 触发函数可对日志进行 ETL 日志加工，将日志转储至跨地域 CLS 集群、 ES、CDW等，拓展了更多日志处理场景和投递方式。 Tencent Serverless Hours 系列线上分享会第十

三大运营商正利用自身在基础网络资源和数据中心方面的优势进入云服务市场。中国联通近日对外发布了公司未来的云计算发展策略，标志着中国联通全面开启了云服务时代。事实上，三大运营商已齐齐发力云计算服务。2009年，中国移动推出“Big Cloud大云”，同年，中国电信启动天翼云计算计划。 运营商相比互联网公司进入云计算市场的速度明显偏慢，在市场竞争日益激烈的情况下，运营商可以利用其掌握的数据优势突围，构建统一数据平台，实现多种数据的整合、处理与交换能力，利用数据来产生收益。 三大运营商争相迈向“云端” 作为数据存储