限制说明 ------------ 基础资源:: Project: 每个账号下最多可创建50个Project Logstore: 一个Project中最多可创建200个Logstore Shard: 一个Project中最多可创建200个Shard 控制台创建Logstore时;一个Logstore最多可创建10个Shard API创建Logstore时;最多可创建100个,但可以通过分裂操作来增加Shard Logtail: 每个Project最多可创建100个Logtail配置 日志保存时间: 支持永久保存 您也可以自定义日志保存时间;取值范围为1~3000 MachineGroup: 每个Project最多可创建100个机器组 ConsumerGroup:每个Logstore最多可创建10个协同消费组 SavedSearch: 每个Project最多可创建100个快速查询 Dashboard: 每个Project最多可创建50个仪表盘 每个仪表盘最多可包含50张分析图表 LogItem: API:单个长度最大为1 MB Logtail:单个最大为 512KB LogGroup: 每个日志组中最多包含4096条日志;且最大长度为5 MB 数据读写:: Project: 写入流量最大为30 GB/min即: 500MB/s 写入次数最大为60,0000 次/min, 10000 次/s 读取次数最大为60,0000 次/min, 10000 次/s Shard: 写入流量最大为5 MB/s 写入次数最大为500 次/s 读取流量最大为10 MB/s 读取次数最大为100 次/s 查询分析与可视化:: 查询(Search): 关键词;即单词查询时布尔逻辑符外的条件个数每次查询最多30个 单个字段(Value)长度最大为10 KB;超出部分不参与查询 单个Project并发最大为100个 对于超过1w个字符的日志;日志服务只会对前10,000个字符进行DOM切词处理 SQL分析(Analytics): 单个字段(Value)最大长度为2 KB;超出部分不参与查询 单个Project并发不超过15个 每次分析的返回结果最大100 MB或100,000条 使用分析语句时;字段长度最大支持2 KB Double类型最多用52位表示;如果浮点数编码位数超过52位;会有精度损失 Project:: 目前;日志服务仅提供控制台方式创建Project Project的名字需要全局唯一(在所有阿里云Region内) Project创建时需要指定所在的阿里云Region Project一旦创建完成则无法改变其所属地域;且日志服务不支持Project的迁移 一个阿里云账户在所有阿里云Region最多可创建50个Project logtail日志:: 单条日志大小限制为512KB 对于日志中包含’\0’的行,该条日志会被截断到第一个’\0’处 吞吐:原始日志流量默认限制为2MB/s 性能: 单核能力:极简模式日志最大处理能力为100MB/s 正则默认最大处理能力为20MB/s(和正则复杂度有关) 分隔符日志最大处理能力为40MB/s JSON日志最大处理能力为30MB/s 开启多个处理线程性能可提高1.5-3倍左右 监控目录数:最多3000个目录(含子目录) 监控文件数: 每个Logtail采集配置监控的最大文件数量为10,000个 每台服务器上的Logtail客户端最多可监控100,000个文件 默认资源限制: 默认Logtail最多会占用40%CPU、256MB内存 资源超限处理策略: 若3分钟内Logtail占用的相关资源超过最大限制,则Logtail会强制重启 其他: 日志采集延迟:正常情况下从日志flush磁盘到Logtail采集改日志延迟不超过1秒 日志上传策略: Logtail会将同一文件的日志自动聚合上传,聚合条件为: 1.日志超过2000条 2.日志总大小超过2M 3.日志采集时间超过3秒 任一条件满足则触发上传行为 time字段,超过12小时会被作为过期日志丢弃的 Storm:: 每个Logstore最多支持 10 个Consumer Group Spout的个数最好和Shard个数相同,否则可能会导致单个Spout处理数据量过多而处理不过来 如果单个Shard 的数据量太大,超过一个Spout处理极限,使用Shard split接口分裂Shard 在Loghub Spout中,强制依赖Storm的ACK机制,用于确认Spout将消息正确发送至Bolt 分区的读写能力:: 写入:5MB/s;500次/s 读取:10MB/s;100次/s