主页

索引

模块索引

搜索页面

限制说明

基础资源:

Project:  每个账号下最多可创建50个Project
Logstore: 一个Project中最多可创建200个Logstore
Shard:    一个Project中最多可创建200个Shard
          控制台创建Logstore时;一个Logstore最多可创建10个Shard
          API创建Logstore时;最多可创建100个,但可以通过分裂操作来增加Shard
Logtail:  每个Project最多可创建100个Logtail配置
日志保存时间:
          支持永久保存
          您也可以自定义日志保存时间;取值范围为1~3000
MachineGroup: 每个Project最多可创建100个机器组
ConsumerGroup:每个Logstore最多可创建10个协同消费组
SavedSearch:  每个Project最多可创建100个快速查询
Dashboard:    每个Project最多可创建50个仪表盘
              每个仪表盘最多可包含50张分析图表
LogItem:      API:单个长度最大为1 MB
              Logtail:单个最大为 512KB
LogGroup:     每个日志组中最多包含4096条日志;且最大长度为5 MB

数据读写:

Project:
  写入流量最大为30 GB/min即: 500MB/s
  写入次数最大为60,0000 /min, 10000 /s
  读取次数最大为60,0000 /min, 10000 /s
Shard:
  写入流量最大为5 MB/s
  写入次数最大为500 /s
  读取流量最大为10 MB/s
  读取次数最大为100 /s

查询分析与可视化:

查询(Search):
  关键词;即单词查询时布尔逻辑符外的条件个数每次查询最多30个
  单个字段(Value)长度最大为10 KB;超出部分不参与查询
  单个Project并发最大为100个
  对于超过1w个字符的日志;日志服务只会对前10,000个字符进行DOM切词处理
SQL分析(Analytics):
  单个字段(Value)最大长度为2 KB;超出部分不参与查询
  单个Project并发不超过15个
  每次分析的返回结果最大100 MB或100,000条
  使用分析语句时;字段长度最大支持2 KB
  Double类型最多用52位表示;如果浮点数编码位数超过52位;会有精度损失

Project:

目前;日志服务仅提供控制台方式创建Project
Project的名字需要全局唯一(在所有阿里云Region内)
Project创建时需要指定所在的阿里云Region
Project一旦创建完成则无法改变其所属地域;且日志服务不支持Project的迁移
一个阿里云账户在所有阿里云Region最多可创建50个Project

logtail日志:

单条日志大小限制为512KB
对于日志中包含’\0’的行,该条日志会被截断到第一个’\0’处
吞吐:原始日志流量默认限制为2MB/s
性能:
  单核能力:极简模式日志最大处理能力为100MB/s
  正则默认最大处理能力为20MB/s(和正则复杂度有关)
  分隔符日志最大处理能力为40MB/s
  JSON日志最大处理能力为30MB/s
  开启多个处理线程性能可提高1.5-3倍左右
监控目录数:最多3000个目录(含子目录)
监控文件数:
  每个Logtail采集配置监控的最大文件数量为10,000个
  每台服务器上的Logtail客户端最多可监控100,000个文件
默认资源限制:
  默认Logtail最多会占用40%CPU、256MB内存
资源超限处理策略:
  若3分钟内Logtail占用的相关资源超过最大限制,则Logtail会强制重启

其他:
  日志采集延迟:正常情况下从日志flush磁盘到Logtail采集改日志延迟不超过1秒
  日志上传策略:
    Logtail会将同一文件的日志自动聚合上传,聚合条件为:
      1.日志超过2000条
      2.日志总大小超过2M
      3.日志采集时间超过3秒
      任一条件满足则触发上传行为

time字段,超过12小时会被作为过期日志丢弃的

Storm:

每个Logstore最多支持 10 个Consumer Group
Spout的个数最好和Shard个数相同,否则可能会导致单个Spout处理数据量过多而处理不过来
如果单个Shard 的数据量太大,超过一个Spout处理极限,使用Shard split接口分裂Shard
在Loghub Spout中,强制依赖Storm的ACK机制,用于确认Spout将消息正确发送至Bolt

分区的读写能力:

写入:5MB/s;500次/s
读取:10MB/s;100次/s

主页

索引

模块索引

搜索页面