需求背景

在日志分析场景中，我们需要统计接口全链路检测总时长超过30秒（30,000ms）的异常记录。由于系统架构的特殊性，总检测时长分散在origin.time_use、middle.time_use等5个嵌套字段中，且这些字段在mapping中未明确定义，也没有在入库时合并一个总计时间，存在以下特性：

1. 字段可能不存在于部分文档
2. 存在多级嵌套结构（如origin.time_use）
3. 要求同时返回符合条件的总时长值
4. elasticsearch版本为V8.1

技术难点分析

双脚本机制差异

{
  "query": {},   // 查询阶段脚本
  "script_fields": {} // 结果处理阶段脚本
}

• 查询脚本：使用doc[]访问方式，在倒排索引阶段执行
• 结果脚本：使用params._source访问原始文档，在查询完成后执行

字段缺失陷阱

doc["origin.time_use"].value // 字段不存在时抛出异常
params._source.origin.time_use // 路径中断时抛出空指针

终极解决方案

安全访问函数封装

long getSafeLong(def fieldAccessor, String field) {
    // 双重校验字段存在性
    if (!fieldAccessor.containsKey(field) || fieldAccessor[field].size() == 0) {
        return 0L;
    }
    try {
        return fieldAccessor[field].value;
    } catch (ClassCastException e) {
        return 0L; // 处理类型转换异常
    }
}

完整查询模板

curl -XGET "https://localhost:9200/_search" -H 'Content-Type: application/json' -d'
{
  "track_total_hits": true,
  "size": 0,
  "query": {
    "bool": {
      "filter": {
        "script": {
          "script": {
            "source": """
		      long getSafeLong(def fieldAccessor, String field) {
                  // 双重校验字段存在性
                  if (!fieldAccessor.containsKey(field) || fieldAccessor[field].size() == 0) {
                      return 0L;
                  }
                  try {
                      return fieldAccessor[field].value;
                  } catch (ClassCastException e) {
                      return 0L; // 处理类型转换异常
                  }
              }
              // 安全累加查询条件
              long total = getSafeLong(doc,"origin.time_use")
                         + getSafeLong(doc,"middle.time_use")
                         + getSafeLong(doc,"athm.time_use")
                         + getSafeLong(doc,"text.time_use")
                         + getSafeLong(doc,"header.time_use");
              return total > 30000;
            """
          }
        }
      }
    }
  },
  "script_fields": {
    "time_use": {
      "script": {
        "source": """
          // 结果集二次计算
          def sum = 0L;
          sum += params._source?.origin?.time_use ?: 0;
          sum += params._source?.middle?.time_use ?: 0;
          sum += params._source?.athm?.time_use ?: 0;
          sum += params._source?.url?.time_use ?: 0;
          sum += params._source?.text?.time_use ?: 0;
          sum += params._source?.header?.time_use ?: 0;
          return sum;
        """
      }
    }
  }
}'

关键技术点解析

防御性编程技巧

1. 层级校验：使用containsKey和size()双重验证字段存在性
2. 异常捕获：处理可能的类型转换异常（如字段值为非数值类型）
3. 空安全导航：在结果脚本中使用Groovy的?.安全访问符

调试技巧

// 调试技巧：通过异常输出中间值
if(total < 1) { 
    throw new Exception("Debug Value: " + total);
}

经验总结

1. 数据建模建议

• 入库时预处理合并字段
• 使用Ingest Pipeline进行字段规范化

2.性能优化

• 避免在查询脚本中重复计算
• 对必要字段建立mapping定义

3.语法差异

特性	查询脚本	结果脚本
字段访问方式	doc[]	params._source
执行阶段	查询时	结果返回时
空值处理	需要显示校验	支持安全导航符(?.)

我们深刻认识到Elasticsearch动态字段处理需要极强的防御性编程思维。建议在系统设计阶段做好字段规划，避免此类计算逻辑后置带来的复杂查询。