獬豸 open-xiezhi 獬豸open-xiezhi
Apache-2.0 开源 · 统一威胁检测引擎

让每一次请求
都过一遍神兽的眼睛

獬豸 open-xiezhi —— 开源统一威胁检测引擎 + 软件防护网关。 一个内核同时适配 WAF、API 安全、数据库防火墙、DAM、邮件网关 五类产品接入。

  • 零重依赖 单二进制
  • 引擎只判不拦 处置权在接入产品
  • 手机 proot 实测可跑
0.00%
正常流量误报率
9,244 条正常样本 · rule_coverage_fuzzdb
0.0%
漏检回收率
0 新增误报 · baseline_eval
0.0ms
全栈检测 p50(x86)
452 req/s · bench_latency
0
治理后规则条数
每条过 FP 闸门
0
自动化测试全绿
fmt + clippy -D warnings
Defense Stack

完整防护栈:七层,一层不漏

箭头自上而下。每层都写清楚拦什么、拿什么证据说话。

请求自上而下流过每一层,任何一层可独立决策
L0

黑名单已知恶意 IP

命中即拒,1.0 置信不进管线,后续层不再消耗算力。

证据:1.0 置信,不进管线
FAST

网关快筛14 条

关键词级高危特征,进程内微秒级拦截。

证据:UNION SELECT → 0.94 命中
L1

规则层122 条

正则 / 关键词 / AND 组合,扫解码归一后的 URL、参数、请求体与请求头。

证据:经典 Web 攻击真机 11/11 正确判定 · 误报 0.36%
L2

语义层SQL 语法树

SQL 语法树解析 + libinjection,专抓「语法正确、语义恶意」的变形。

证据:恒真式 1 OR 1=1 → 0.95 直拦
L3

机器学习三模型

字符 n-gram 朴素贝叶斯认长相 · 高斯离群 / 孤立森林抓异常 · 端点参数基线四信号。

证据:抓回生产漏检 40.8%,0 新增误报
ACT

处置建议不越权

Block 直拦 · Challenge 人机验证 · Monitor 记录 · Allow 放行。

拿不准的挑战,不放行 —— 检测归我,处置归你
LOOP

自进化闭环越用越准

高置信拦截学攻击、全干净放行学正常;人工反馈回灌;漂移监控。

状态分钟级落盘,重启接着长
L3 · Machine Learning

三模型深潜:没见过的变形交给它们

L3 是这套栈的差异化部分——前两层管「见过的」,这一层管「没见过的」。

NB

字符 n-gram 朴素贝叶斯

按「长相」分类:把请求切成字符 n-gram,学正常与攻击的分布差异,认出换编码、拼接、变形后的样本。

与 L1/L2 互补,覆盖规则与语法树够不到的形态。
AD

高斯离群 / 孤立森林

按「异常」分类:不学攻击长什么样,只学「正常应该长什么样」,偏离即告警。

对零日变形有效——没见过也能打分。
PB

端点参数行为基线

四信号:参数名集合 · 路径追加 · 值级结构字符 · 目录当文件。为每个端点建独立基线。

证据:抓回生产漏检 40.8% @ 0 新增误报

在线学习自动积累 + 人工反馈回灌 + 模型分钟级落盘跨重启 + 漂移告警; 漂移阈值经真实流量校准:良性波动上界 0.22 < 默认阈值 0.5。 来源 reports/drift_calibration.md

Integration

接入手段 × 产品矩阵

一个引擎,八条通路,覆盖五类产品。

接入手段端口 / 方式适配产品 关键配置执法
HTTP 反代:8080 WAF API 安全网关 CDN 源站 routes: host+path → backend_group inline / mixed 按模式拦
正向代理 CONNECT:8081 上网审计 / 终端代理 WAF 客户端代理指向网关 目标行快筛可拦(TLS 内容不可见)
TCP 转发自定义 数据库防火墙(MySQL/PG) / SSH 审计 tcp_forwards, protocol: mysql 快筛断连 + L2 语义旁路
UDP 转发自定义 DNS 审计 protocol: dns 旁路记录
gRPC API:50051 自研深度集成 Detect / DetectBatch 引擎建议,产品处置
HTTP 智能体 API:9070 旁路 WAF / SIEM / 自动化 analyze · feedback · metrics 调用方处置
进程内嵌入库调用 DAM / DB-FW / SDK 十几行接线样板 同引擎全栈
Mail 源API 邮件网关 SEG source_type=mail 恶意附件 critical 直拦
薄 Adapter,厚引擎

产品只做采集 → 映射 → 调用 → 解读四步,判定逻辑全部沉在引擎里,五类产品共用一套。

引擎只判不拦

引擎输出的是判定与建议,处置权永远在接入产品手里——inline 还是旁路、拦还是记,你说了算。

反代 / 负载

  • Nginx
  • Caddy
  • Traefik
  • HAProxy
  • Envoy
  • Apache
  • IIS
  • k8s Ingress
  • LVS
  • 云 SLB/NLB
  • F5

拓扑:LB → 网关 × N → 业务 × N。

数据源

  • MySQL
  • PostgreSQL
  • SSH
  • DNS
  • Redis/Mongo(raw 旁路)

证书与可观测

  • Caddy 自动 Let's Encrypt
  • nginx 手动证书
  • Prometheus 抓 /agent/metrics
  • Grafana 看板

TLS 终止在前,网关看明文检测;指标为标准文本格式直采,无需 exporter。

Usage

三种用法

串路反代、正向代理、API / 嵌入——按接入方式选一种即可。

# 网关串在 nginx 与业务之间,按 host+path 路由并送检
routes:
  - { host: "*", path_prefix: "/", backend_group: myapp, inspect: true }
backend_groups:
  myapp: { targets: [{ addr: "业务:8080" }] }
端口 :8080 · 执法:inline / mixed 按模式拦 · 适配 WAF、API 安全网关、CDN 源站
Benchmarks

实测效果

每个数字都来自仓库内的评估报告,可自行复核。

0.36%

正常流量误报率

9,244 条正常样本触发规则仅 33 条;治理前为 5.70%,收紧 8 条规则后降 94%。

来源 reports/rule_coverage_fuzzdb.md · docs/交接文档.md
40.8%

漏检回收率

参数基线在生产漏检集合上抓回 40.8%,阈值 0.05/0.10 下新增误报均为 0。

来源 reports/baseline_eval.md
1.6ms

全栈检测 p50

x86_64 全栈 n=5000,p95 5.2ms,吞吐 452 req/s;手机 aarch64 p50 8.7ms。

来源 reports/bench_latency.md
0.22< 0.5

漂移阈值余量

良性流量翻转的 z-shift 上界约 0.22,默认告警阈值 0.5 保有 2.3× 余量。

来源 reports/drift_calibration.md

另有真机实弹验证:11 种攻击弹(SQLi / XSS / 穿越 / Log4Shell / UNION / 恒真式 / 双形态恶意邮件附件等) 11/11 正确判定。

Quick Start

四步跑起来

无需任何环境变量即可启动;模型与参数基线自动从 ../data/ 探测加载,缺失时安全降级。

1

构建

在仓库根目录执行:

cargo build --release
2

启动引擎

终端 1:

target/release/dps-engine.exe
3

启动网关

终端 2 —— 每次启动会打印新的 API Key。

target/release/dps-gateway.exe
4

打开面板

统计报表、防护栈介绍、模型健康与漂移卡片都在这里。

http://127.0.0.1:9080

面板地址可用 DPS_WEB_ADDR 覆盖(默认 127.0.0.1:9080)。 建议先以 bypass 观察 模式磨合,再考虑切 inline。

AI Deploy Skill

AI 自动部署技能

面向 AI 执行者 的操作手册——照着它,一个 AI 就能独立跑完 「构建 → 部署 → 验证 → 日常运维」,不必先读一遍源码。

00

系统事实卡

二进制、端口、API Key 提取、规则热加载口径、三种执法模式——开篇就给全,先背下来再动手。

01

构建与两种部署

本机 x86_64 与 ARM 交叉编译;标准 Linux 与 手机 proot / 远程 aarch64 各一套可直接抄的命令。

02

验证清单

健康检查、面板字节数、规则数、指标、攻击弹 / 干净弹、模式执法——部署完逐条跑。

05

日常操作

换 Key、切模式、加临时规则、误漏报回灌、看指标、封 IP,一张表查完。

06

故障排查表

十余条全是真实踩过的坑:os error 5、plink 卡死、规则改名不生效、息屏断网……

07

禁忌

不在设备上编译、不把数据集放进 git、改检测语义必须过闸门、API Key 不当常量。

本副本与 DPS/docs/AI部署操作技能.md 内容一致(MD5 校验通过)。 文档约定:改动代码后先跑 CI 再部署。

FAQ

常见问题

和雷池 / 商业 WAF 什么关系?

布局可参考其交互,但獬豸是独立开源实现,核心在「引擎只判不拦 + 三层判定 + 在线学习」的架构。

规则才一百多条够吗?

条数不是度量——122 条是治理后的精兵(每条都过 FP 闸门),配合语义层与 ML 层, 真机实弹 11/11、误报 0.36%;且支持热加载持续运营。

误报怎么办?

三层保险:AND 组合规则、离线 FP 闸门(≤1pp 才准合入)、一键反馈回灌在线学习。

数据训练合规吗?

公开数据集(GPL 合并集与 CC-BY),数据不随仓库分发;权重许可立场与商用尽调见 docs/许可合规备忘.md。

能上生产吗?

具备生产要件(模式可切、审计、指标、热加载、低误报),但建议先 bypass 观察磨合,再转 inline。

拿去夹在你的 nginx 前面试试

Apache-2.0 开源 · 单二进制 · 引擎只判不拦。先 bypass 观察,再决定要不要 inline。