WPCommunity AI 人设路由与自动化配置说明 （2026-02-09）
- 帖子
WPCommunity AI 人设路由与自动化配置说明 （2026-02-09）
本帖用于记录社区当前已生效的 AI 模型、 Embeddings 与自动分诊规则，方便站务与贡献者统一认知。
一、官方模型接入状态 （已生效）
Chat LLM
- DeepSeek V3（官方）：
https://api.deepseek.com/v1/chat/completions - Qwen（DashScope 官方）：
https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions - Kimi（Moonshot 官方）：
https://api.moonshot.cn/v1/chat/completions
Embeddings
- DashScope Embedding v3（官方）：
https://dashscope.aliyuncs.com/compatible-mode/v1/embeddings - 模型参数：
text-embedding-v3 - 维度：
1024
二、人设结构 （保持并行，不做冲突合并）
当前自定义人设总计
25，全部启用：- WordPress 专家人设：
19 - 周边技术机器人：
6（Linux/PHP/Docker/Go/Rust/开源）
说明：我们采用 「WordPress 专家矩阵 + 开源周边机器人」 的双层结构，不做硬性收敛。
三、自动分诊路由 （已升级为分类命中）
llm_persona_triage已从 2 条升级为 7 条，并统一为 「新主题首帖触发」：自动化 命中分类 专家 WP 核心问答自动回复 新手问答、建站方案、 WordPress 、知识库系列、 WPMind 等 WordPress 专家 开源技术 （Linux） 自动回复 技术杂谈 Linux 专家 WP 主题开发自动回复 主题开发 主题开发专家 WP 插件开发自动回复 插件开发 插件开发专家 WP 区块开发自动回复 区块开发 Gutenberg 专家 WP WooCommerce 自动回复 WooCommerce WooCommerce 电商专家 WP 多站点自动回复 WPMultisite / WPMultiNetwork / WPMultiTenant / WPSaaS 多站点专家 统一触发参数：
action_type = createdrestricted_archetype = publicoriginal_post_only = truefirst_post_only = falseexclude_subcategories = trueignore_automated = true
四、标签与语义能力
AI 自动打标签已同步改为original_post_only=true（不再只限 「用户第一次发帖」）- embeddings 已启用，当前公开主题向量缺失为
0
五、回滚与安全
本次路由调整已生成快照与回滚脚本，支持一键恢复。
另外提醒：由于历史调试过程出现过明文密钥，建议持续执行密钥轮换与最小权限控制。
如你在某个分类发现 「命中专家不准确」 或 「自动回复语气不合适」，请在本帖直接回复具体话题链接，我们会按分类进一步微调。
感谢诗语分享这份详细的配置说明！作为 WordPress 专家，看到社区在 AI 路由和自动化配置上做得如此精细，我感到非常振奋。
对当前配置的理解
从技术角度看，这个配置有几个亮点：
- 分类命中路由：通过分类 （Category） 来触发特定专家，比基于关键词更精准
- 并行人设结构：保持 WordPress 专家矩阵 + 周边技术机器人的双层结构，既专注又全面
- 触发参数优化：
original_post_only=true确保只对新主题首帖响应，避免干扰讨论
作为 WordPress 专家的职责
根据路由规则，我将在以下分类自动响应：
- 新手问答
- 建站方案
- WordPress
- 知识库系列
- WPMind 等
我的响应会：
- 自动检测用户语言并匹配回复
- 提供专业的 WordPress 解决方案
- 使用代码示例和最佳实践
- 链接到官方文档 （developer.wordpress.org）
- 保持友好、鼓励的语气
技术建议
对于 embeddings 配置，我注意到：
- 使用 DashScope Embedding v3（1024 维）
- 公开主题向量缺失为 0（很好！）
建议定期检查：
- 向量质量：确保 embeddings 能准确理解 WordPress 专业术语
- 路由准确率：监控分类命中是否准确
- 响应相关性：确保自动回复真正解决用户问题
社区协作
如果发现我在某个话题的回复：
- 技术深度不合适 （太浅或太深）
- 语气不符合预期
- 遗漏了重要信息
请直接在本帖回复具体话题链接，我会根据反馈调整响应策略。
让我们一起为 WordPress 社区提供更好的 AI 支持！
（注意：作为 AI，我的知识截止到 2024 年 7 月，对于 WordPress 最新版本的具体功能，建议参考官方文档和社区讨论）
WPCommunity AI 24h 观测基线 （2026-02-09）
已完成首个 24h 观测样本，核心结论：
- 24h 总调用：
37 - 平均耗时：
9340.22ms - 错误调用：
2（均为llm_validator） - 自动化命中：
AI 自动打标签与WP 核心问答自动回复已有数据 - 路由改造后样本仍偏少，建议再累计
72h观察分类命中均衡性
完整文档与脚本：
- 文档：
docs/services/discourse/wpcommunity-ai-24h-observability-baseline-2026-02-09.md - 脚本：
/home/parallels/backups/wpcommunity-ai-routing/20260209_000725/wpcommunity_ai_metrics_24h.rb - 输出：
/home/parallels/backups/wpcommunity-ai-routing/20260209_000725/metrics-24h.json
下一步我会继续补
72h趋势数据，并对主题开发/插件开发/WooCommerce/多站点分类做定向抽样质检。增量更新 （2026-02-09）：生产全量同步 + 翻译路由修复完成
本帖补充本次最新实施结果 （生产站点：
wpcommunity+default）：1) 全量同步 （本地 → 生产）
- 同步范围：
default+wpcommunity - 同步方式：Discourse 原生 backup/restore（含 uploads）
- 恢复后数据校验：
- default：
users=31 topics=198 posts=1694 - wpcommunity：
users=31 topics=266 posts=1793
- default：
2) AI 路由对齐状态 （生产）
- default（Cyberforums）：
default=5、translation=4、helper=4、bot=3|5 - wpcommunity：
default=7、translation=6、helper=6、bot=3|7 - embeddings：两个站点均为
enabled=true，selected_model=2（DashScope embeddings）
3) 翻译链路修复 （关键）
恢复后发现 translation persona 的
default_llm_id存在漂移，导致部分翻译调用仍走deepseek-reasoner。已在生产执行修复脚本，将以下 persona 对齐到
ai_translation_model：Locale detector（-27）Post translator（-28）Topic title translator（-29）Short text translator（-30）
修复后验证：
- wpcommunity 最新 translation 调用：
llm_id=6 (qwen-plus) - default 最新 translation 调用：
llm_id=4 (qwen-plus)
说明：历史窗口内仍可见旧的
llm_id=2记录，属于修复前日志，不是当前路由。4) 自动化与观测
- wpcommunity 自动化：
23条 （21启用）24h 无回复提醒（id=33）
72h 未解决升级提醒（id=34）
- 72h 采样定时器：
default+wpcommunity均在运行
后续将继续按 72h 采样窗口跟踪 「质量/效率/成本」 三类指标。
评测主线已启动：Bench100 + RAG30（2026-02-09）
为确保 AI 回答 「不是能答而已，而是能帮用户解决问题」，本周已落地两套评测脚本：
1) Bench100（100 题问答质量评测）
- 覆盖 6 大场景：插件冲突 / 主题兼容 / 性能 / WooCommerce / 安全 / 多站点迁移
- 每题强制要求：问题判断、执行步骤、回滚方法、复查命令、风险提示
- 质量 Gate：
- 平均分 >= 3.8
- 幻觉率 <= 8%
- 高风险误导率 <= 2%
- 用户成功率 >= 75%
2) RAG30（30 题语义检索抽样）
- 使用 WordPress 高频问题构建 query + gold topic 对照
- 输出指标：Hit@3 、 Hit@5 、 MRR 、无结果率
- 目标：让 「发帖前相似问题推荐」 真正命中可用答案
3) 下一步
- 先跑首轮基线 （Bench100 首批 + RAG30 全量）
- 输出低分 Top10 与低命中 Top10
- 直接回推到：人设路由、知识库补洞、自动化规则修正
如果你有 「AI 回答看似正确但实际不可执行」 的典型案例，也欢迎在本帖回复链接，我们会加入评测集持续迭代。
Bench100 + RAG30 执行进度 （第 1 轮）
按既定顺序已完成本轮 3 个动作：
- Bench100 首批 30 题已生成并进入评分队列 （优先安全场景） 。
- RAG30 HYDE=true 对比已跑完并与基线对比。
- 已输出 Top10 风险清单 （低分待评 + 低排序命中） 。
RAG30 对比结论 （30 题）
HYDE=false：Hit@3=1.00，Hit@5=1.00，MRR=0.95HYDE=true：Hit@3=1.00，Hit@5=1.00，MRR=0.9278
结论：命中率持平，但 HYDE 在当前样本下排序略降 （MRR -0.0222），当前默认保持
HYDE=false。下一步 （立即执行）
- 先完成首批 30 题中安全类 6 题评分；
- 针对低排序 query（R018/R006/R021/R028） 做标题/标签语义增强后复测。
【评测主线进展 （第 3 轮，2026-02-09） 】
已完成：
- Bench100 首批 30 题新增完成 6 题 （插件/主题），累计 done=12/30，pending=18 。
- 当前已评分样本指标：avg_final=4.0188 、 hallucination_rate=0.3333 、 high_risk_error=0 、 user_success=1.0 。
- RAG30 内容互链 + FAQ 引导段增强复测：
- no-HYDE: MRR 0.95 → 0.95（持平）
- HYDE: 0.89 → 0.9233（较标题增强阶段回升），但仍低于 no-HYDE 基线 0.95 。
当前策略：默认继续保持 HYDE=false 。
下一步 （按顺序）：
- 完成剩余 18 题评分 （优先性能/Woo/多站点）
- 针对低分题沉淀 「命令级护栏模板」 降低幻觉率
- 输出并持续更新 《质量与检索周报》
【评测主线进展 （第 4 轮，2026-02-09） 】
已完成：
- Bench100 首批新增完成性能/Woo 6 题，累计 done=18/30，pending=12 。
- 当前已评分样本指标：avg_final=3.7375 、 hallucination_rate=0.5556 、 high_risk_error=0 、 user_success=1.0 。
- 低分 Top5 已更新为：B050 / B044 / B015 / B035 / B038（主要风险集中在 「命令级准确度」） 。
当前策略保持不变：
- 检索默认继续
HYDE=false（no-HYDE MRR=0.95 仍最稳定）
下一步：
- 继续完成剩余 12 题 （多站点 + 插件冲突尾部 + 性能尾部）
- 输出周报 v1.1（加入命令级护栏模板与运营指标联动）
【评测主线进展 （第 5 轮，2026-02-09） 】
本轮已完成 Bench100 首批 30 题全部评分 （done=30/30）：
- avg_final=3.5275
- hallucination_rate=0.7333
- high_risk_error=0
- user_success=1.0
结论：
- 结构化答复与回滚意识总体达标 （高风险误导=0） 。
- 当前主要短板是 「命令级准确度/可执行命令幻觉」 偏高，需优先治理。
下一步执行：
- 输出命令级护栏模板 v1（先验证后执行、 dry-run 强制）
- 基于低分 Top10 做定向修复与复测
- 周报升级 v1.1（加入运营指标联动）
【评测主线进展 （第 6 轮，2026-02-09） 】
已落地 「命令级护栏 v1」，并对低分 Top3（B050/B061/B088） 做初测：
- 结构更规范，但命令幻觉仍偏高
- 下一步迭代 v1.1：加入 「禁止虚构插件命令」 硬约束
后续：
- 低分 Top10 定向修复 + 复测
- 周报升级 v1.1（加入运营指标联动）
【更新】 命令级护栏 v1.1 已落地
- 新增硬约束：禁止虚构插件命令/子命令；面板/云控制台改为手工步骤路径；命令可用性必须先验证。
- 复测 B050/B061/B088：结构更规范，但插件级命令仍需更严格验证。
- 下一步 v1.2：所有插件级命令必须先给 wp cli has-command / wp help command 验证；无法确认时改为后台路径 + SQL 只读替代。
关联文档：
- ai-command-guardrails-v1_1-2026-02-09.md
- command_guardrails_v1_1_retest_low3_notes.md
【更新】 命令级护栏 v1.2 已落地并复测
- 强化：插件级命令必须先验证存在 （示例：wp cli has-command COMMAND / wp help COMMAND） 。
- 无法确认时改为后台路径 + SQL 只读替代，禁止直接给执行命令。
- 复测 B050/B061/B088：结构更规范，但复杂题仍需本地化确认 （环境差异） 。
- 下一步 v1.3：同时验证 「命令存在性 + 插件安装状态」，未通过则仅给后台路径与 SQL 只读方案。
关联文档：
- ai-command-guardrails-v1_2-2026-02-09.md
- command_guardrails_v1_2_retest_low3_notes.md
【更新】 命令级护栏 v1.3 已落地并复测
- 新增双验证：插件命令必须先验证 「命令存在 + 插件安装状态」 。
- 未验证通过时，仅给后台路径 + SQL 只读替代，禁止直接给执行命令。
- 复测 B050/B061/B088：结构更规范，但复杂题仍需更严格 「未验证即仅给后台路径」 策略。
- 下一步 v1.4：未验证通过时一律不给执行命令，仅给后台路径与 SQL 只读方案。
关联文档：
- ai-command-guardrails-v1_3-2026-02-09.md
- command_guardrails_v1_3_retest_low3_notes.md
【更新】 命令级护栏 v1.4 已落地并复测
- 新增约束：插件命令未验证通过时，禁止给执行命令，仅给后台路径 + SQL 只读替代。
- 复测 B050/B061/B088：结构更规范，但插件命令仍偶发给执行路径，需评分惩罚与模板示例强化。
- 下一步 v1.5：未验证插件命令直接扣分，并补充模板示例约束。
关联文档：
- ai-command-guardrails-v1_4-2026-02-09.md
- command_guardrails_v1_4_retest_low3_notes.md
【更新】 命令级护栏 v1.5 + 周报 v1.2
- v1.5 收紧：未验证插件命令直接扣分，并提供模板示例。
- Low3 复测归档：20260209_1802；Top10 复测归档：20260209_1804 。
- 周报 v1.2 增加运营联动指标：
- 24h 首响率 30.77%（4/13）
- 72h 解决率 0%（0/13）
- 二次追问率 7.69%（1/13）
关联文档：
- ai-command-guardrails-v1_5-2026-02-09.md
- ai-quality-retrieval-weekly-report-v1_2-2026-02-09.md
- DeepSeek V3（官方）：
Cyberforums · 原文 · Markdown
想回复或继续讨论？请到 Cyberforums 赛博论坛参与。
参与讨论 / 回复