ai_site/宇恒-松离线数据同步使用文档.md

# 宇恒 × 智建 · 松离线数据同步使用文档

> 面向：**宇恒一号客户端**对接同学  
> 平台侧仓库：智建（ai建站）  
> 依据：`松离线-dbsync方案-最终版.md`（冻结）  
> 本地测试基址示例：`http://127.0.0.1:8180`；生产示例：`https://aisite.yuxindazhineng.com`

---

## 1. 你要做什么（一句话）

未开通用户**零改动**。仅当显式 `YXD_SYNC_MODE=local_dbsync` 且表在白名单时：业务写进本机正式库 B（UUID）→ 写 outbox → **本机 agent** 调智建 push API → 落到线上库 A。agent 停了也**不能挡保存**。

```text
业务保存 ──► 本机 B（最终 UUID，立刻可见）
              │
              ▼
           outbox（积压可接受）
              │
              ▼ 本机 agent（可选装）
         智建 POST .../push  ──► 线上 A
```

---

## 2. 硬约束（违反即不合入）

| # | 要求 |
|---|------|
| H1 | 未开通：保存 / 自增表 / 插件与现网 **行为 diff = 0** |
| H2 | **禁止**自动升为 `local_dbsync`（仅显式配置） |
| H3 | agent 停运 / 推送失败 → **保存仍成功**；心跳只驱动 UI |
| H4 | 默认建表仍自增；仅「同步表」用 UUID TEXT PK |
| H5 | 旧 `online_primary` 客户禁止静默关双写 |
| H6 | 未开通用户：**零同步文案**（无强制状态条、无「已自动合并」） |

开通判定（写路径）：

```text
mode == local_dbsync  AND  表白名单缓存命中该表
→ 走松离线旁路
否则 → 原写路径
```

同表互斥：某表不可同时 HTTP 双写 + dbsync 白名单。

---

## 3. 模式三分（环境变量）

| `YXD_SYNC_MODE` | 含义 | 说明 |
|-----------------|------|------|
| `local_only` | 仅本地 | 默认之一 |
| `online_primary` | HTTP 双写 / 离线 pending | **旧客保留**；仅配了 `YXD_ONLINE_API_BASE` 且未写 MODE 时可兼容升为此模式 |
| `local_dbsync` | 松离线 + 白名单 + agent | **必须显式写出**，永不因「配了线上地址」自动升 |

建议本地测试：

```bash
# 默认无感：不要设 local_dbsync，或显式：
YXD_SYNC_MODE=local_only
```

开通增值：

```bash
YXD_SYNC_MODE=local_dbsync
YXD_SYNC_AGENT=1
YXD_ONLINE_API_BASE=http://127.0.0.1:8180
YXD_SYNC_CHANNEL_ID=<智建控制台通道 ID>
YXD_SYNC_ACCESS_TOKEN=<Bearer：管理员/智能体「数据同步」，或登录用户 JWT（自助须先 Binding）>
# 可选
YXD_SYNC_WHITELIST_TTL_SEC=600
YXD_SYNC_AGENT_INTERVAL_SEC=5
YXD_SYNC_WHITELIST_CACHE=cache/db_sync/whitelist.json
```

调试兜底表白名单（通道拉取失败前）：

```bash
YXD_SYNC_WHITELIST=orders,order_items
# 或
YXD_SYNC_DBSYNC_TABLES=orders,order_items
```

---

## 4. 智建侧前置（公司管理员）

1. 登录智建控制台 → **数据同步** → 新建通道。  
2. **生产**：`remote.driver=postgres`，DSN 例：`postgres://user:pass@host:5432/db?sslmode=disable`（须可达）。  
3. 表白名单须 **UUID TEXT/UUID PK** + **外键闭包**。  
4. 方向推荐 **本地 → 线上**；冲突策略推荐 **源端覆盖（lww_source）**。  
5. 保存通过校验后记下 **通道 ID**。  
6. **二选一鉴权**：  
   - 管理路径：发带「数据同步」的智能体 Token / 管理员 JWT；或  
   - **用户自助**：终端用登录用户 JWT；先登记 Binding，push 带本人 `online_db_id`。  

**单服务器**：一条通道 + 一个 `YXD_SYNC_CHANNEL_ID` 即可。  
**多服务器**：每台线上 Postgres **各建一条通道**；按本机库选择对应 `channel_id`（建议登记 Binding）。

Binding（多库 / 用户自助时建议登记；登录 JWT 即可，不必管理员权）：

```http
POST /api/v1/admin/sync/bindings
Authorization: Bearer <token>
Content-Type: application/json

{
  "local_database_id": "用户本机库 ID",
  "online_db_id": "线上库 ID",
  "channel_id": "<通道ID>",
  "database_name": "可选，本机库可读名（控制台优先展示）",
  "display_name": "可选，线上库可读名（控制台优先展示）",
  "note": "可选"
}
```

不传可读名时控制台仍显示 id；宇恒有命名库名时建议一并写入，便于 SyncPage「本地库名 ↔ 线上库名」。

```http
GET /api/v1/admin/sync/bindings?local_database_id=...
```

---

## 5. 宇恒侧实现清单

### 5.1 写网关旁路（M1，可无 agent）

对 `insert / update / delete / 写 SQL`：

1. 读模式与白名单。  
2. **未命中**：原路径，响应形状与现网一致（可多字段，不可少成功语义）。  
3. **命中**：  
   - insert：缺 id 或非法 id → **自动补**小写带连字符 UUID；  
   - 写入本机正式库 B；  
   - append outbox（失败只打日志，**不挡保存**）；  
   - `sync_status`：`pending` / `local_only_table` 等仅开通用户可见。  

文案：`需 agent 才上云`（不得暗示已上云）。

### 5.2 Outbox

建议路径（等价即可）：

```text
cache/db_sync/outbox/<local_database_id>/pending.jsonl
```

每条建议字段：

| 字段 | 说明 |
|------|------|
| `id` | outbox 记录 UUID |
| `seq` | 单调版本（如 `time.time_ns()`），作 push 的 `version` |
| `op` | `insert` / `update` / `update_by_id` / `delete` |
| `table_name` | 表名 |
| `row_pk` | 行主键 UUID |
| `payload` | 含 `data` / `update_data` / `where_*` |
| `status` | `pending` |

规则：按 `seq` **保序**消费；失败标记 error 并**停该库后续**，恢复后重试；**禁止**失败后换新 UUID。

### 5.3 本机 Agent（M2）

启用：`YXD_SYNC_AGENT=1` 且 `mode=local_dbsync`。默认可不启。

循环建议：

1. （TTL）拉白名单 → 写本地缓存。  
2. `list_pending` → 逐条 push → 成功 `mark_done` / 失败 `mark_error` 并 break。  
3. 写心跳文件（供 `/sync/status` 展示 `agent.running` / `last_beat`）。  

**拉白名单**

```http
GET /api/v1/agent/sync/channels/{channel_id}/whitelist
Authorization: Bearer <token>
```

响应要点：`tables`、`pk_columns`、`conflict_policy`。

**推单条**

```http
POST /api/v1/agent/sync/channels/{channel_id}/push
Authorization: Bearer <token>
Content-Type: application/json

{
  "table": "orders",
  "op": "insert",
  "row_pk": "aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee",
  "row": {
    "id": "aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee",
    "title": "demo"
  },
  "version": 1710000000000000000,
  "client_outbox_id": "outbox-record-uuid",
  "online_db_id": "用户自助必填（本人 Binding）；管理员/智能体可选"
}
```

| `op` | 平台行为 |
|------|----------|
| `insert` / `update` / `update_by_id` | upsert 到 remote A |
| `delete` | 按 pk 删 A |

幂等：同 `version` 已落地 → 跳过成功（`skipped=true`）。  
LWW：目标更新 → 按通道策略；源端覆盖会记**超管**审计（公司管理员不可见）。  
重复 push（双 drain）正确性由 version 保证；客户端可用 drain 锁减流量，非平台必做。  
remote 暂不可达：`503` + `retryable:true`。

**下行（仅线上 / 灌库 / 补齐）**

```http
POST /api/v1/agent/sync/channels/{channel_id}/bootstrap
Authorization: Bearer <token>
Content-Type: application/json

{
  "table": "orders",
  "after_pk": "",
  "limit": 200,
  "online_db_id": "用户自助必填"
}
```

或 `POST .../pull`，`mode` 取：

| mode | 作用 |
|------|------|
| `bootstrap` | 分页全量（循环至 `has_more=false`） |
| `pks` | 只取 A 主键，本机 diff |
| `rows` | 按 `row_pks` 取行 |

客户端把 `result.items` upsert 进本机 B 时务必 **WithApplying**（或等价），避免回声进 outbox。  
空表：`result.columns` 仍会返回；本机应用其 `CREATE TABLE IF NOT EXISTS`（见下「表结构同步」）。

成功响应示例：

```json
{
  "success": true,
  "result": {
    "ok": true,
    "applied": false,
    "skipped": true,
    "conflict": false,
    "applied_version": 1710000000000000000,
    "message": "already applied (same version)",
    "client_outbox_id": "outbox-record-uuid"
  }
}
```

批量：`POST .../push/batch`，body `{ "items": [ ... ] }`，最多 100，保序遇错即停。

也可设完整 URL：`YXD_SYNC_PUSH_URL=...`（覆盖默认拼装）。

**表结构同步（空表也要建）**

仅靠 outbox 行 push 时，**空表不会出现在线上**（无变更事件）。同步周期应额外：

1. **本机 → 线上**：对本机每张业务表（含 0 行）调用 ensure：

```http
POST /api/v1/agent/sync/channels/{channel_id}/schema/ensure
Authorization: Bearer <token>
Content-Type: application/json

{
  "online_db_id": "用户自助必填",
  "tables": [
    {
      "table": "accounts",
      "pk_column": "id",
      "columns": ["id", "username", "password", "email", "nickname", "status", "created_at", "updated_at"]
    }
  ]
}
```

平台对每张表 `CREATE TABLE IF NOT EXISTS`（列一律 TEXT + 指定 PK）；已存在则跳过。

2. **线上 → 本机**：先拉结构，本机缺表则建空表，再 bootstrap 行：

```http
POST /api/v1/agent/sync/channels/{channel_id}/schema
Authorization: Bearer <token>
Content-Type: application/json

{ "online_db_id": "用户自助必填" }
```

响应 `result.tables[].columns` + `row_count`；对本地缺失表执行 `CREATE TABLE IF NOT EXISTS`（建议 TEXT + PK=`pk_column`）。  
`pull`/`bootstrap` 的 `result.columns` 同样可用于单表建空表。

### 5.4 状态接口（建议）

`GET /database/sync/status`（或你们现有等价路由）对开通用户返回：

- `mode`
- `local_dbsync.whitelist_tables` / `outbox_pending`
- `agent.enabled_flag` / `running` / `last_error`
- `note`：未开通勿强塞同步 UI

---

## 6. UUID 约定

- 标准形式：**小写 + 连字符** `8-4-4-4-12`  
- 入库前 `normalize`；无连字符 32 hex 可规范化  
- 默认建表模板**不要**改成 UUID；只给同步表白名单表用  

SQLite 同步表示例：

```sql
CREATE TABLE IF NOT EXISTS orders (
  id TEXT PRIMARY KEY NOT NULL,
  title TEXT,
  updated_at TEXT NOT NULL DEFAULT (datetime('now'))
);
```

---

## 7. 从旧双写迁入（O7，摘要）

1. 该表先停 `online_primary` 双写。  
2. 观察无残留。  
3. 再进白名单并切 `local_dbsync`。  
4. 装 agent，看 outbox 清空。  
5. **禁止**静默全员迁移；旧客默认不变。  

完整步骤见智建仓：`docs/数据同步-迁移手册.md`。

---

## 8. 联调检查表

### 未开通回归（必过）

- [ ] 不设 `local_dbsync`：插入自增表与现网一致  
- [ ] 无同步强制文案、无强制装 agent  
- [ ] 保存不因同步模块报错失败  

### 开通 + 无 agent

- [ ] 白名单表本地立刻可见（UUID）  
- [ ] outbox 增长；响应提示需 agent 才上云  
- [ ] 非白名单表仍走原路径  

### 开通 + agent

- [ ] 拉白名单成功并缓存  
- [ ] push 后线上 A 出现**同一 UUID**（不双行）  
- [ ] 重复 push 同 version 幂等  
- [ ] agent 停：仍可本地保存；恢复后按序追上  
- [ ] delete 保序，不换新 UUID  

### 冲突

- [ ] 终端**无**冲突处理台  
- [ ] 公司管理员打 conflicts API → 403  
- [ ] 超管可在平台工作台看 LWW 日志 / 回滚  

---

## 9. 智建 API 速查

基址：`{YXD_ONLINE_API_BASE}`，鉴权：`Authorization: Bearer ...`  
- 管理路径：需「数据同步」  
- **用户自助**：登录用户 JWT + 本人 Binding；push 须带 `online_db_id`  
- LWW 仅超管  

| 方法 | 路径 | 谁用 |
|------|------|------|
| GET | `/api/v1/agent/sync/channels/{id}/whitelist` | agent / 用户 JWT |
| POST | `/api/v1/agent/sync/channels/{id}/push` | agent / 用户 JWT |
| POST | `/api/v1/agent/sync/channels/{id}/push/batch` | agent / 用户 JWT |
| POST | `/api/v1/agent/sync/channels/{id}/pull` | agent / 用户 JWT |
| POST | `/api/v1/agent/sync/channels/{id}/bootstrap` | agent / 用户 JWT |
| POST | `/api/v1/agent/sync/channels/{id}/schema` | agent / 用户 JWT（拉线上表结构，含空表） |
| POST | `/api/v1/agent/sync/channels/{id}/schema/ensure` | agent / 用户 JWT（本机空表建到线上） |
| POST | `/api/v1/agent/sync/channels/{id}/pull` | agent / 用户 JWT（下行） |
| POST | `/api/v1/agent/sync/channels/{id}/bootstrap` | 全量灌库别名 |
| GET/POST | `/api/v1/admin/sync/bindings` | 管理员或用户自助 |
| GET | `/api/v1/platform/dbsync/lww-overrides` | 仅超管 |
| POST | `/api/v1/platform/dbsync/lww-overrides/{id}/rollback` | 仅超管 |

OpenAPI：`GET /api/v1/meta/openapi.yaml`

---

## 10. 本地联调最小步骤

1. 智建本机起栈（`.env` 已是本地：`AIJZ_PUBLIC_BASE_URL=http://127.0.0.1:8180`）。  
2. 控制台建通道：`remote` 优先本机 **Postgres**（与平台同实例或独立库均可）；拷贝通道 ID。  
3. 拿 token（管理员登录或智能体 client_credentials）。  
4. 宇恒设：

```bash
YXD_SYNC_MODE=local_dbsync
YXD_SYNC_AGENT=1
YXD_ONLINE_API_BASE=http://127.0.0.1:8180
YXD_SYNC_CHANNEL_ID=...
YXD_SYNC_ACCESS_TOKEN=...
```

5. 对白名单表插一行 → 看本机 B + outbox → agent 推上 A → 比对 UUID。  
6. 多服务器演练：再建第二条通道指向另一 Postgres，换 `CHANNEL_ID` 验证不串库。  

---

## 11. 相关文档（智建仓）

| 文档 | 内容 |
|------|------|
| `松离线-dbsync方案-最终版.md` | 双方冻结方案 |
| `docs/同步表约定.md` | UUID / 接口约定 |
| `docs/数据同步-开通说明.md` | 管理员开通 |
| `docs/数据同步-迁移手册.md` | 旧客迁移 |
| `docs/数据同步-中间件.md` | 平台能力与 API |
| `docs/发版说明-数据同步.md` | 默认无感发版说明 |

---

**分工提醒**：智建只提供平台通道、校验、push/whitelist/Binding/LWW；**写网关、outbox、agent、未开通回归**由宇恒在己方仓库实现，勿改智建仓业务代码。