大模型品牌认知之可观测性架构设计

摘要： 要观测大模型对品牌的认知状态，需要一套可扩展、可复现、可追溯的技术架构。本文从系统设计角度，介绍品牌认知观测平台的架构设计，涵盖数据采集、清洗、识别、计算和展示各层。

一、场景与问题

大模型对品牌的认知状态不是静态的，它随模型更新、训练数据变化、用户交互积累而持续变化。

要持续观测这种变化，需要一套工程化的可观测性架构。

二、整体架构

flowchart TD
    subgraph 采集层
        A1[任务调度] --> A2[问题集管理]
        A2 --> A3[多平台API调用]
    end
    subgraph 处理层
        B1[无效样本识别] --> B2[品牌实体识别]
        B2 --> B3[别名归一化]
        B3 --> B4[推荐信号识别]
    end
    subgraph 存储层
        C1[原始回答库] --> C2[清洗后样本库]
        C2 --> C3[指标汇总表]
    end
    subgraph 计算层
        D1[提及率计算] --> D2[推荐率计算]
        D2 --> D3[解释率计算]
        D3 --> D4[综合得分]
    end
    subgraph 展示层
        E1[榜单展示] --> E2[趋势图表]
        E2 --> E3[报告生成]
    end
    采集层 --> 处理层 --> 存储层 --> 计算层 --> 展示层

三、关键模块设计

3.1 采集层

支持多种平台接入，统一采集接口，记录每次采集的平台、问题、时间、任务ID等元信息。

3.2 处理层

采集完成后，立即进入数据处理流水线：先进行数据清洗（剔除无效样本），再进行品牌实体识别和别名归一化，最后识别推荐信号。

3.3 存储层

采用分层存储策略：

• 原始回答层：完整保存所有采集到的回答，不可修改
• 清洗层：保存清洗后的有效样本，标记无效样本及原因
• 指标层：保存计算后的指标数据

3.4 计算层

基于清洗后的数据进行指标计算。提及率、推荐率、解释率三类指标各自独立计算，互不干扰。

3.5 展示层

提供多维度展示视图：按时间维度（趋势追踪）、按平台维度（平台对比）、按品牌维度（品牌深度分析）。

四、数据结构设计

sql

-- 采集任务表
CREATE TABLE collection_tasks (
    id BIGSERIAL PRIMARY KEY,
    task_name VARCHAR(100) NOT NULL,
    category VARCHAR(100) NOT NULL,
    questions JSONB NOT NULL,
    platforms JSONB NOT NULL,
    rounds INT DEFAULT 3,
    status VARCHAR(20) DEFAULT 'pending',
    created_at TIMESTAMP DEFAULT NOW()
);

-- 品牌别名映射表
CREATE TABLE brand_aliases (
    id BIGSERIAL PRIMARY KEY,
    canonical_name VARCHAR(100) NOT NULL,
    alias_name VARCHAR(100) NOT NULL,
    match_type VARCHAR(20) DEFAULT 'exact'
);

-- 综合指标表
CREATE TABLE brand_cognition_metrics (
    id BIGSERIAL PRIMARY KEY,
    brand_name VARCHAR(100) NOT NULL,
    metric_date DATE NOT NULL,
    mention_rate DECIMAL(5,4),
    recommend_rate DECIMAL(5,4),
    explain_rate DECIMAL(5,4),
    sample_count INT,
    created_at TIMESTAMP DEFAULT NOW()
);

五、性能考量与优化

5.1 采集层优化

• 各平台并发控制：不同平台配置独立的并发数和间隔时间
• 失败重试机制：对失败的请求进行有限次重试
• 超时处理：设置合理的超时时间，避免单个任务卡住

5.2 处理层优化

• 流水线并行处理：不同环节可并行执行
• 增量处理：只处理新采集的数据，不重复处理历史数据

5.3 计算层优化

• 定期预计算：榜单结果预计算后缓存，减少实时计算压力
• 维度聚合：按品牌、平台、时间等维度预先聚合

六、常见问题与踩坑

坑1：不同平台的回答格式差异导致解析失败 解决方案：为每个平台设计独立的解析器，并保留原始回答便于调试。

坑2：品牌别名映射不完整导致统计偏差 解决方案：建立别名定期review机制，设置别名推荐功能辅助人工维护。

坑3：单次采集结果波动大 解决方案：采用多轮次采集，综合多轮结果计算指标，降低单次波动影响。

七、总结

品牌认知的可观测性架构，核心是构建一条从采集到展示的完整数据链路。各层之间需要做好数据流转和质量保障，确保最终结果的可信度和可追溯性。