Please enable JavaScript.

Coggle requires JavaScript to display documents.

Big Data - Coggle Diagram

- - - - 数据采集
        
        终端类型
        
        Web端
        
        移动App
        
        IoT设备
        
        游戏平台
        
        采集点示例
        
        页面滚动深度、按钮悬停时间
        
        手势操作（双指缩放）、陀螺仪数据
        
        智能音箱语音交互中断次数
        
        角色移动轨迹、技能释放频率
        
        技术方案
        
        JavaScript埋点 + 浏览器事件监听
        
        埋点
        
        方式
        
        代码埋点
        
        全埋点
        
        可视化埋点
        
        平衡数据精度与开发成本
        
        客户端SDK（如Firebase Analytics）
        
        MQTT协议实时传输
        
        Unity Analytics插件
        
        日志存储
      - 交互数据处理
        
        数据清洗
        
        去重：同一用户1秒内重复点击仅保留首次
        
        补全：通过UserAgent解析缺失的设备类型
        
        转换：将GPS坐标(WGS84)转换为地理围栏编码
        
        是否需要实时数据
        
        实时处理技术栈
        
        Flink处理（计算实时点击率）
        
        离线数仓（Hive）
      - 数据分析
        
        交互数据
        
        定义：用户与数字界面产生的双向动态数据流
        
        显性交互：点击、滑动、输入等主动操作
        
        隐性交互：光标移动轨迹、页面停留热区、视频暂停点
        
        环境交互：设备旋转角度、环境光照强度（影响显示偏好）
        
        分析层级
        
        预测分析
        
        分析方法矩阵
        
        分析维度
        
        注意力分布
        
        交互效能
        
        行为路径
        
        1 more item...
        
        手势模式
        
        技术手段
        
        Markov链模型
        
        1 more item...
        
        动态时间规整(DTW)算法
        
        卷积神经网络（CNN）热力图分析
        
        Fitts' Law计算操作效率
        
        商业应用场景
        
        优化用户操作流程（如注册转化率提升）
        
        游戏技能释放教学优化
        
        广告位布局策略调整
        
        按钮大小与间距优化
        
        进阶分析
        
        用户分群
        
        基础分析
        
        统计报表
      - 挖掘行为模式与潜在需求
        
        行为模式挖掘
        
        潜在需求挖掘
        
        NLP与语义分析
        
        主题模型（LDA）
        
        词向量（Word2Vec、BERT）
        
        知识图谱（KG）
        
        强化学习（RL）
        
        迁移学习与跨域推荐
  - - - 用户-物品交互矩阵
        
        相似用户偏好推荐
        
        适用于商品/内容推荐
    - - 时间戳排序的行为序列
        
        下一个可能行为预测
        
        流失预警
    - - 用户-行为-物品异构图
        
        潜在关联路径发现
        
        社交推荐
  - - - 内容特征提取
        
        文本内容
        
        图像/视频内容
        
        结构化属性
      - 特征表示与匹配
        
        特征向量化
        
        相似度计算
        
        排序优化
      - 问题与挑战
        
        特征质量依赖
        
        引入用户行为反馈（如点击/跳过）动态优化匹配模型
        
        语义鸿沟问题
        
        使用跨模态预训练模型（如CLIP、Florence）建立统一表征空间
        
        多模态融合难题
        
        结合无监督特征提取（如BERT自动编码文本语义）减少人工干预
        
        长尾内容覆盖不足
        
        结合知识图谱扩展关联特征（如通过作者、流派关联长尾内容）
        
        个性化与多样性的平衡
        
        在匹配模型中引入多样性约束（如最大边际相关度算法MMR
  - - - 用户冷启动：新用户无行为记录（如注册后首次登录）
      - 物品冷启动：新物品未被用户交互（如新上架商品、新发布视频）
      - 系统冷启动：全新推荐系统无任何用户和物品数据