< 文档首页
全部产品
弹性计算
存储服务
数据库
网络
视频与CDN
域名与网站
工商财税 知识产权
应用服务
互联网中间件
移动研发平台EMAS
移动研发平台EMAS-专有云
云通信
安全
大数据
人工智能
ET大脑
物联网
物联网行业方案
数字金融
管理与监控
云市场
API与工具
解决方案
钉钉
会员服务
更多

    社交行业

    更新时间：2018-08-13 21:05:09

    ★ 我的收藏
    本页目录

    简述

    在社交领域之中，有很多数据的存储，使用数据的形态也多种多态。目前主流的社交都会带推荐模块的，也就是会把新闻/消息/短文 推动给合适的人，也会考虑地理位置的信息。本文简述社交类的基本架构，考虑的一些因素。细节点会在不同的社交类场景之中，有一定的优化，但是大同小异，基本架构如下：

    社交领域的基本架构及流程流

    社交基本架构

    上图是社交领域的基本架构，分为以下基本部分

    客户登录及发帖及看帖

    • 客户登录后，系统会记录位置信息，位置信息 GeoHash处理后，可以存在 云HBase 之中
    • 客户可以 发帖子，此块帖子可以写到 云HBase 之中，发完之后，也可以立即写到推荐之中，自己可以看到自己发的帖子
    • 客户浏览帖子，系统记录 客户看过的帖子的信息，把浏览记录 写到 云HBase 之中，以备后续 分析 反馈给 用户特性 - 用户画像 模块

    会有 帖子/新闻 的表，量也比较大，一般在1T-1P左右。

    用户特性 - 用户画像

    • 用户注册后，会选择感兴趣的特征，此块数据会形成最初的用户特性
    • 用户浏览信息后，会有浏览的历史记录，会写到 云HBase之中
    • 晚上会启动 spark 或者 用户写的code 分析用户的历史记录，修正用户的标签画像

    最终会形成一张 用户特性 - 用户画像表

    推荐及Feeds流

    一般有两个模型，分表为 推模型，拉模型 ，最主要是以帖子为维度还是以 查询的 人为维度。推模型 是 写放大的，拉模型是读放大的。 HBase基于LSM，比较适合推模型

    • 当帖子或者文章产生后，会写一份到 云HBase 存储上
    • 再同时会计算，帖子的属性，分析帖子的归类，提取 特征值
    • 根据 帖子的特征值与 用户特性 - 用户画像，把匹配的用户写入 到 推送的表之中。此块 根据不同的业务，可能涉及的逻辑比较复杂，比如加入 位置的因素 、 权重 、好友关注的列表 、把不活跃的客户剔除。

    会形成一张 帖子推荐表，数据量比较大，大约1T到100T左右。会有过期时间，一般在3天-4天左右。

    对于大V或者写运营普发的信息，可以采取拉模式，可以显著减少写放大。一般实际的业务是 推模型 与 拉模型 混合使用

    帖子新闻查询

    • 用户打开APP，可以查询最近推荐的信息
      • 对于 大V 或者 运营推送的信息，可以单独链路查询
      • 查询 帖子推荐表，查询出所属的帖子ID后，再查询实际的帖子信息，这部分一般在 redis 或者 CDN之中有缓存，没有命中，可以查询到 业务库 云HBase 之中

    基于位置的推荐人

    • 可以基于存的客户位置的信息，推荐边上 兴趣相投的人
      • 基于地理信息，查询边上所有的客户，再查询画像表，找个兴趣相投的人，再推荐
    上一篇：金融行业
    下一篇：WebUI页面访问
    相关文档
    相关产品
    • 云数据库 HBase
      云数据库 HBase 版（ApsaraDB for HBase）是基于 Hadoop 的一个分布式数据库，支持海量的PB级的大数据存储，适用于高吞吐的随机读写的场景。目前在阿里内部有数百个集群，10000台左右规模的集群，服务数百个业务线，在订单存储、消息存储、物联网、轨迹、wifi、安全风控、搜索等领域有较多的在线应用。 阿里云特别提供HBase产品化方案服务广大的中小型客户。
    • E-MapReduce
      阿里云 Elastic MapReduce（E-MapReduce） 是一种大数据处理的系统解决方案。构建于阿里云云服务器 ECS 上，基于开源的 Apache Hadoop 和 Apache Spark，让用户可以方便地使用 Hadoop 和 Spark 生态系统中的其他周边系统（如 Apache Hive、Apache Pig、HBase 等）来分析和处理自己的数据。用户还可以通过 E-MapReduce 将数据非常方便的导入和导出到阿里云其他的云数据存储系统和数据库系统中，如阿里云 OSS、阿里云 RDS 等。
    • 时序时空数据库 TSDB
      时序时空数据库产品系列是是广泛应用于物联网（IoT）设备监控系统 ，企业能源管理系统（EMS），生产安全监控系统，电力检测系统等行业场景的专业数据库产品，提供百万高效写入，高压缩比低成本存储、预降采样、插值、多维聚合计算，查询结果可视化功能；解决由于设备采集点数量巨大，数据采集频率高，造成的存储成本高，写入和查询分析效率低的问题。目前提供：时序数据库 TSDB ，时序数据库 InfluxDB®，时序数据库 Promethues® 和时空数据库 4个产品类型。