系统设计-Ch11-设计一个动态推送系统

设计一个动态推送系统

在本章中，您被要求设计一个动态推送系统。动态推送系统系统是在主页中间不断更新的动态消息列表。

动态消息包括状态更新、照片、视频、链接、应用活动以及你关注的人、页面和喜欢的群组。常见的问题有：设计Facebook news feeds， Instagram feed, Twitter timeline等等。

对于”设计一个信息流系统“这个系统设计话题，我们可以向面试官提出以下问题：

设计分为两个流程：Feed Publishing 和 News Feed Building。

动态推送APIs是客户端和服务器通信的主要方式。这些APIs基于HTTP。这里我们讨论两个最重要的API： feed publishing API（新闻发布）和 news feed retrieval API（动态推送检索）

Feed Publishing流程如下：

用户可以在浏览器或手机APP上通过以下API发布内容为"Hello"的动态：
```
/v1/me/feeds? content=Hello & auth_token={auth_token}
```
负载均衡器：将请求按负载均衡策略分配到web服务器上
web服务器：将请求重定向到不同的内部服务
Post Service：将动态在缓存和数据库中持久化
Fanout Service：将新动态推送到朋友的动态推送页面， Newsfeed 数据存储在缓存中以便快速检索
Notification Service：发送通知，通知朋友有新的动态可以查看

News Feed Building流程如下：

下图概述了Feed Publishing的详细设计：

我们主要详细讨论一下这张图中的Web Servers和Fanout Service两个部分。

Web Servers

除了与客户端通信外，Web服务器还要执行身份验证(Authentication)和速率限制)(Rate Limiting)任务。

其实很简单，为了避免垃圾邮件和API滥用，只有携带相应auth_token的用户才能发帖，并且在一段时间内用户的发帖有数量限制。

Fanout service

Fanout 是向所有朋友发送动态的过程，Fanout有两种实现方式：Fanout on write 和Fanout on read，我们将分别介绍其优劣，并探讨选择最适合我们这个系统的实现方式。

Fanout on write

使用Fanout on write这种方式时，动态推送(News Feed)会在编写时预先计算，新动态发布后会立即发送到朋友的缓存中。

优点：

缺点：

Fanout on read

使用Fanout on read这种方式时，动态推送是在阅读期间生成的。这是一种按需模式。当用户加载其主页时，会拉取最新的未读动态。

优点：

缺点：

我们采用一种混合方法来综合这两种方法的优点：

由于快速获取动态推送至关重要，我们为大多数用户使用Fanout on write模式。对于有很多朋友/关注者的用户（比如说：明星），我们允许关注者按需拉取动态推送内容，以避免系统过载。一致性哈希是一种有效的技术，可以缓解热键问题，因为它有助于更均匀地分配请求/数据。

让我们单独把Fanout Service拿出来看一下：

Fanout Service工作原理如下：

从Graph Database中获取好友ID
Graph Database使用图这种数据结构来构建数据库，适用于管理朋友关系和朋友推荐
从用户缓存中获取好友信息，然后系统会根据用户设置过滤掉好友。(例如设置屏蔽某个好友或者此动态不可见)
将好友列表和新帖子ID发送到消息队列Message Queue
Fanout worker从消息队列中获取数据，并将动态数据存储在缓存(News Feed Cache)中
你可以将News Feed Cache视为<post_id, user_id>的映射表，如下图所示：
每当用户发布新的动态时，这条动态都会被附加到这张动态推送表中

下图概述了News Feed Publishing的详细设计：

其中媒体内容(图像、视频等)存储在CDN中，以便快速检索。

让我们看看客户端如何刷新动态：

用户可以在浏览器或手机APP上通过以下API刷新她的动态推送：
```
v1/me/feed
```
负载均衡器：将请求按负载均衡策略分配到web服务器上
web服务器：将请求重定向到动态推送服务News Feed Service，同时包含身份验证和速率限制功能
News Feed Service：从News Feed Cache中获取post ID列表<post_id, user_id>
一个用户的动态不仅仅包含Post ID列表<post_id, user_id>，还包含用户名，个人资料图片，动态的音视频内容等。因此需要从User Cache中获取完整的用户信息，从Post Cache中获取完整的动态内容信息，从而构建完整的动态推送
完整的动态推送以JSON格式返回给客户端进行渲染