本帖最后由 monicazhang 于 2020-12-10 12:10 编辑
背景
今天来讨论一下搜索和推荐系统直接的关系。 搜索的第一反应是啥:百度。搜索要解决的事情是快速找到用户想要的东西,重点是快速,准确。往往每一次的搜索都是一个短暂的过程。人们需要搜索,但是不会迷恋搜索。这也就是百度最近几年在大力推广手机百度app已经feed流的原因,搜索逐步走向推荐。
推荐的第一反应是啥:抖音,快手。主动给用户返回一些感兴趣的东西,搜索功能逐步弱化。
搜索是以百度、谷歌为代表的PC时代的霸主,而推荐是当下以抖音,快手短视频为代表的巨头。二者之前的关联在哪里,为什么人们会逐渐从搜一搜转向了刷一刷。更加重点的是从SRE角度来看应该如何来保障,并区分侧重点。
人们会朝着自己简易的东西去选择,越简单越好,所以最近今年以推荐为主的公司会发展的非常快,而以搜索为主的公司会面临一些瓶颈。
无论是搜索和推荐,都离不开 。搜索和推荐都是为人找信息,而 是为信息找人。
为什么会从搜索逐步转向推荐,其实重点是两点,第一是及时反馈,第二是简单快捷;搜索是有目的的查找东西,而推荐是漫无目的的发现喜好的东西。
整体联系
搜索引擎架构:
sunxianghuang/article/details/86009982 jishu/section-2
这里可以看到自然语言的处理和倒排索引是搜索依赖的两大核心,建库,传库,最终提供线上服务。
推荐系统架构: 推荐系统中召回和排序是推荐系统中算法的核心部分。
整体位置
图片来自极客时间
相同点在于:需要提前做好用户日志的处理提取,都会经历,物料处理,召回,排序,给用户吐出结果。
不同点在于:搜索会更加注重自然语言的处理,切词,分词;而推荐则会更加重视视频的内容的分析;推荐以人为主,物为辅;搜索更加在于人为辅;物为辅助;不同人推荐出来的内容会更加个性化,而搜索出来的词需要更加精确化。
运维保障侧重点
作为SRE来说不用一味追求理解其中深入的算法,但是需要理解其背后的联系,整体的架构,已经如何合理的运维和保障。
1 流量的变化
对于搜索来说当系统有问题的时候,流量会出现一个下降的趋势,因为用户搜不到结果,或者结果是一个错误结果用户可能就会离开。
对于推荐系统来说,比如快手和抖音其实是一个相反的态势,如果推荐不准确,用户的体验是看到的视频不是我想看的,但是不是出现看不到视频的情况,就会往下刷。流量会呈现一个上升态势。
2 时效性要求
对于搜索来说一个热点的事件或者链接的更新,需要要求搜索系统能快速的更新,防止出现死链的情况出生。要求的往往都是最新的。另外cdn里面搜索会缓存一些热点图片和视频,但是搜索的大部分还是文字,这些是需要快速更新的所以也不适合做缓存。
但是对于推荐系统来说,虽然对时效性要求也很高,但不是一个强制的,比如视频很热往往会联系出现好多天,如果还有人重新发布的话,这个又会变热。所以搜索对时效性的要求要比推荐高很多,但是肯定是时效性越高效果会越准确。比如很热的视频都是在cdn缓存,因为这些视频一旦推出去就不会有更新的操作。
3 降级的侧重点
对于搜索来说降级预案是什么?减少返回结果,但是准确性是需要保障的。搜索降级思路减少结果,保障准确,屏蔽 ,返回快照等等。
对于推荐系统比如抖音来说,降低作品质量,但是数量是要保证,一旦用户滑倒视频断了就会爆发一个非常大的舆情事件。推荐降级思路,去掉实时推荐,使用个性化缓存,去掉个性化推荐,使用默认列表,去掉 。
搜索降级是要保障准确性,而推荐的降级是要保证不断流。
|