符合中小企业对网站设计、功能常规化式的企业展示型网站建设
本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...
商城网站建设因基本功能的需求不同费用上面也有很大的差别...
手机微信网站开发、微信官网、微信商城网站...
困扰了自己1周的一个问题终于得到解决了,感谢给我帮助的同学,同时记录下来分享给大家.
在凤台等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供成都网站制作、做网站 网站设计制作按需策划,公司网站建设,企业网站建设,品牌网站设计,成都全网营销,外贸网站建设,凤台网站建设费用合理。
问题简化描述:
HDFS存在这样格式的文件:用户ID 主题ID 用户对此主题的偏好分数score。
现在要求实现对给定的几个主题T1,T2,T3,...TN,每个主题要求筛选出指定数量的用户ID是M1,M2,M3,...MX。
希望尽可能根据score来选出偏好的用户ID,并且主题之间的用户ID不可以重复。
另外HDFS上distinct的用户ID数量是大于等于M1+M2+M3+...+MX的。
思路分析:
问题有几个关键点,第一,不重复,第二,数量上要满足,第三,偏好分数score。
如何保证,主题之间的用户不重复呢?
其实就是完成,一个用户只能属于一个主题的过程,当然,我们可以很简单的对一个用户下的所有偏好分数进行排序,取出最偏好的主题。
虽然这样避免了重复的问题,可是问题来了,如果偏好主题T1要求的数量是100W,而仅仅只有90W的用户ID对T1最偏好,这该如何补数呢?又如何通过程序来自动化的实现这个过程呢?越想越复杂!
这个问题好像有点类似于高考填自愿的问题,我们每一个人会填写几个志愿,但是我们终究只会被一个院校录取,这是怎么做到的呢?是否可以从中借鉴呢?
首先,我们根据HDFS的内容,写一个MapReduce完成一次计算,形成下面的用户志愿HDFS内容:
用户ID 主题ID-A:score1;主题ID-B:score2;...
很简单,希望得到一个用户ID下面按照score desc排序的主题列表,上面一行其实就是说:
用户ID的第一志愿是主题A,第二志愿是主题B...。
------------------------------------------
接下来,形成下面的一个列表list信息:
主题A count-A
主题B count-B
主题C count-C
...
按照主题需要的用户ID的数量进行ASC排序。
------------------------------------------
下面,我们就来看如何进行主题选择用户的过程:
我们首先选择对数量要求最少的主题A完成下面的MapReduce计算:
这样,我们就完成了主题A的用户筛选问题。
接下来,我们取出list中数量要求比A多一点的主题B,那么它怎么取用户呢?
很简单,我们只需要在MAP处理阶段,传递主题A生成的结果HDFS路径(路径下面的文件内容当然是主题A的用户)用于reduce阶段取用户时进行过滤。
那么,主题C又如何取用户呢?
类似的,只需要给MAP多传递主题A,主题B已经占用的用户信息用于过滤,其他处理操作不变!
其实,我们可以发现,上面的MapReduce其实可以是一个通用的程序,类似于COMMAND:
hadoop jar XXX.jar 主题ID 数量 [input1,input2,input3,...] 用户志愿HDFS路径 输出路径
其中input1,input2,input3,...是可选的,其实就是用于用户过滤的。
最后,我们可以写一个Shell脚本,根据list的内容来进行重复调用上面的COMMAND,通过传递不同的参数信息达到目的,这样我们就可以自动化实现上面的要求了!