摘要: Map Join 实现方式一 ● 使用场景:一个大表(整张表内存放不下,但表中的key内存放得下),一个超大表 ● 实现方式:分布式缓存 ● 用法: SemiJoin就是所谓的半连接,其实仔细一看就是reduce join的一个变种,就是在map端过滤掉一些数据,在网络中只传输参与连接的数据不参与连阅读全文
posted @ 2017-08-13 16:40 小丑进场 阅读(3) 评论(0) 编辑
摘要: Map Join 实现方式一:分布式缓存 ● 使用场景:一张表十分小、一张表很大。 ● 用法: 在提交作业的时候先将小表文件放到该作业的DistributedCache中,然后从DistributeCache中取出该小表进行join (比如放到Hash Map等等容器中)。然后扫描大表,看大表中的每阅读全文
posted @ 2017-08-13 16:30 小丑进场 阅读(5) 评论(0) 编辑
摘要: 在关系型数据库中 Join 是非常常见的操作,各种优化手段已经到了极致。在海量数据的环境下,不可避免的也会碰到这种类型的需求, 例如在数据分析时需要连接从不同的数据源中获取到数据。不同于传统的单机模式,在分布式存储下采用 MapReduce 编程模型,也有相应的处理措施和优化方法。 我们先简要地描述阅读全文
posted @ 2017-08-13 16:20 小丑进场 阅读(57) 评论(0) 编辑
摘要: 很多视频网站都有电视剧热度排名,一般是依据用户在自己站的行为数据所体现出的受欢迎程度来排名。这里有一份来自优酷、爱奇艺、搜索视频等五大视频网站的一份视频播放数据,我们利用这份数据做些有意义的事情。 金婚第一部 3 9851 0 0 0 0金婚第一部 3 9851 0 0 0 0金婚第一部 3 985阅读全文
posted @ 2017-08-12 10:14 小丑进场 阅读(107) 评论(0) 编辑
摘要: 今天我们来用docker-compose 快速安装一个Django+PostgreSQL的开发环境。 Compose简介 Compose 定位是“defining and running complex applications with Docker”,前身是 Fig,兼容 Fig 的模板文件。 阅读全文
posted @ 2017-06-10 11:07 小丑进场 阅读(221) 评论(0) 编辑
摘要: 一、Docker是什么? KVM, Virtualbox, Vmware是虚拟出机器,让每个实例看到一个单独的机器;而Docker是虚拟出操作系统,实现应用之间的隔离,让各个应用觉得自己有一个自己的操作系统,而且彼此之间隔离。假设没有Docker,然后有进程1和进程2,它们的运行将类似下图,进程1和阅读全文
posted @ 2017-06-08 15:12 小丑进场 阅读(30) 评论(0) 编辑
摘要: Python的WEB框架有Django、Tornado、Flask 等多种,Django相较与其他WEB框架其优势为:大而全,框架本身集成了ORM、模型绑定、模板引擎、缓存、Session等诸多功能。 本文将以下方面带大家全面了解Django框架,笔者使用的版本为1.10. 流程 一、 Django阅读全文
posted @ 2017-05-31 14:40 小丑进场 阅读(547) 评论(2) 编辑
摘要: 原题 Given a binary tree, return the zigzag level order traversal of its nodes' values. (ie, from left to right, then right to left for the next level a阅读全文
posted @ 2017-05-25 11:22 小丑进场 阅读(10) 评论(0) 编辑
摘要: 原题 Given a binary tree, return the level order traversal of its nodes' values. (ie, from left to right, level by level). For example:Given binary tree阅读全文
posted @ 2017-05-25 10:20 小丑进场 阅读(5) 评论(0) 编辑
摘要: 原题 求二叉树的最大路径和 Given a binary tree, find the maximum path sum. For this problem, a path is defined as any sequence of nodes from some starting node to 阅读全文
posted @ 2017-05-23 09:28 小丑进场 阅读(12) 评论(0) 编辑