大名潘建锋，小名嘛，好像也没有。生在潮汕，长在潮汕，平平静静生活，普普通通生长，偶有微澜，不提也罢；
糊里糊涂去了武汉上大学，似懂非懂选了计算机专业。

混迹过潮汕、武汉、深圳，如今来到了北京做一只呆萌的后台程序猿，变成了北漂。每天工作的时候就写写业务代码，业余的时候呢就写写自己喜欢的代码，然后读读书、跑跑步、看看动漫、拍拍照、听听歌，致力于让自己的生活变得精致且快乐，脚踏实地的同时，偶尔也仰望一下星空。

本文将基于 Linux 平台来解析 Go netpoll 之 I/O 多路复用的底层是如何基于 epoll 封装实现的，从源码层层推进，全面而深度地解析 Go netpoll 的设计理念和实现原理，以及 Go 是如何利用netpoll来构建它的原生网络模型的。主要涉及到的一些概念：I/O 模式、用户/内核空间、epoll、Linux 源码、goroutine scheduler 等等，我会尽量简单地讲解，如果有对相关概念不熟悉的同学，还是希望能提前熟悉一下。

整理了一份书单，有计算机领域的和我个人业余看过并且喜欢的书籍，和大家分享一下。

精品国漫之 2D 篇，国产动画近几年的作品如雨后春笋般涌现，在这里我挑选了个人认为相对来说比较优秀的几部，一一介绍。

算法问题描述：

世界名画陈列馆问题。世界名画陈列馆由 m× n 个排列成矩形阵列的陈列室组成。为了防止名画被盗，需要在陈列室中设置警卫机器人哨位。每个警卫机器人除了监视它所在的陈列室外，还可以监视与它所在的陈列室相邻的上、下、左、右 4 个陈列室。试设计一个安排警卫机器人哨位的算法，使得名画陈列馆中每一个陈列室都在警卫机器人的监视之下，且所用的警卫机器人数最少。

算法问题形式化表示

本问题的 m*n 的陈列室的解可表示如下图所示。其中 1 代表在该陈列室设置警卫机器人哨位，0 表示未在该陈列室设置警卫机器人哨位。

最为极端的情况是所有元素的值为 1。那什么情况下是最优解呢？就是设置警卫机器人哨位数最少即为最优。因为每个矩阵中的值都可以为 1 或 0，有 m*n 个元素，有 种可能满足约束条件的矩阵，要从 种可能中遍历找到满足约束条件的 1 的个数最小的矩阵。由此可见这是一个 NP 问题。这里的约束条件就是当某一个元素为 1 时，相邻的 4 个方向上的

Dijkstra 算法是典型的算法。Dijkstra 算法是很有代表性的算法。Dijkstra 一般的表述通常有两种方式，一种用永久和临时标号方式，一种是用 OPEN, CLOSE 表的方式，这里均采用永久和临时标号的方式。注意该算法要求图中不存在负权边。 　　 　　

摘要： MapReduce 框架对处理结果的输出会根据 key 值进行默认的排序，这个默认排序可以满足一部分需求，但是也是十分有限的。在我们实际的需求当中，往往有要对 reduce 输出结果进行二次排序的需求。对于二次排序的实现，网络上已经有很多人分享过了，但是对二次排序的实现的原理以及整个 MapReduce 框架的处理流程的分析还是有非常大的出入，而且部分分析是没有经过验证的。本文将通过一个实际的 MapReduce 二次排序例子，讲述二次排序的实现和其 MapReduce 的整个处理流程，并且通过结果和 map、reduce 端的日志来验证所描述的处理流程的正确性。

概述

MapReduce 框架对处理结果的输出会根据 key 值进行默认的排序，这个默认排序可以满足一部分需求，但是也是十分有限的。在我们实际的需求当中，往往有要对 reduce 输出结果进行二次排序的需求。对于二次排序的实现，网络上已经有很多人分享过了，但是对二次排序的实现的原理以及整个 MapReduce 框架的处理流程的分析还是有非常大的出入，而且部分分析是没有经过验证的。本文将通过一个实际的 MapReduce 二次排序例子，讲述二次排序

网络爬虫是捜索引擎抓取系统的重要组成部分。爬虫的主要目的是将互联网上的网页下载到本地形成一个或联网内容的镜像备份。这篇博客主要对爬虫以及抓取系统进行一个简单的概述。

摘要： ​尽管 Hadoop 框架是用 Java 写的，但是 Hadoop 程序不限于 Java，可以用 python、C++、Ruby 等。本例子中直接用 python 写一个 MapReduce 实例，而不是用 Jython 把 python 代码转化成 jar 文件。

例子的目的是统计输入文件的单词的词频。

• 输入：文本文件
• 输出：文本（每行包括单词和单词的词频，两者之间用'\t'隔开）

Python MapReduce 代码

使用 python 写 MapReduce 的“诀窍”是利用 Hadoop 流的 API，通过 STDIN(标准输入)、STDOUT(标准输出)在 Map 函数和 Reduce 函数之间传递数据。
我们唯一需要做的是利用 Python 的 sys.stdin 读取输入数据，并把我们的输出传送给 sys.stdout。Hadoop 流将会帮助我们处理别的任何事情。

Map 阶段：mapper.py

在这里，我们假设把文件保存到 hadoop-0.20.2/test/code/mapper.py

#!/usr/bin/env python
import sy

数据去重：
数据去重，只是让出现的数据仅一次，所以在 reduce 阶段 key 作为输入，而对于 values-in 没有要求，即输入的 key 直接作为输出的 key，并将 value 置空。具体步骤类似于 wordcount：

Tip：输入输出路径配置。

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.m

摘要： 两阶段归并排序算法是数据库查询的一个基础技术，在数据库应用中，常常采用“两阶段多路归并排序算法”来解决对海量数据的排序问题（这里的海量数据是指数据大小远远超过了数据库可用的主存的大小，无法将所有数据一次性的载入主存进行排序）。

前言

基于斯坦福大学的《数据库系统实现》，实现两阶段多路归并排序算法，通过 merge-sort 算法的实现，理解外存算法所基于的 I/O 模型与内存算法基于的 RAM 模型的区别；理解不同的磁盘访问优化方法是如何提高数据访问性能的。

首先生成一个具有 10,000,000 个记录的文本文件，其中每个记录由 100 个字节组成。实验只考虑记录的一个属性 A，假定 A 为整数类型。记录在 block 上封装时，采用 non-spanned 方式，即块上小于一个记录的空间不使用。Block 的大小可在自己的操作系统上查看，xp 一般为 4096 bytes。在内存分配 50M 字节的空间用于外部 merge-sort。要求设计和实现程序完成下列功能：

1. 生成文本文件，其中属性 A 的值随机产生。
2. 对文本文件中的记录，按照属性 A 进行排序，其中在第二阶段的排序中每个子列表使用一

Tornado 和 Celery 介绍

1.Tornado

Tornado 是一个用 python 编写的一个强大的、可扩展的异步 HTTP 服务器，同时也是一个 Web 开发框架。tornado 是一个非阻塞式 Web 服务器，其速度相当快。得利于其非阻塞的方式和对 epoll 的运用，tornado 每秒可以处理数以千计的连接，这意味着对于实时 Web 服务来说，tornado 是一个理想的 Web 框架。它在处理严峻的网络流量时表现得足够强健，但却在创建和编写时有着足够的轻量级，并能够被用在大量的应用和工具中。
进一步了解和学习 tornado 可移步：tornado官方文档

2.Celery

Celery 是一个简单、灵活且可靠的，处理大量消息的分布式系统，它是一个专注于实时处理的任务队列， 同时也支持任务调度。Celery 中有两个比较关键的概念：

• Worker: worker 是一个独立的进程，它持续监视队列中是否有需要处理的任务；
• Broker: broker 也被称为中间人或者协调者，br

什么是协程(coroutine)

这东西其实有很多名词，比如有的人喜欢称为纤程(Fiber)，或者绿色线程(GreenThread)。其实最直观的解释可以定义为线程的线程。有点拗口，但本质上就是这样。

我们先回忆一下线程的定义，操作系统产生一个进程，进程再产生若干个线程并行的处理逻辑，线程的切换由操作系统负责调度。传统语言 C++ Java 等线程其实与操作系统线程是 1:1 的关系，每个线程都有自己的 Stack, Java 在 64 位系统默认 Stack 大小是 1024KB，所以指望一个进程开启上万个线程是不现实的。但是实际上我们也不会这么干，因为起这么多线程并不能充分的利用 CPU，大部分线程处于等待状态，CPU 也没有这么核让线程使用。所以一般线程数目都是 CPU 的核数。

这是我在 2018 年 10 月份从腾讯离职时所写的一篇感悟文章，最早发表在个人公众号里，重新整理了一下发表在我的个人博客这里。

并发（并行），一直以来都是一个编程语言里的核心主题之一，也是被开发者关注最多的话题；Go 语言作为一个出道以来就自带 『高并发』光环的富二代编程语言，它的并发（并行）编程肯定是值得开发者去探究的，而 Go 语言中的并发（并行）编程是经由 goroutine 实现的，goroutine 是 golang 最重要的特性之一，具有使用成本低、消耗资源低、能效高等特点，官方宣称原生 goroutine 并发成千上万不成问题，于是它也成为 Gopher 们经常使用的特性。

Goroutine 是优秀的，但不是完美的，在极大规模的高并发场景下，也可能会暴露出问题，什么问题呢？又有什么可选的解决方案？本文将通过 runtime 对 goroutine 的调度分析，帮助大家理解它的机理和发现一些内存和调度的原理和问题，并且基于此提出一种个人的解决方案 — 一个高性能的 Goroutine Pool。