photo-go

README

美女写真图爬虫 Golang 版

其他版本

• photo-asyncio 版
• photo-gevent 版

goroutine

最近发现 Golang 其实也是一门很有趣的语言，goroutine 并发模式很特别，所以决定拿个爬虫来试试。觉得还是拿妹子爬虫来试可能比较好一点，毕竟兴趣是最好的老师...

goroutine pool 使用了 workerpool 第三方库，该库介绍如下。

Concurrency limiting goroutine pool. Limits the concurrency of task execution, not the number of tasks queued.

构建运行

运行项目

$ git clone https://github.com/chenjiandongx/photo-go.git
$ cd photo-go
$ go get
$ go run core.go

图片数据

图片地址数据保存在了 data.txt，共 17w+ 张照片，图片的数据是我从 mmjpg 和 mzitu 里提取出来的。

$ wc -l data.txt
178075 data.txt

运行效果

License

MIT ©chenjiandongx