最新 | 最热门 | 最高评价

+0  如何抓取汽车之家的车型库

Tag: Technical | Python
老王 发于 2017年02月01日 19:44 | 点击: 559 | 展开摘要
实际上,关于「如何抓取汽车之家的车型库」,我已经在「使用 Mitmproxy 分析接口」一文中给出了方法,不过那篇文章里讲的是利用 API 接口来抓取数据,一般来说,因为接口不会频繁改动,相对 WEB 页面而言更稳定,所以通常这是数据抓取的最佳选择,不过利用 API 接口来抓取数据有一些缺点,比如有的数据没有 API 接口,亦可能虽然有 API 接口,但是数据使用了加密格式,此时只能通过 WEB 页面来抓取数据。

既然要通过 WEB 页面来抓取数据,那么就不得不提到 Scr

查看全文: http://www.udpwork.com/item/16084.html

+0  自动打Tag杂记

Tag: Technical | Python
老王 发于 2017年01月07日 18:00 | 点击: 579 | 展开摘要
给一段文字标记 Tag 是一个很常见的需求,比如我每篇博客下面都有对应的 Tag,不过一般说来,Tag 是数据录入者人为手动添加的,但是对大量用户产生的数据而言,我们不能指望他们能够主动添加合适的 Tag,于是乎就产生了这样的需求:自动打 Tag。

实际上这已经属于 NLP 高大上的范畴了,不是我这种非科班出身的人所能掌控的。好消息是百度和腾讯都有 NLP 平台可供选择,坏消息是免费版的 API 配额极其有限。如果不差钱的话,直接选择 NLP 平台无疑是最方便的,不过对我来

查看全文: http://www.udpwork.com/item/16053.html

+0  Python里使用zbar识别二维码

Tag: 我的代码 | 我的分享 | python | qrcode
Xiaoxia 发于 2015年11月05日 04:55 | 点击: 2065 | 展开摘要
今天研究数据库里的微信群二维码图片,很多人上传的图片并不是正确的群二维码,而是个人微信、公众号或者是一个手机充值流量的入口。为了把这些不合格的二维码挑选出来,只能一个个识别了。找了网上一些接口的,测试了一下不但限制频率为一秒2个,还很多识别不出来,看报错用的是zxing这个库,最后只能想其他方法。

在CentOS7上安装了zbar,没有找到el7的rpm,只好自己编译。研究出编译时使用一些参数可以避免安装一些不必要的包。为了virtualenv里的python能用,编译时候

查看全文: http://www.udpwork.com/item/14742.html

+0  Ubuntu更新、Python和R软件包安装、和Firefox下载插件演示

Tag: Linux | Python | Technology
Haidong Ji 发于 2015年05月06日 11:39 | 点击: 1686 | 展开摘要
视频演示:

1. 怎么更新Ubuntu Linux;

sudo apt-get update

sudo apt-get upgrade

sudo apt-get install build-essential

2. 怎么安装Python包;

sudo apt-get install python-pip

sudo apt-get install python-dev

sudo pip install numpy

sudo pip install

查看全文: http://www.udpwork.com/item/14186.html

+0  Python 二进制, 十进制, 十六进制之间转换

Tag: Python
ideawu 发于 2015年04月23日 15:43 | 点击: 1017 | 展开摘要
bin()
hex()
ord()
chr()
0x12
0b1001

Related posts:
开始学习 Python

Python logging 标准配置

Windows Python select标准输入输出

Cpy是如何打败Python的

使用Python POST任意的HTTP数据以及使用Cookie

查看全文: http://www.udpwork.com/item/14097.html

+0  如何安装xsscrapy

Tag: Technical | Python
老王 发于 2014年10月30日 17:03 | 点击: 1539 | 展开摘要
我不想攻击别人,但我更不想被别人攻击。于是乎安全扫描变得格外重要,如此才能防患于未然,xsscrapy 就是这样一个漏洞检测工具。

既然这个工具是用 Python 写的,那么理论上安装应该是一件非常简单的事情:

shell> git clone https://github.com/DanMcInerney/xsscrapy
shell> cd xsscrapy
shell> pip install -r requirements.txt

不过我的服务

查看全文: http://www.udpwork.com/item/13449.html

+0  如何在不同时区的服务器间传递时间戳

Tag: Lang | PHP | Python | timestamp | utc
Liút 发于 2014年05月21日 23:30 | 点击: 1496 | 展开摘要
!!Update: 经 tywei 的提醒,实际上是我搞错了,unix timestamp 的值和时区无关,之前的测试异常是由于两个服务器设置不正确造成的。

两个在不同时区的服务器之间要传递依赖时间戳的数据,假设所有服务上的时区均设置正确,各自都取 UTC 时间戳作为基准数据。

版本1:在一开始直接使用 `time()` (PHP) 和 `time.mktime(timetuple)` (Python), 经实验发现,这样取的只是本地化的时间戳(带有时区差异)

版本2:

查看全文: http://www.udpwork.com/item/12269.html

+0  Python:[Errno 32] Broken pipe 导致线程crash解决方法

Tag: 其他 | Broken Pipe | python | ThreadingHTTPServer
五竹 发于 2014年05月15日 16:31 | 点击: 2939 | 展开摘要
1       错误现象

ThreadingHTTPServer 实现的 http 服务,如果客户端在服务器返回前,主动断开连接,则服务器端会报 [Errno 32] Broken pipe 错,并导致处理线程 crash.

下面先看个例子,python 版本: 2.7

  示例代码

#!/usr/bin/env python
#!coding=utf-8

import os
import time
import socket
import threading
f

查看全文: http://www.udpwork.com/item/12251.html

+0  一段集合操作的不同语言表达

Tag: Programming Paradigm | C++ | Clojure | Java | Perl | PHP | Python | Ruby | Scala | 循环 | 集合
四火 发于 2014年04月09日 10:01 | 点击: 1271 | 展开摘要
看到这样一条微博,觉得挺有意思,就记录在这里:

所谓对比,Java真是足够啰嗦:

图不清楚,我来再叙述一下。要做的事情就是,把原有列表里面的每个元素都变成大写的,再放到一个新列表里面去。

这是Java7的版本: 

List list = Arrays.asList("andy", "michael", "thomas");
List list2 = new ArrayList<>();
for(String s : list)
list2.add(s.t

查看全文: http://www.udpwork.com/item/12106.html

+0  Python修饰器的函数式编程

Tag: Python | 程序设计 | 编程语言 | Decorator | functional | Programming | 函数式
陈皓 发于 2014年03月20日 09:50 | 点击: 1603 | 展开摘要
Python的修饰器的英文名叫Decorator,当你看到这个英文名的时候,你可能会把其跟Design Pattern里的Decorator搞混了,其实这是完全不同的两个东西。虽然好像,他们要干的事都很相似——都是想要对一个已有的模块做一些“修饰工作”,所谓修饰工作就是想给现有的模块加上一些小装饰(一些小功能,这些小功能可能好多模块都会用到),但又不让这个小装饰(小功能)侵入到原有的模块中的代码里去。但是OO的Decorator简直就是一场恶梦,不信你就去看看wikipedi

查看全文: http://www.udpwork.com/item/11978.html

+0  程序解决flash-gear的拼图问题

Tag: program | 谜题 | python
isnowfy 发于 2014年03月04日 19:02 | 点击: 1349 | 展开摘要
最近看到flash-gear上你可以上传图片,然后自动帮你生成拼图,而且还能选择块的大小,话说,如果块很小,人力去拼图还真有些崩溃,于是本着geek的原则,打算用程序来搞一搞。

首先我上传了图片生成了这个拼图,就是上面的那个图片的样子,然后我们可以看到有很多小碎片,而且是慢慢出现的,于是我就考虑是不是通过网络来请求的呢,于是用了chrome的审查元素,发现没有多与的http请求,于是我又想会不会是flash通过tcp请求来获得的呢,于是用了wireshark抓包,发现依然毫

查看全文: http://www.udpwork.com/item/11811.html

+0  函数式编程

Tag: Python | 程序设计 | 编程语言 | functional | Javascript | 函数式
陈皓 发于 2013年12月27日 08:11 | 点击: 1781 | 展开摘要
当我们说起函数式编程来说,我们会看到如下函数式编程的长相:

函数式编程的三大特性:

immutable data 不可变数据:像Clojure一样,默认上变量是不可变的,如果你要改变变量,你需要把变量copy出去修改。这样一来,可以让你的程序少很多Bug。因为,程序中的状态不好维护,在并发的时候更不好维护。(你可以试想一下如果你的程序有个复杂的状态,当以后别人改你代码的时候,是很容易出bug的,在并行中这样的问题就更多了)

first class functions:这

查看全文: http://www.udpwork.com/item/11411.html
|<<<1234567>>>| 一共16页, 182条记录