luw2007-blog DEV

cefpython - python bindings for CEF(Chromium Embedded Framework)

2013-01-11T00:00:00+08:00

手头有个pyQT的项目里面使用QtWebKit, 用于在客户端中展示网页内容。虽然使用QtWebkit实现了基本功能。但是存在不少问题。 QtWebKit打开页面速度慢，一些js代码无法正常运行，需要自己去实现的东西太多。由于时间有点紧，所以就准备找第三方实现的库来做。

最后采用 Chromium Embedded Framework（CEF）。这个项目稳定（2008 开始），源码托管在 chromiumembedded/cef，并有 Python 实现 cefpython。

cefpython 使用 Cython 实现与 libcef 的交互。项目 2012-05-08 提交 0.11，到 2012-12-27 提交 0.51 版本的 cef1。

使用New BSD License 开源协议。目前只有czarek.tomczak一人维护。 cefpython项目分为cef1, cef3 。cef1的完成度比较高，cef3可用的api太少。由于项目中对webkit的要求比较少。所以直接拿来使用。

问题和不足

项目完成度还不高，存在一些问题。好在作者开发热情很高，问题能很快解决。
目前只支持windows和mac。
编译需要安装windows SDK和vs2008。

认识cgroup和 lxc

2013-01-09T00:00:00+08:00

引子

[CPyUG] 对于python的sandbox,有什么好的方案吗？由python的沙箱引出虚拟化中的两个名词lxc和cgroup。

cgroup(control groups)

cgroup，Wikipedia 中的定义
Linux cgroup v2 官方文档
http://www.cnblogs.com/lisperl/tag/虚拟化技术, 这里对官方文档做了翻译

Lxc(LinuX Containers)

lxc, wikipedia 中的定义
Linux Containers - ArchWiki
LXC - Community Ubuntu Documentation, See also
LXC 官方文档
LXC - Gentoo Wiki
LXC - Debian Wiki
LXC - openSUSE
https://www.stgraber.org/category/lxc/, ubutnu的软件工程 Stéphane Grabers的blog。
lxc-in-ubuntu-12-04-lts, Stéphane Grabers lxc tutorial
LXC: Linux container tools, IBM linux 技术中心软件工程师的一篇介绍
Secure Linux containers cookbook, 和上篇是姐妹篇, 通过 LSM(Linux Security Modules), SELinux(Security-Enhanced Linux), Smack()
LXC – Linux Containers on Steroids, lxc 简单使用心得
LXC（Linux Containers）的不足和改进, 提出以下观点

缺少对磁盘配额（disk quota）的支持缺少对写时复制（copy on write）的支持进程和容器之间的动态关联还不够完善不支持checkpoint

由于与OpenVZ同为OS级别的虚拟化技术,免不了对比两者之前的差异。

OpenVZ vs LXC

Future of OpenVZ?
openvz-vz-lxc, lxc 再次被吐嘈不支持checkpoint。
Lightweight-virtualization-LXC-vs-OpenVZ.pdf, 德文写的。

通过上面的文章可以看到目前lxc 还不适合是用在生产环境。Lxc 依赖的cgroup 早已加入linux kernel mainline中。我比较认同Lxc 最终会替代 OpenVZ。

bbcp,替代scp的多线程传输工具

2013-01-07T00:00:00+08:00

选用bbcp替代scp的原因

这两天用scp往服务器上传数据，scp传输速度太慢。特别是网络不太稳定的时候，速度非常慢。惨不忍睹。所以想找个替代工具。

使用中遇到的问题

如何好用，比scp 快多少就不测试了。这里说说遇到问题。

需要目标服务器上同样放置bbcp程序。如果有admin权限，比较好办。
防火墙。由于采用了多个端口同时传输数据，所以需要开发至少8个端口用于传输数据。
- 目标服务器在公网，并且开放端口，直接传输；
- 目标服务器在内网，
  - 防火墙映射端口，直接传输。
  - 目标服务器无法映射端口，本地开放端口或者可以映射端口，可以使用-Z(同--port 此为12.08.17版本中加入，如果无法使用，请使用 --help 查看版本) 传输。
  - 本地也无法映射端口。那就没辙了。
连接目标服务器ssh的端口貌似没法修改, 默认22。但是好多服务器都修改了这个端口。（提供了-S，但是不会设置）

bbcp的相关网页

SLAC 官方 bbcp GitHub 组织，提供源码和当前项目入口。

基于pelican 写blog

2012-12-14T00:00:00+08:00

很久之前在dotcloud上面部署了一个pypress, 更新几篇之后就停歇了.

最近在G+上面的ubuntu中文社区看到+mutse young贴了个使用pelican的截图

pelican 是托管在github上的开源项目. 基于python.

目的是让geek很方便的使用markdown 或者rst 写博客.

之前在选用pypress之前也接触过直接生成html的一些项目, 不过那个时候觉得写作和部署都很麻烦.

随着最近一些项目中使用到了rst和markdown写文档, 加之对git 的熟悉以及对github的喜爱. 决定试用一下pelican.

官方的文档很齐全. 配置和使用过程中的问题,都能在官方文档里面找到说明.

关于博客更新的想法

2011-10-21T00:00:00+08:00

blog 不知道写什么. 天天都会看邮件列表和问答社区.

准备把CpyUG 里面自己回答到的问题组织一下思路.

转发到blog 中来. 不知道涉及不涉及到版权的问题.

莫工厂的面试题之一古诗横转(二)

2011-09-21T00:00:00+08:00

要求横转古诗输出，输出的结果请运行一下程序。

之前使用列表解析实现，还可以用map + zip 实现矩阵转换。当然使用NumPy 也可以很方便实现。

代码如下：

string = u"""静夜思 李白
床前明月光，
疑似地上霜。
举头望明月，
低头思故乡。
"""

list_s=[L for L in string.splitlines()[::-1]]
out=map(list,zip(*list_s))
print '\n'.join([U'┊'.join(row) for row in out])

python实现一个Stack类

2011-09-16T00:00:00+08:00

python 实现Stack类。

之前网上也有不同的实现，但是不是感觉版本太老就是感觉写的不好。自己写了一个，请大家指教。

# -*- coding:utf-8 -*-
class Stack(object):
    """
        Stack 类
    """
    def __init__(self, other=None):
        """doc test
        >>> s = Stack([1,2,3,4])
        >>> s.pop()
        4
        >>> s.count
        3
        >>> e = Stack([1,2,3,4])
        >>> s != e
        True
        >>> s.push(4)
        >>> s == e
        True
        >>> s += e
        >>> len(s)
        8
        >>> s.clear()
        >>> s.empty
        True
        >>> s.top
        data is empty
        """
        self.data = []
        if other is not None:
            if isinstance(other, Stack):
                self.data[:] = other.data
            elif isinstance(other, (list, tuple, set)):
                self.data[:] = list(other)
            else:
                self.data  = list(other)

    def __repr__(self):
        return "<Stack: %s>" % str(self.data)

    def __len__(self):
        return len(self.data)

    def __eq__(self, other):
        return self.data == self.__cast(other)

    def __getitem__(self, i):
        return self.data[i]

    def __setitem__(self, i, item):
        self.data[i] = item

    def __delitem__(self, i):
        del self.data[i]

    def __add__(self, other):
        if isinstance(other, Stack):
            return self.__class__(self.data + other.data)
        else:
            raise TypeError('unsupported operand type(s) for +: %s' %(getattr(other,"__class__",'')))

    def __iadd__(self, other):
        if isinstance(other, Stack):
            self.data += other.data
            return self
        else:
            raise TypeError('unsupported operand type(s) for +=: %s' %(getattr(other,"__class__",'')))

    def __cast(self, other):
        if isinstance(other, Stack):
            return other.data
        else:
            return other

    @property
    def top(self):
        if self.empty:
            print 'data is empty'
            return None
        return self.data[-1]

    @property
    def count(self):
        return len(self.data)

    @property
    def empty(self):
        return len(self.data) == 0

    def push(self, item):
        self.data.append(item)

    def pop(self):
        if self.empty:
            print 'data is empty'
            return None
        return self.data.pop()

    def clear(self):
        self.data = []

莫工厂的面试题之一古诗横转

2011-09-16T00:00:00+08:00

要求横转古诗输出，输出的结果请运行一下程序。

string = u"""静夜思 李白
床前明月光，
疑似地上霜。
举头望明月，
低头思故乡。
"""


list_s=[L for L in string.splitlines()[::-1]]
row_num = max(map(len,list_s))
out=[[row[L] for row in list_s] for L in xrange(row_num)]
print '\n'.join([U'┊'.join(row) for row in out])

计算当前目录下的子目录数量并打印子目录名称

2011-09-08T00:00:00+08:00

问题:

组里有人问，有什么好方法来统计当前目录下所有子目录的数量。

解决方案:

我大致综合大家提出的方法，做了一个对照。实现方法有4个。其中test_diskwalk.py 是利用python 的os.walk 做的。

time find /usr/ -type d |wc -l
time python test_diskwalk.py /usr/
time tree -ad /usr/ |tail -1
ls -aR /usr/|grep ":$" |wc -l

大致结果是ls 和tree快， find 接近是ls 的1.5倍。 os.walk 更慢。测试不太精准，权当娱乐。

对照测试具体步骤：

利用python os.walk 实现的,disk_walk 模块是利用os.walk 实现，见附录

~$>cat test_diskwalk.py
import disk_walk
import argparse

parser = argparse.ArgumentParser(description='list contents of directories.')
parser.add_argument('path', metavar='path',
                   help='input a directory')
args = parser.parse_args()
dirs=disk_walk.diskwalk(args.path).enumerate_dirs()

#print ' '.join(dirs)
print '%d directories' % len(dirs)

使用time 进行的测试，需要考虑linux系统的目录缓存。每次测试前清空缓存测试结果如下：

[root@fedora lw]#  time ls -aR /usr/|grep ":$" |wc -l
19064
real 0m22.114s
user 0m0.873s
sys 0m2.151s

[root@fedora lw]# time tree -ad /usr/|tail -1
19167 directories
real 0m23.967s
user 0m0.533s
sys 0m4.013s

[root@fedora lw]#  time python test_diskwalk.py /usr/  > /dev/null
19167 directories
real 0m36.643s
user 0m3.384s
sys 0m4.173s

[root@fedora lw]#  time find /usr/ -type d > /dev/null
real 0m32.541s
user 0m0.431s
sys 0m2.263s

可以看到 ls 最快，但是结果不知道什么原因少了很多。 tree 和 test_diskwalk.py 的结果一样，但是速度相差还是比较大的。

python的程序定制行比较强。如果不是大量io，也无所谓的。

附录：disk_walk.py

import os

class diskwalk(object):
    """API for getting directory walking collections"""
    def __init__(self, path):
            self.path = path

    def enumerate_paths(self):
        """Returns the path to all the files in a directory as a list"""
        path_collection = []
        for dirpath, dirnames, filenames, in os.walk(self.path):
            for file in filenames:
                fullpath = os.path.join(dirpath, file)
                path_collection.append(fullpath)
        return path_collection

    def enumerate_files(self):
        """Returns all the files in a directory as a list"""
        file_collection = []
        for dirpath, dirnames, filenames, in os.walk(self.path):
            for file in filenames:
                file_collection.append(file)
        return file_collection

    def enumerate_dirs(self):
        """Returns all the directories in a directory as a list"""
        dir_collection = []
        for dirpath, dirnames, filenames, in os.walk(self.path):
            for dir  in dirnames:
                dir_collection.append(dir)
        return dir_collection