使用Docker+VS Code搭建Go+Python的开发环境

因为项目需要，可能使用Go调用Python 3的接口，趁这个机会实践了一下，如何用Docker+VS Code迅速地搭建开发环境，真的非常非常非常香！

准备Docker Image和Container

先使用Docker迅速的Build出包含了Go，Python 3.7的Image，同时也下载了DataDog/go-python3。这是一个挺不错的Go Module，可以用来调用Python 3的C API，进而调用Python的API（后续写篇文章介绍一下用法）。

FROM debian:10

RUN apt update && \
    apt install -y git golang python3 python3-dev && \
    go get github.com/DataDog/go-python3

FROM debian:10

RUN apt update && \

apt install -y git golang python3 python3-dev && \

go get github.com/DataDog/go-python3

有了Dockerfile，再使用docker build生成Image

docker build -t go_dev:1.0 .

1	docker build -t go_dev:1.0 .

Image生成后，就可以启动Container了，

docker run -it --name go_dev -v H:\go_dev:/go_dev go_dev:1.0

1	docker run -it --name go_dev -v H:\go_dev:/go_dev go_dev:1.0

Container的名字叫go_dev, 同时挂载了H:\go_dev到/go_dev上。Container里的go, python3都已经安装完成。

使用VSCode连接到Docker container

首先需要安装Remote Container的插件，真的是个神器！

安装完成后，可以在左下角一个新的张铎图标，点击后就可以连接刚才启动的Container了。

在菜单中选择，“Attach to Running Container”

在后面的菜单中，选择Container “go_dev”。第一次连接时，需要选择一个目录来写代码了。连接后，打开Terminal也默认调整在Container里的目录。非常方便！

在Remote模式下，代码的很多分析是在Container里完成的，所以在第一次连接完成后，你需要把一些需要的Plugin再安装一下，比如Go语言的支持，Python的支持等等。这个要根据实际的需要。

好了，开发环境搞定，继续板砖写代码吧！

Use Atlassian Confluence API to Copy and Create New Pages

For team management, we have a Confluence space to do weekly reporting. In that space, usually, one page is for a week and each page has the same template. So to copy these pages becomes a very boring work. No worries, there are Confluence APIs to help.

Installation and Connection to Confluence

Very simple and pip will help to finish everything.

pip install atlassian-python-api

1	pip install atlassian-python-api

After installation, use the following code to connect to Confluence.

from atlassian import Confluence

confluence = Confluence(
    url='http://localhost:8090',
    username='your_user_name',
    password='your_passwd',
    verify_ssl=False) # in my case, I ignored the SSL verification

from atlassian import Confluence

confluence = Confluence(

url='http://localhost:8090',

username='your_user_name',

password='your_passwd',

verify_ssl=False) # in my case, I ignored the SSL verification

Copy and Create New Page

Before creating new page, you need to get the body content of the template page.

# retrieve the page id.
page_id = confluence.get_page_id("space_a", "template page name")

# retrieve the page, including its content.
page = confluence.get_page_by_id(page_id, expand='body.storage')

# the body HTML.
print(page['body']['storage']['value'])

# retrieve the page id.

page_id = confluence.get_page_id("space_a", "template page name")

# retrieve the page, including its content.

page = confluence.get_page_by_id(page_id, expand='body.storage')

# the body HTML.

print(page['body']['storage']['value'])

Pay attention to the expand=’body.storage’. Without it, the returned page only contains the basic information, no body HTML.

Now you have the body and the rest work is a just for-loop.

for i in range(1, 53):
    print('Creating page for ww{}'.format(i))
    
    # use the same above to retrieve the parent page's id.
    confluence.create_page('', '2019 WW({})'.format(i), content, parent_id=34511303)
    time.sleep(1)

for i in range(1, 53):

print('Creating page for ww{}'.format(i))

# use the same above to retrieve the parent page's id.

confluence.create_page('', '2019 WW({})'.format(i), content, parent_id=34511303)

time.sleep(1)

Also you can use confluence.update_page() to update some existing pages.

References

Create Python Virtual Environment with virtualenv

There are a lot of pros to using a virtual environment to manage different Python environment, which will be independent of each other. The following are the steps to create one under Ubuntu 16.04 with Python 2.7.x

Install the virtualenv with the necessary packages

sudo apt-get install python-pip python-dev python-virtualenv
sudo pip install -U pip

1 2	sudo apt-get install python-pip python-dev python-virtualenv sudo pip install -U pip

Create a folder for the virtualenv

mkdir ~/envfolder/
cd ~/envfolder/
virtualenv --system-site-packages myenv

mkdir ~/envfolder/

cd ~/envfolder/

virtualenv --system-site-packages myenv

Activate & Deactivate the virtual environment

yli@ubuntu:~/envfolder/myenv$ source bin/activate
(myenv) yli@ubuntu:~/envfolder/myenv$

1 2	yli@ubuntu:~/envfolder/myenv$ source bin/activate (myenv) yli@ubuntu:~/envfolder/myenv$

After sourcing the activate script, you can find a “(myenv)” in front of the folder prompt, which is the virtual environment’s name and it has been activated.

Now, the pip can be used to install/update the python modules belongs to this virtual env only.

To deactivate is also very simple.

(myenv) yli@ubuntu:~/envfolder/myenv$ deactivate 
yli@ubuntu:~/envfolder/myenv$

1 2	(myenv) yli@ubuntu:~/envfolder/myenv$ deactivate yli@ubuntu:~/envfolder/myenv$

对Python脚本做简单的profiling

最近事情好多，Blog好久没有更新了。今天上来写写最近解决的一个Python里的性能优化问题。

起因

之前为项目写过一个Sqlite数据库预处理的Python脚本，里面主要做了张新表，把其他表的数据填进去。当时主要考虑到维护性，条理清楚，就没太考虑Performance。之后QA发现模块的运行比原来慢了20倍，因为还是挺快，所以没有当时马上修正。

Profiling

这次Release要修掉这个问题。我的原则是，改进Performance一定要做Profiling，做到有的放矢才。

和Java的VirtualVM类似，Python 2.7也内置了几个Module做Profiling，我选择了cProfile。基本就是如下命令：

python -m cProfile -s tottime python_script

1	python -m cProfile -s tottime python_script

“-s tottime”是让结果用总执行时间排序。

优化之前的执行结果，

        4012898 function calls (4011847 primitive calls) in 139.670 seconds

   Ordered by: internal time

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
   281311  131.300    0.000  131.300    0.000 {method 'execute' of 'sqlite3.Cursor' objects}
   121621    4.296    0.000    4.296    0.000 {method 'fetchall' of 'sqlite3.Cursor' objects}
   121618    0.733    0.000    7.110    0.000 a_module.py:510(get_columns)
        1    0.642    0.642  126.630  126.630 a_module.py:32(execute)
   121616    0.470    0.000    7.580    0.000 a_module.py:495(has_field)
    15202    0.440    0.000    7.500    0.000 a_module.py:406(update_parameters)
   364921    0.365    0.000    0.365    0.000 {method 'format' of 'str' objects}
    30405    0.254    0.000    0.254    0.000 {method 'fetchone' of 'sqlite3.Cursor' objects}
        1    0.253    0.253  139.553  139.553 a_module.py:83(preprocess)
  2322518    0.194    0.000    0.194    0.000 {method 'append' of 'list' objects}
...

4012898 function calls (4011847 primitive calls) in 139.670 seconds

Ordered by: internal time

ncalls tottime percall cumtime percall filename:lineno(function)

281311 131.300 0.000 131.300 0.000 {method 'execute' of 'sqlite3.Cursor' objects}

121621 4.296 0.000 4.296 0.000 {method 'fetchall' of 'sqlite3.Cursor' objects}

121618 0.733 0.000 7.110 0.000 a_module.py:510(get_columns)

1 0.642 0.642 126.630 126.630 a_module.py:32(execute)

121616 0.470 0.000 7.580 0.000 a_module.py:495(has_field)

15202 0.440 0.000 7.500 0.000 a_module.py:406(update_parameters)

364921 0.365 0.000 0.365 0.000 {method 'format' of 'str' objects}

30405 0.254 0.000 0.254 0.000 {method 'fetchone' of 'sqlite3.Cursor' objects}

1 0.253 0.253 139.553 139.553 a_module.py:83(preprocess)

2322518 0.194 0.000 0.194 0.000 {method 'append' of 'list' objects}

...

可见罪魁祸首就是sqlite3的Cursor的execute()方法，和原本猜测的也是一样的。优化的手法也很明确就是减少execute()的调用次数，使用batch和合并SQL语句的办法，很容易就用空间换回了时间。

优化之后的结果，

        1048606 function calls (1047555 primitive calls) in 11.653 seconds

   Ordered by: internal time

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
    15235   10.101    0.001   10.101    0.001 {method 'execute' of 'sqlite3.Cursor' objects}
    15202    0.309    0.000    1.448    0.000 a_module.py:422(update_a_parameters)
        1    0.264    0.264   11.557   11.557 a_module.py:88(preprocess)
   250907    0.230    0.000    0.230    0.000 {method 'format' of 'str' objects}
        8    0.226    0.028    0.226    0.028 {method 'fetchall' of 'sqlite3.Cursor' objects}
     7601    0.090    0.000    0.627    0.000 a_module.py:391(update_b_parameters)
   121616    0.075    0.000    1.766    0.000 a_module.py:460(check_and_add_column_if_not_existed)
   167222    0.067    0.000    0.067    0.000 {method 'keys' of 'sqlite3.Row' objects}
...

1048606 function calls (1047555 primitive calls) in 11.653 seconds

Ordered by: internal time

ncalls tottime percall cumtime percall filename:lineno(function)

15235 10.101 0.001 10.101 0.001 {method 'execute' of 'sqlite3.Cursor' objects}

15202 0.309 0.000 1.448 0.000 a_module.py:422(update_a_parameters)

1 0.264 0.264 11.557 11.557 a_module.py:88(preprocess)

250907 0.230 0.000 0.230 0.000 {method 'format' of 'str' objects}

8 0.226 0.028 0.226 0.028 {method 'fetchall' of 'sqlite3.Cursor' objects}

7601 0.090 0.000 0.627 0.000 a_module.py:391(update_b_parameters)

121616 0.075 0.000 1.766 0.000 a_module.py:460(check_and_add_column_if_not_existed)

167222 0.067 0.000 0.067 0.000 {method 'keys' of 'sqlite3.Row' objects}

...

优化之后只是原来的9%的Runtime。

总结

继续坚持用Profiler来做Performance的改进。
边改边用Profiler查看Performance有没有提升。
不要过分优化，否则代码没法看了。😀

References

The Python Profilers

强大的XPath

最近的项目开发中常常要分析XML，深切体会到XPath的强大和方便。Java可以使用DOM4j，Python 2.5以后可以使用了etree。

举个小例子，如果有如下XML：

&lt;A&gt;
   &lt;C&gt;
      &lt;B&gt;1&lt;/B&gt;
   &lt;/C&gt;
   &lt;D&gt;
      &lt;B&gt;2&lt;/B&gt;
   &lt;/D&gt;
&lt;/A&gt;

<A>

<C>

1

</C>

<D>

2

</D>

</A>

要去掉所有的节点，XPath可以如何做呢？

import xml.etree.ELementTree as ET

root = ET.fromstring(xml_str)
b_parent_nodes = root.findall(&quot;.//B/..&quot;) # find parent nodes of all &lt;B&gt; nodes

for i in range(len(b_parent_nodes)):
    node = b_parent_nodes[i].findall(&quot;./B&quot;)[0] # find all &lt;B&gt; nodes under current tag
    b_parent_nodes[i].remove(node)

import xml.etree.ELementTree as ET

root = ET.fromstring(xml_str)

b_parent_nodes = root.findall(".//B/..") # find parent nodes of all nodes

for i in range(len(b_parent_nodes)):

node = b_parent_nodes[i].findall("./B")[0] # find all nodes under current tag

b_parent_nodes[i].remove(node)

XPath的灵活之处就在于，可以用简单明了的Path控制想要读取的节点。

其实还有很多有趣的特性，可以看看XPath Tutorial。

关于Perl语言基本知识的学习总结

老大走了，同时留了大约7，8千行的Perl脚本给我们维护。以前Perl没学过，这两天大概看了一下，现在做下简单的总结。

总的感觉是：Perl语言真的很简洁！

变量

Perl的变量类型分成了几种：标量类型，数组类型，联合类型（理解成Map比较好）。

比如：

use strict;

my $var1 = &quot;hello, world&quot;; #标量，整型，字符串，浮点等
my @var2 = qw(a b c d); # 数组

print $var2[0] # 取数组内容

my %var3 = (&quot;i1&quot;=&gt;123, &quot;i2&quot;=&gt;456, &quot;i3&quot;=&gt;789); # Map

print $var3{&quot;i1&quot;} # 取Map里的内容

use strict;

my $var1 = "hello, world"; #标量，整型，字符串，浮点等

my @var2 = qw(a b c d); # 数组

print $var2[0] # 取数组内容

my %var3 = ("i1"=>123, "i2"=>456, "i3"=>789); # Map

print $var3{"i1"} # 取Map里的内容

NOTE：其实还有引用类型，只是现在还没有用到，先不总结了。

流程控制

这个部分和其他语言很像，但有些地方会再简洁，Larry果然真的确实”很懒”。

条件控制

if (expression) { ... }
if (expression) { ... } else { ... }
if (expression) { ... } elsif (expression) { ... } else { ... }

# 你还可以
statement if expression;
statement unless expression;

if (expression) { ... }

if (expression) { ... } else { ... }

if (expression) { ... } elsif (expression) { ... } else { ... }

# 你还可以

statement if expression;

statement unless expression;

循环控制

和C很像，就是有的地方别忘了加上$, 如：

# 如果使用了use strict, 要加上
# my $i;
for ($i = 0; $i &lt; 10; $i++) { ... }

# foreach
foreach $i (@array) { ... }

# for, foreach还可以混着用
for $i (0 .. 10) { ... }

# 也有while和do
while ($i &lt; 10) { ... }
do { ... } while (expression);

# break和continue 变成了 last和next
while (...) {
   next if ($i == 5);
   last unless ($i &gt; 10);
}

# 如果使用了use strict, 要加上

# my $i;

for ($i = 0; $i < 10; $i++) { ... }

# foreach

foreach $i (@array) { ... }

# for, foreach还可以混着用

for $i (0 .. 10) { ... }

# 也有while和do

while ($i < 10) { ... }

do { ... } while (expression);

# break和continue 变成了 last和next

while (...) {

next if ($i == 5);

last unless ($i > 10);

}

函数

基本语法

sub hello { # 不用写parameter list
     my $i;
     foreach $i (@_) { # @_就是传入的参数
         print $i . &quot;, &quot;;
     }
}

hello(&quot;abc&quot;, &quot;def&quot;);

# 还有常见写法
sub readName {
      my $firstName = shift; # 用shift从@_读入第一个参数
      my $lastName = shift; # 读第二个

      ...
}

sub hello { # 不用写parameter list

my $i;

foreach $i (@_) { # @_就是传入的参数

print $i . ", ";

}

hello("abc", "def");

# 还有常见写法

sub readName {

my $firstName = shift; # 用shift从@_读入第一个参数

my $lastName = shift; # 读第二个

...

}

包（Package）

用package定义一个包，如：

use strict;

package foo; # 声明了一个包

sub fun1 {
    print &#039;Hello&#039;;
}

1; # 相当于return 1; 非常重要，包文件一定要返回True

use strict;

package foo; # 声明了一个包

sub fun1 {

print 'Hello';

}

1; # 相当于return 1; 非常重要，包文件一定要返回True

最后的”1;”非常重要，不然别的脚本就无法使用这个包。Perl里的True/False很像Python里定义的。

那如何使用呢，也很简单。

use strict;

require foo; # 这里就直接去找foo.pm的文件， 如果定义的是.pl, 那就换成require &quot;foo.pl&quot;;

foo:my_fun1(); # 用::来调用函数

use strict;

require foo; # 这里就直接去找foo.pm的文件，如果定义的是.pl, 那就换成require "foo.pl";

foo:my_fun1(); # 用::来调用函数

有几个小问题：

包的搜索路径在@INC中，如有需要，要在开始加

push @INC, "/pacakge/path/"

1

push @INC, "/pacakge/path/"

总结

这些就是Perl的基本内容，再把正则表达式看一下就可以开始读代码的了。