博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Python代码运行不够流畅?看大神如何多角度优化!
阅读量:6405 次
发布时间:2019-06-23

本文共 4379 字,大约阅读时间需要 14 分钟。

更多深度文章,请关注:


这是“Python代码性能优化系列中的第一篇文章——环境设置。通过每个帖子,我将介绍一些Python代码的工具和剖析器,以及它们中的每一个如何帮助您更好地在前端(Python脚本)和/或后端(Python解释器)中找到突破点。

配置:

在进行基本测试和分析之前,首先需要一个适当的环境。这意味着必须为此任务配置机器和操作系统。

一般来说,我的机器有以下规格:

  • 处理器:IntelRXeonRCPU E5-2699 v3 @ 2.30GHz
  • 内存:32GB
  • 操作系统:Ubuntu 16.04 LTS
  • 内核:4.4.0-75通用

我们的目标是得到具有可重复的结果,从而确保我们的数据不受其他后台进程、操作系统配置或任何其他硬件性能带来的影响。

我们从配置我们用于分析的机器开始。

硬件功能:

首先,禁用任何硬件性能功能。这意味着从BIOS / UEFI禁用Intel Turbo Boost和超线程。

正如Turbo Boost是一种技术,如果处理器内核运行在低于​​功率、电流和温度规格限制的情况下,自动允许处理器内核的运行速度高于额定工作频率。另一方面,超线程是更有效地使用处理器资源的技术,可以使多个线程在每个核心上运行,如

我们花了钱在工具上,而且我们真的想让它们发挥它们的作用。那么为什么在分析/基准测试时能够启用它们呢?因为我们没有得到可靠和可重复的结果,这转化为运行变化。让我们在一个小例子中看到这一点,叫做primes.py

该代码也可在GitHub。作为依赖分析,您将需要运行:

pip install statistics

让我们在启用了Turbo Boost并超线程的系统中运行它:

 
python primes.pyBenchmark duration:1.0644240379333496secondsMean duration:0.2128755569458008secondsStandard deviation:0.032928838418120374(15.468585914964498 %)

现在,在同一个系统上,但是禁用Turbo Boost和超线程:

 
python primes.pyBenchmark duration:1.2374498844146729secondsMean duration:0.12374367713928222secondsStandard deviation:0.000684464852339824(0.553131172568 %)

观察第一种情况下的标准差--15%。相反,在第二种情况下,变化减小到约0.6%。这难道不是优化产生的巨大价值吗?

CPU设置:

禁用一些CPU的功能,能够省电并能使用固定的CPU频率。实现这个功能可以通过将Linux调节器从更改intel_pstate  acpi_cpufreq

intel_pstate驱动程序使用Intel CoreSandy Bridge和更新的)处理器的内部调节器实现缩放驱动程序。该acpi_cpufreq驱动器利用ACPI处理器性能状态。我们先来看看吧! 

 
$ cpupower frequency-infoanalyzing CPU 0:driver: intel_pstateCPUs which run at the same hardware frequency: 0CPUs which need to have their frequency coordinated by software: 0maximum transition latency: 0.97 ms.hardware limits: 1.20 GHz - 3.60 GHzavailable cpufreq governors: performance, powersavecurrent policy: frequency should be within 1.20 GHz and 3.60 GHz.The governor "powersave" may decide which speed to use within this range.current CPU frequency is 1.20 GHz.boost state support:Supported: yesActive: yes

您会看到使用调节器设置为powersaveCPU频率会在1.20 GHz3.60 GHz之间。这对您的个人电脑或其他日常使用是有好处的,但在做基准测试时会影响到结果。

调节器还有其他什么功能?如果你浏览文档,你会看到以下内容:

  • performance - 以最高频率运行CPU
  • powersave - 以最低频率运行CPU
  • userspace - 以用户指定的频率运行CPU
  • ondemand - 根据当前负载动态缩放频率。跳转到最高频率,然后可能随着空闲时间的增加而退回。
  • conservative - 根据当前负载动态缩放频率。比频率更频繁地扩大频率。

我们想要使用的是性能调节器,并将频率设置在CPU支持的最大值。比如说是这样的结果:

 
 
$ cpupower frequency-infoanalyzing CPU 0:driver: acpi-cpufreqCPUs which run at the same hardware frequency: 0CPUs which need to have their frequency coordinated by software: 0maximum transition latency: 10.0 us.hardware limits: 1.20 GHz - 2.30 GHz available frequency steps: 2.30 GHz, 2.20 GHz, 2.10 GHz, 2.00 GHz, 1.90 GHz, 1.80 GHz, 1.70 GHz, 1.60 GHz, 1.50 GHz, 1.40 GHz, 1.30 GHz, 1.20 GHzavailable cpufreq governors: conservative, ondemand, userspace, powersave, performancecurrent policy: frequency should be within 2.30 GHz and 2.30 GHz.The governor "performance" may decide which speed to usewithin this range.current CPU frequency is 2.30 GHz.cpufreq stats: 2.30 GHz:100.00%, 2.20 GHz:0.00%, 2.10 GHz:0.00%, 2.00 GHz:0.00%, 1.90 GHz:0.00%, 1.80 GHz:0.00%, 1.70 GHz:0.00%, 1.60 GHz:0.00%, 1.50 GHz:0.00%, 1.40 GHz:0.00%, 1.30 GHz:0.00%, 1.20 GHz:0.00% (174)boost state support:Supported: noActive: no

现在你要使用  performance 调节器,固定频率为2.3 GHz。该值是可以在Xeon E5-2699 v3上使用的最大的可能,没有Turbo Boost。要设置所有内容,请以管理权限运行以下命令:

 
cpupower frequency-set -g performancecpupower frequency-set --min 2300000 --max 2300000
如果没有
cpupower
,请使用以下命令安装:
 
sudo apt-get install linux-tools-common linux-header-`uname -r` -y​

调节器对CPU的使用有很大的影响。默认情况下,调速器设置为自动缩放频率以降低功耗。我们不希望在我们的系统上,我们继续从GRUB禁用它。只需编辑/boot/grub/grub.cfg (但是如果您在内核升级时操作要小心,这将会消失)或者在其中创建一个新的内核条目  /etc/grub.d/40_custom。我们的引导行必须包含以下标志:intel_pstate=disable,如下所示:

linux/boot/vmlinuz-4.4.0-78-generic.efi.signed root=UUID=86097ec1-3fa4-4d00-97c7-3bf91787be83 ro intel_pstate=disable quiet splash $vt_handoff

ASLR设置(地址空间布局随机器):

这个设置是有争议的,你可以在Victor Stinner看到。当在执行基准测试时,这是在进一步改进对CPython中存在的Profile Guided Optimizations的支持的背景下。

什么导致我说这是个事实,在上面提到的特定硬件上,禁用ASLR,运行primes.py,标准差变化到0.4%!

另一方面,在我的个人计算机(拥有Intel Core i7 4710MQ)上进行测试,使得禁用ASLR导致出现了Victor所提出的相同问题。

由于它似乎不是普遍可用的结论,而是在很大程度上取决于硬件/软件配置,所以最好的方法是让它启用并测试,禁用它并重新测试,然后比较结果。

在我的机器上,我通过添加以下内容在全球禁用/etc/sysctl.conf

申请使用sudo sysctl -p

 
kernel.randomize_va_space = 0

如果要在运行时禁用它:

 
sudo bash -c 'echo 0 >| /proc/sys/kernel/randomize_va_space'

如果要启用它:

sudo bash -c 'echo 2 >| /proc/sys/kernel/randomize_va_space'

未完待续!

希望上述的介绍能够帮助到你! 

本文由北邮推荐,

文章原标题《Hunting Performance in Python Code – Part 1. Environment Setup》,

作者:pythonrinf       译者:袁虎 审阅:

文章为简译,更为详细的内容,请查看

转载地址:http://xpiea.baihongyu.com/

你可能感兴趣的文章
axure如何导出原件_Axure 教程:轻松导出图标字体所有图标
查看>>
laravel input值必须不等于0_框架不提供,动手造一个:Laravel表单验证自定义用法...
查看>>
cad填充图案乱理石_太快了吧!原来大神是这样用CAD图案填充的
查看>>
activator.createinstance 需要垃圾回收么_在垃圾回收器中有哪几种判断是否需要被回收的方法...
查看>>
rocketmq 消息指定_RocketMQ入坑系列(一)角色介绍及基本使用
查看>>
redis zset转set 反序列化失败_掌握好Redis的数据类型,面试心里有底了
查看>>
p图软件pⅰc_娱乐圈最塑料的夫妻,P图永远只P自己,太精彩了吧!
查看>>
jenkins 手动执行_Jenkins 入门
查看>>
怎么判断冠词用a还是an_葡语干货 | 葡萄牙语冠词用法整理大全
查看>>
js传参不是数字_JS的Reflect学习和应用
查看>>
三个不等_数学一轮复习05,从函数观点看方程与不等式,记住口诀与联系
查看>>
右键新建文件夹_Macos电脑鼠标右键木有新建文档咋办,有办法,莫捉急
查看>>
卡尺测量的最小范围_汽车维修工具-测量用具
查看>>
网优5g前景_5G网络优化师前景怎么样?
查看>>
竞态条件的赋值_[译] part25: golang Mutex互斥锁
查看>>
delmatch oracle_完美完全卸载(清除)oracle数据库的方式(方法)
查看>>
pyqt 滚动条 美化_Pyqt5 关于流式布局和滚动条的综合使用示例代码
查看>>
51单机片 编译hex_单片机爬坑记-05-编译环境(完)
查看>>
java 正则表达式 img_Java正则表达式获得html字符串里的<img src=""/> 中的url列表
查看>>
dbutils java_Java篇-DBUtils与连接池
查看>>