IPython并行计算工具

纸上得来终觉浅,绝知此事要躬行。

IPython并行计算工具

解决并行计算和分布式计算的问题

  • 运行解释说明
    • 一直以来Python的并发问题都会被大家所诟病,正是因为全局解释锁的存在,导致其不能够真正的做到并发的执行。所以,我们就需要ipyparallel的存在来帮助我们处理并发计算的问题了。
    • 在ipyparallel中,可以利用多个engine同时运行一个任务来加快处理的速度。集群被抽象为view,包括direct_view和balanced_view。其中,direct_view是所有的engine的抽象,当然也可以自行指定由哪些engine构成,而balanced_view是多个engine经过负载均衡之后,抽象出来的由“单一”engine构成的view。利用ipyparallel并行化的基本思路是将要处理的数据首先进行切分,然后分布到每一个engine上,然后将最终的处理结果合并,得到最终的结果,其思路和mapreduce类似。
  • 并行计算分类
    • ipcluster - 单机并行计算
    • ipyparallel - 分布式计算
  • 相关连接地址
  • 安装方式