📘
CMake Cookbook
  • Introduction
  • 前言
  • 第0章 配置环境
    • 0.1 获取代码
    • 0.2 Docker镜像
    • 0.3 安装必要的软件
    • 0.4 测试环境
    • 0.5 上报问题并提出改进建议
  • 第1章 从可执行文件到库
    • 1.1 将单个源文件编译为可执行文件
    • 1.2 切换生成器
    • 1.3 构建和链接静态库和动态库
    • 1.4 用条件句控制编译
    • 1.5 向用户显示选项
    • 1.6 指定编译器
    • 1.7 切换构建类型
    • 1.8 设置编译器选项
    • 1.9 为语言设定标准
    • 1.10 使用控制流
  • 第2章 检测环境
    • 2.1 检测操作系统
    • 2.2 处理与平台相关的源代码
    • 2.3 处理与编译器相关的源代码
    • 2.4 检测处理器体系结构
    • 2.5 检测处理器指令集
    • 2.6 为Eigen库使能向量化
  • 第3章 检测外部库和程序
    • 3.1 检测Python解释器
    • 3.2 检测Python库
    • 3.3 检测Python模块和包
    • 3.4 检测BLAS和LAPACK数学库
    • 3.5 检测OpenMP的并行环境
    • 3.6 检测MPI的并行环境
    • 3.7 检测Eigen库
    • 3.8 检测Boost库
    • 3.9 检测外部库:Ⅰ. 使用pkg-config
    • 3.10 检测外部库:Ⅱ. 自定义find模块
  • 第4章 创建和运行测试
    • 4.1 创建一个简单的单元测试
    • 4.2 使用Catch2库进行单元测试
    • 4.3 使用Google Test库进行单元测试
    • 4.4 使用Boost Test进行单元测试
    • 4.5 使用动态分析来检测内存缺陷
    • 4.6 预期测试失败
    • 4.7 使用超时测试运行时间过长的测试
    • 4.8 并行测试
    • 4.9 运行测试子集
    • 4.10 使用测试固件
  • 第5章 配置时和构建时的操作
    • 5.1 使用平台无关的文件操作
    • 5.2 配置时运行自定义命令
    • 5.3 构建时运行自定义命令:Ⅰ. 使用add_custom_command
    • 5.4 构建时运行自定义命令:Ⅱ. 使用add_custom_target
    • 5.5 构建时为特定目标运行自定义命令
    • 5.6 探究编译和链接命令
    • 5.7 探究编译器标志命令
    • 5.8 探究可执行命令
    • 5.9 使用生成器表达式微调配置和编译
  • 第6章 生成源码
    • 6.1 配置时生成源码
    • 6.2 使用Python在配置时生成源码
    • 6.3 构建时使用Python生成源码
    • 6.4 记录项目版本信息以便报告
    • 6.5 从文件中记录项目版本
    • 6.6 配置时记录Git Hash值
    • 6.7 构建时记录Git Hash值
  • 第7章 构建项目
    • 7.1 使用函数和宏重用代码
    • 7.2 将CMake源代码分成模块
    • 7.3 编写函数来测试和设置编译器标志
    • 7.4 用指定参数定义函数或宏
    • 7.5 重新定义函数和宏
    • 7.6 使用废弃函数、宏和变量
    • 7.7 add_subdirectory的限定范围
    • 7.8 使用target_sources避免全局变量
    • 7.9 组织Fortran项目
  • 第8章 超级构建模式
    • 8.1 使用超级构建模式
    • 8.2 使用超级构建管理依赖项:Ⅰ.Boost库
    • 8.3 使用超级构建管理依赖项:Ⅱ.FFTW库
    • 8.4 使用超级构建管理依赖项:Ⅲ.Google Test框架
    • 8.5 使用超级构建支持项目
  • 第9章 语言混合项目
    • 9.1 使用C/C++库构建Fortran项目
    • 9.2 使用Fortran库构建C/C++项目
    • 9.3 使用Cython构建C++和Python项目
    • 9.4 使用Boost.Python构建C++和Python项目
    • 9.5 使用pybind11构建C++和Python项目
    • 9.6 使用Python CFFI混合C,C++,Fortran和Python
  • 第10章 编写安装程序
    • 10.1 安装项目
    • 10.2 生成输出头文件
    • 10.3 输出目标
    • 10.4 安装超级构建
  • 第11章 打包项目
    • 11.1 生成源代码和二进制包
    • 11.2 通过PyPI发布使用CMake/pybind11构建的C++/Python项目
    • 11.3 通过PyPI发布使用CMake/CFFI构建C/Fortran/Python项目
    • 11.4 以Conda包的形式发布一个简单的项目
    • 11.5 将Conda包作为依赖项发布给项目
  • 第12章 构建文档
    • 12.1 使用Doxygen构建文档
    • 12.2 使用Sphinx构建文档
    • 12.3 结合Doxygen和Sphinx
  • 第13章 选择生成器和交叉编译
    • 13.1 使用CMake构建Visual Studio 2017项目
    • 13.2 交叉编译hello world示例
    • 13.3 使用OpenMP并行化交叉编译Windows二进制文件
  • 第14章 测试面板
    • 14.1 将测试部署到CDash
    • 14.2 CDash显示测试覆盖率
    • 14.3 使用AddressSanifier向CDash报告内存缺陷
    • 14.4 使用ThreadSaniiser向CDash报告数据争用
  • 第15章 使用CMake构建已有项目
    • 15.1 如何开始迁移项目
    • 15.2 生成文件并编写平台检查
    • 15.3 检测所需的链接和依赖关系
    • 15.4 复制编译标志
    • 15.5 移植测试
    • 15.6 移植安装目标
    • 15.7 进一步迁移的措施
    • 15.8 项目转换为CMake的常见问题
  • 第16章 可能感兴趣的书
    • 16.1 留下评论——让其他读者知道你的想法
Powered by GitBook
On this page
  • 准备工作
  • 具体实施
  • 工作原理
  • 更多信息

Was this helpful?

  1. 第11章 打包项目

11.2 通过PyPI发布使用CMake/pybind11构建的C++/Python项目

Previous11.1 生成源代码和二进制包Next11.3 通过PyPI发布使用CMake/CFFI构建C/Fortran/Python项目

Last updated 5 years ago

Was this helpful?

NOTE:此示例代码可以在 中找到。该示例在CMake 3.11版(或更高版本)中是有效的,并且已经在GNU/Linux、macOS和Windows上进行过测试。

本示例中,我们将以第9章第5节的代码的pybind11为例,为其添加相关的安装目标和pip打包信息,并将项目上传到PyPI。我们要实现一个可以使用pip安装,并运行CMake从而获取底层pybind11依赖项的项目。

准备工作

要通过PyPI分发包的话,需要一个 帐户。当然,也可以先从本地路径进行安装练习。

TIPS:建议使用Pipenv ( )或虚拟环境( )安装这个包和其他的Python包。

我们基于第9章第5节的项目,它包含一个主CMakeLists.txt文件和一个account/CMakeLists.txt文件,配置帐户示例目标时,使用如下的项目树:

.
├── account
│    ├── account.cpp
│    ├── account.hpp
│    ├── CMakeLists.txt
│    s└── test.py
└── CMakeLists.txt

示例中,account.cpp,account.hpp和test.py没有任何变化。修改account/CMakeLists.txt,并为pip添加几个文件,以便能够构建安装包。为此,需要根目录中的另外三个文件:README.rst,MANIFEST.in和setup.py。

README.rst中包含关于项目的s文档:

Example project
===============

Project description in here ...

MANIFEST.in列出了需要安装的Python模块:

include README.rst CMakeLists.txt
recursive-include account *.cpp *.hpp CMakeLists.txt

最后,setup.py包含构建指令和安装项目的说明:

import distutils.command.build as _build
import os
import sys
from distutils import spawn
from distutils.sysconfig import get_python_lib
from setuptools import setup


def extend_build():
  class build(_build.build):
    def run(self):
      cwd = os.getcwd()
      if spawn.find_executable('cmake') is None:
        sys.stderr.write("CMake is required to build this package.\n")
        sys.exit(-1)
        _source_dir = os.path.split(__file__)[0]
        _build_dir = os.path.join(_source_dir, 'build_setup_py')
        _prefix = get_python_lib()
        try:
          cmake_configure_command = [
              'cmake',
              '-H{0}'.format(_source_dir),
              '-B{0}'.format(_build_dir),
              '-DCMAKE_INSTALL_PREFIX={0}'.format(_prefix),
          ]
          _generator = os.getenv('CMAKE_GENERATOR')
          if _generator is not None:
            cmake_configure_command.append('-
                                          G{0}'.format(_generator))
          spawn.spawn(cmake_configure_command)
          spawn.spawn(
                ['cmake', '--build', _build_dir, '--target', 'install'])
          os.chdir(cwd)
        except spawn.DistutilsExecError:
          sys.stderr.write("Error while building with CMake\n")
          sys.exit(-1)
          _build.build.run(self)
  return build

_here = os.path.abspath(os.path.dirname(__file__))

if sys.version_info[0] < 3:
  with open(os.path.join(_here, 'README.rst')) as f:
    long_description = f.read()
else:
  with open(os.path.join(_here, 'README.rst'), encoding='utf-8') as f:
    long_description = f.read()

_this_package = 'account'

version = {}
with open(os.path.join(_here, _this_package, 'version.py')) as f:
  exec(f.read(), version)

setup(
    name=_this_package,
    version=version['__version__'],
    description='Description in here.',
    long_description=long_description,
    author='Bruce Wayne',
    author_email='bruce.wayne@example.com',
    url='http://example.com',
    license='MIT',
    packages=[_this_package],
    include_package_data=True,
    classifiers=[
        'Development Status :: 3 - Alpha',
        'Intended Audience :: Science/Research',
        'Programming Language :: Python :: 2.7',
        'Programming Language :: Python :: 3.6'
    ],
    cmdclass={'build': extend_build()})

account子目录中放置一个__init__.py脚本:

from .version import __version__
from .account import Account
__all__ = [
  '__version__',
  'Account',
]

再放一个version.py脚本:

__version__ = '0.0.0'

项目的文件结构如下:

.
├── account
│    ├── account.cpp
│    ├── account.hpp
│    ├── CMakeLists.txt
│    ├── __init__.py
│    ├── test.py
│    └── version.py
├── CMakeLists.txt
├── MANIFEST.in
├── README.rst
└── setup.py

具体实施

本示例基于第9章第5节项目的基础上。

首先,修改account/CMakeLists.txt,添加安装目标:

install(
  TARGETS
      account
  LIBRARY
      DESTINATION account
  )

安装目标时,README.rst, MANIFEST.in,setup.py、__init__.py和version.py将放置在对应的位置上,我们准备使用pybind11测试安装过程:

  1. 为此,在某处创建一个新目录,我们将在那里测试安装。

  2. 在创建的目录中,从本地路径运行pipenv install。调整本地路径,指向setup.py的目录:

    $ pipenv install /path/to/cxx-example
  3. 在Pipenv环境中打开一个Python shell:

    $ pipenv run python
  4. Python shell中,可以测试我们的CMake包:

    >>> from account import Account
    >>> account1 = Account()
    >>> account1.deposit(100.0)
    >>> account1.deposit(100.0)
    >>> account1.withdraw(50.0)
    >>> print(account1.get_balance())
    150.0

工作原理

${CMAKE_CURRENT_BINARY_DIR}目录包含编译后的account.cpython-36m-x86_64-linux-gnu.so,这个动态库就是使用pybind11构建Python模块。但是请注意,它的名称取决于操作系统(本例中是64位Linux)和Python环境(本例中是Python 3.6)。setup.pys脚本将运行CMake,并根据所选的Python环境(系统Python,Pipenv或虚拟环境)将Python模块安装到正确的路径下。

不过,在安装模块时面临两个挑战:

  • 名称可变

  • CMake外部设置路径

可以使用下面的安装目标来解决这个问题,将在setup.py中定义安装目标位置:

install(
  TARGETS
      account
  LIBRARY
      DESTINATION account
  )

指示CMake将编译好的Python模块文件安装到相对于安装目标位置的account子目录中(第10章中详细讨论了如何设置目标位置)。setup.py将通过设置CMAKE_INSTALL_PREFIX来设置安装位置,并根据Python环境指向正确的路径。

让我们看看setup.py如何实现的。自下而上来看一下脚本:

setup(
  name=_this_package,
  version=version['__version__'],
  description='Description in here.',
  long_description=long_description,
  author='Bruce Wayne',
  author_email='bruce.wayne@example.com',
  url='http://example.com',
  license='MIT',
  packages=[_this_package],
  include_package_data=True,
  classifiers=[
    'Development Status :: 3 - Alpha',
    'Intended Audience :: Science/Research',
    'Programming Language :: Python :: 2.7',
    'Programming Language :: Python :: 3.6'
  ],
  cmdclass={'build': extend_build()})

该脚本包含许多占位符,还包含一些自解释的语句。这里我们将重点介绍最后一个指令cmdclass。这个指令中,通过自定义extend_build函数扩展默认的构建步骤。这个默认的构建步骤如下:

def extend_build():
  class build(_build.build):
    def run(self):
      cwd = os.getcwd()
      if spawn.find_executable('cmake') is None:
        sys.stderr.write("CMake is required to build this package.\n")
        sys.exit(-1)
        _source_dir = os.path.split(__file__)[0]
        _build_dir = os.path.join(_source_dir, 'build_setup_py')
        _prefix = get_python_lib()
        try:
          cmake_configure_command = [
              'cmake',
              '-H{0}'.format(_source_dir),
              '-B{0}'.format(_build_dir),
              '-DCMAKE_INSTALL_PREFIX={0}'.format(_prefix),
          ]
          _generator = os.getenv('CMAKE_GENERATOR')
          if _generator is not None:
            cmake_configure_command.append('-
                                          G{0}'.format(_generator))
          spawn.spawn(cmake_configure_command)
          spawn.spawn(
                ['cmake', '--build', _build_dir, '--target', 'install'])
          os.chdir(cwd)
        except spawn.DistutilsExecError:
          sys.stderr.write("Error while building with CMake\n")
          sys.exit(-1)
          _build.build.run(self)
  return build

首先,检查CMake是否可用。函数执行了两个CMake命令:

          cmake_configure_command = [
              'cmake',
              '-H{0}'.format(_source_dir),
              '-B{0}'.format(_build_dir),
              '-DCMAKE_INSTALL_PREFIX={0}'.format(_prefix),
          ]
          _generator = os.getenv('CMAKE_GENERATOR')
          if _generator is not None:
            cmake_configure_command.append('-
                                          G{0}'.format(_generator))
          spawn.spawn(cmake_configure_command)
          spawn.spawn(
                ['cmake', '--build', _build_dir, '--target', 'install'])

我们可以设置CMAKE_GENERATOR环境变量来修改生成器。安装目录如下方式设置:

_prefix = get_python_lib()

从安装目录的根目录下,通过distutils.sysconfig导入get_python_lib函数。cmake --build _build_dir --target install命令以一种可移植的方式,构建和安装我们的项目。使用_build_dir而不使用build的原因是,在测试本地安装时,项目可能已经包含了一个build目录,这将与新安装过程发生冲突。对于已经上传到PyPI的包,构建目录的名称并不会带来什么影响。

更多信息

上传之前,我们需要在主目录中创建一个名为.pypirc的文件,其中包含(替换成自己的yourusername和yourpassword):

[distutils]account
index-servers=
  pypi
  pypitest

[pypi]
username = yourusername
password = yourpassword

[pypitest]
repository = https://test.pypi.org/legacy/
username = yourusername
password = yourpassword

我们将分两步进行。首先,我们在本地创建Release包:

$ python setup.py sdist

第二步中,使用Twine上传生成的分布数据(我们将Twine安装到本地的Pipenv中):

$ pipenv run twine upload dist/* -r pypitest

Uploading distributions to https://test.pypi.org/legacy/
Uploading yourpackage-0.0.0.tar.gz

下一步,从测试实例到,将包安装到一个隔离的环境中:

$ pipenv shell
$ pip install --index-url https://test.pypi.org/simple/ yourpackage

当一切正常,就将我们的包上传到了PyPI:

$ pipenv run twine upload dist/* -r pypi

现在我们已经测试了本地安装,准备将包上传到PyPI。在此之前,请确保setup.py中的元数据(例如:项目名称、联系方式和许可协议信息)是合理的,并且项目名称没有与PyPI已存在项目重名。在上传到 之前,先测试PyPI( )上,进行上载和下载的尝试。

https://github.com/dev-cafe/cmake-cookbook/tree/v1.0/chapter-11/recipe-02
https://pypi.org
https://docs.pipenv.org
https://virtualenv.pypa
https://pypi.org
https://test.pypi.org