在使用 PyODPS DataFrame 编写数据应用时，尽管编写的是同一个脚本文件，但其中的代码会在不同位置执行，这可能导致一些无法预期的问题，本文介绍当出现相关问题时，如何确定代码在何处执行，以及提供部分场景下解决问题的方法。
概述
假定我们要执行下面的代码：
from odps import ODPS, options
import numpy as np
o = ODPS(access_id, access_key, project, endpoint)
df = o.get_table('pyodps_iris').to_df()
coeffs = [0.1, 0.2, 0.4]
def handle(v):
import numpy as np
return float(np.cosh(v)) * sum(coeffs)
options.df.supersede_libraries = True
val = df.sepal_length.map(handle).sum().execute(libraries=['numpy.zip', 'other.zip'])
print(np.sinh(val))在开始分析之前，首先需要指出的是，PyODPS 是一个 Python 包而非 Python Implementation，PyODPS 的运行环境均为未经修改的 Python，因而并不会出现与正常 Python 解释器不一致的行为。亦即，你所写的每一条语句不会有与标准 Python 语句不同的行为，例如自动变成分布式代码，等等。
下面解释该代码的执行过程。
上图是执行上述代码时可能涉及的系统。代码本身执行的位置在图中用紫色表示，这些系统都位于 MaxCompute 外部，为了方便表述，下文称为“本地”。在本地执行的代码包括 handle 函数之外的部分（注意 handle 传入 map 时仅传入了函数本身而并未执行）。因而，这些代码在执行时，行为与普通 Python code 的执行行为类似，import 第三方包时，引用的是本地的包。因而，上面的代码中，libraries=['numpy.zip', 'other.zip']引用的other.zip因为并没有在本地安装，因而如果代码中有诸如 import other 这样的语句，会导致执行报错。即便 other.zip 已被上传到 MaxCompute 资源也是如此，因为本地根本没有这个包。理论上，本地代码如果不涉及 PyODPS 包，则与 PyODPS 无关，用户需要自行排查。
对于 handle 函数，情况发生了变化。handle 函数传入 map 方法时，如果使用的后端是 MaxCompute 后端，会先被 cloudpickle 模块提取闭包和，此后 PyODPS DataFrame 会使用闭包和字节码生成一个 Python UDF，提交到 MaxCompute。最后，作业以 SQL 的形式在 MaxCompute 执行时，会调用这个 Python UDF，其中的字节码和闭包内容会被 unpickle，此后在 MaxCompute Executor 执行。由此可见，在上述代码中，
上述对 handle 函数的解释对于自定义聚合、apply 和 map_reduce 中调用的自定义方法 / Agg 类均适用。如果使用的后端是 Pandas 后端，则所有代码都会在本地运行，因而本地也需要安装相关的包。但鉴于 Pandas 后端调试完毕后通常会转移到 MaxCompute 运行，建议在本地装包的同时，参照 MaxCompute 后端的惯例进行开发。
使用第三方包
- 个人电脑 / 自有服务器在本地使用第三方包 / 其他文件中的代码
在相应的 Python 版本上安装即可。
- DataWorks 中本地使用其他文件中的代码
该部分功能由 DataWorks 提供，请参考 。
- map / apply / map_reduce / 自定义聚合中使用第三方包 / 其他文件中的代码
需要补充的是，在 DataWorks 上上传资源后，需要点击“提交”确保资源被正确上传到 MaxCompute。如果需要使用自己的 Numpy 版本，在上传正确版本的 wheel 包的同时，需要配置 odps.df.supersede_libraries = True，同时确保你上传的 numpy 包名位于 libraries 的最前面，如果指定了 options.df.libraries，则 numpy 包名需要位于 options.df.libraries 的最前面。
引用其他 MaxCompute 表中的数据
- 个人电脑 / 自有服务器在本地访问 MaxCompute 表
如果 Endpoint 可以连接，使用 PyODPS / DataFrame 访问。
- map / apply / map_reduce / 自定义聚合中访问其他 MaxCompute 表
MaxCompute Executor 中通常不支持访问 Endpoint / Tunnel Endpoint，其上也没有 PyODPS 包可用，因而不能直接使用 ODPS 入口对象或者 PyODPS DataFrame，也不能从自定义函数外部传入这些对象。如果表的数据量不大，建议将 DataFrame 作为资源传入。如果数据量较大，建议改写成 join。
访问其他服务
- 个人电脑 / 自有服务器在本地访问其他服务
保证自己的环境中可以正常访问相关服务，生产服务器可以联系 PE。
- DataWorks 上的本地代码中访问其他服务
请咨询 DataWorks。
- map / apply / map_reduce / 自定义聚合中访问其他服务
本文为云栖社区原创内容，未经允许不得转载。