分布式框架Ray之:Ray Datasets 按列读取

评论(0)

需求描述 需要支持分布式数据读取对单个特征所有数据进行分析,如特征选择、分箱等适应分布式,最小化读取中内存增加 数据格式: CSV 文件,内容为mnist数据集 28*28 转为784个特征, 表头为:label + 784个特征 ...

分布式框架Ray之:python path 问题

评论(0)

当引用非 python path 下的第三方模块或文件时,如果使用 ray actor 时会出现导入不了包的情况: ModuleNotFoundError: No module named 'xx' 情况复现: 目录结构: src_dir 为我们的工作目录 代码: import os ...