优质广告供应商

广告是为了更好地支持作者创作

关于 『AI 专属数据库的定制』的改进

AI 专属数据库的定制』的改进版本实现了更加方便的使用自己的专属数据集。

载入数据集

关于 DataBunch 见文末的脚本。

import sys

sys.path.append('E:/xinlib')
from base.filez import DataBunch
root = 'E:/Data/Zip/'
db = DataBunch(root)
db.keys()
dict_keys(['mnist', 'fashion_mnist', 'cifar10', 'cifar100'])
db.mnist.keys()
dict_keys(['url', 'namespace', 'trainX', 'trainY', 'testX', 'testY'])
db.fashion_mnist.keys()
dict_keys(['url', 'namespace', 'trainX', 'trainY', 'testX', 'testY'])
db.cifar10.keys()
dict_keys(['url', 'namespace', 'data_batch_4', 'test_batch', 'data_batch_3', 'meta', 'data_batch_2', 'data_batch_5', 'data_batch_1', 'trainX', 'trainY', 'testX', 'testY'])
db.cifar100.keys()
dict_keys(['url', 'namespace', 'train', 'test', 'meta', 'trainX', 'train_fine_labels', 'train_coarse_labels', 'testX', 'test_fine_labels', 'test_coarse_labels'])

将数据集写入 JSON 文件中

import pickle

序列化

def write_bunch(path):
    with open(path, 'wb') as fp:
        pickle.dump(db, fp)
path = f'{root}X.json'   # 写入数据集的文件路径
write_bunch(path)
path = f'{root}X.dat'  # 写入数据集的文件路径
write_bunch(path)

这样以后我们就可以直接 Copy f'{root}X.datf'{root}X.json' 到你可以放置的任何地方,然后你就可以通过 load 函数来调用 MNISTFashion MNISTCifa 10Cifar 100 这些数据集。即:

还有 74% 的精彩内容
禁止转载,如需转载请通过简信或评论联系作者。
支付 ¥1.00 继续阅读

优质广告供应商

广告是为了更好地支持作者创作

推荐阅读更多精彩内容

  • 关于Mongodb的全面总结 MongoDB的内部构造《MongoDB The Definitive Guide》...
    中v中阅读 30,461评论 2 89
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 131,290评论 18 138
  • 优质广告供应商

    广告是为了更好地支持作者创作

  • 1、通过CocoaPods安装项目名称项目信息 AFNetworking网络请求组件 FMDB本地数据库组件 SD...
    爱运动爱学习阅读 15,648评论 3 114
  • 你可能不知道我的存在,但只要有光的地方就会有我的陪,我就是的你的影子爱人! 不知何时起,我就缠上你了,每时每...
    zs123阅读 342评论 0 1
  • 1今夜 文/阿乐 一个转身 背景就换了 这黑色的水流 底部燃烧着虚无之火 游鱼无处藏身 河面开着各样的花 有香气的...
    阿乐1973阅读 113评论 0 0
  • 什么是激励? 涨工资并不会带来满足感,只会降低不满! 激励的2个角度:1、激励要让工作变成游戏。2、激励要永远站在...
    文宫芳儿阅读 169评论 0 1