CSV - 在 Python 中处理本地和远程文件

来源：恩氏滤油机

时间：2024-09-23

浏览量：0

编码员们大家好！

本文介绍了一个开源工具，它能够处理本地和远程 csv 文件、加载和打印信息，然后将列映射到 django 类型。当数据集变大、excel不支持自定义报告或通过数据表进行完整数据操作时，通常需要处理csv文件，并且需要api。

当前的功能列表可以进一步扩展，以将 csv 文件映射到数据库表/模型并完全生成仪表板 web 应用程序。

源代码：appseed 服务的 csv 处理器部分（开源）

在开始讲解代码和用法之前，我们先总结一下工具的特点：

加载本地和远程文件

打印值

打印检测到的列类型

将映射类型打印到 django 模型

按照 readme 中的说明克隆项目源并使其可用后，可以通过 cli 执行 csv 解析器。安装完成后，我们可以使用以下一行代码调用 cvs 处理器：

$ python manage.py tool_inspect_source -f media/tool_inspect/csv_inspect.json

该工具执行以下任务：

验证输入

找到 csv 文件（如果找不到则错误退出）

加载信息并检测列类型

检测 django 列类型

打印前 10 行

同样可以应用于本地和远程文件。例如，我们可以通过运行这个单行代码来分析臭名昭著的 titanic.cvs：

$ python manage.py tool_inspect_source -f media/tool_inspect/csv_inspect_distant.json

# output
> processing .media	ool_inspectcsv_inspect_distant.json
    |-- file: https://raw.githubusercontent.com/datasciencedojo/datasets/master/titanic.csv
    |-- type: csv


field        csv type    django types
-----------  ----------  ------------------------------------------
passengerid  int64       models.integerfield(blank=true, null=true)
survived     int64       models.integerfield(blank=true, null=true)
pclass       int64       models.integerfield(blank=true, null=true)
name         object      models.textfield(blank=true, null=true)
sex          object      models.textfield(blank=true, null=true)
age          float64     models.floatfield(blank=true, null=true)
sibsp        int64       models.integerfield(blank=true, null=true)
parch        int64       models.integerfield(blank=true, null=true)
ticket       object      models.textfield(blank=true, null=true)
fare         float64     models.floatfield(blank=true, null=true)
cabin        object      models.textfield(blank=true, null=true)
embarked     object      models.textfield(blank=true, null=true)


[1] - passengerid,survived,pclass,name,sex,age,sibsp,parch,ticket,fare,cabin,embarked
[2] - 1,0,3,"braund, mr. owen harris",male,22,1,0,a/5 21171,7.25,,s
[3] - 2,1,1,"cumings, mrs. john bradley (florence briggs thayer)",female,38,1,0,pc 17599,71.2833,c85,c
[4] - 3,1,3,"heikkinen, miss. laina",female,26,0,0,ston/o2. 3101282,7.925,,s
[5] - 4,1,1,"futrelle, mrs. jacques heath (lily may peel)",female,35,1,0,113803,53.1,c123,s
[6] - 5,0,3,"allen, mr. william henry",male,35,0,0,373450,8.05,,s
[7] - 6,0,3,"moran, mr. james",male,,0,0,330877,8.4583,,q
[8] - 7,0,1,"mccarthy, mr. timothy j",male,54,0,0,17463,51.8625,e46,s
[9] - 8,0,3,"palsson, master. gosta leonard",male,2,3,1,349909,21.075,,s
[10] - 9,1,3,"johnson, mrs. oscar w (elisabeth vilhelmina berg)",female,27,0,2,347742,11.1333,,s
... (truncated output)

以下是该工具的相关部分：

立即学习“Python免费学习笔记（深入）”；

加载信息并事先检查源是本地还是远程

    print( '> processing ' + arg_json )
    print( '    |-- file: ' + json_data['source'] )
    print( '    |-- type: ' + json_data['type'  ] )
    print( '
')

    tmp_file_path = none 

    if 'http' in json_data['source']:
        url = json_data['source']
        r = requests.get(url)
        tmp_file = h_random_ascii( 8 ) + '.csv'
        tmp_file_path = os.path.join( dir_tmp, tmp_file )
        if not file_write(tmp_file_path, r.text ):
            return
        json_data['source'] = tmp_file_path
    else:    
        if not file_exists( json_data['source'] ):
            print( ' > err loading source: ' + json_data['source'] )            
            return

    csv_types = parse_csv( json_data['source'] )

分析标头并将检测到的类型映射到 django 类型。

对于表格视图，使用 tabulate library：

    csv_types = parse_csv( json_data['source'] )

    #pprint.pp ( csv_types )

    table_headers = ['field', 'csv type', 'django types']
    table_rows    = []

    for t in csv_types:
        t_type        = csv_types[t]['type']
        t_type_django = django_fields[ t_type ]
        table_rows.append( [t, t_type, t_type_django] )

    print(tabulate(table_rows, table_headers))

最后一步是打印csv数据：

    csv_data = load_csv_data( json_data['source'] )

    idx = 0
    for l in csv_data:
        idx += 1
        print( '['+str(idx)+'] - ' + str(l) )  

        # truncate output ..
        if idx == 10:
            print( ' ... (truncated output) ' ) 
            break

此时，代码为我们提供了获取 csv 信息、数据类型以及 django 对应的数据类型的权限。该映射可以轻松扩展为任何框架，如 flask、express 或 nextjs。

django 的类型映射是这样的：

# Pandas Type
django_fields = {
    'int'           : 'models.IntegerField(blank=True, null=True)',
    'integer'       : 'models.IntegerField(blank=True, null=True)',
    'string'        : "models.TextField(blank=True, null=True)",
    'string_unique' : "models.TextField(blank=True, null=False, unique=True)",
    'object'        : "models.TextField(blank=True, null=True)",
    'object_unique' : "models.TextField(blank=True, null=False, unique=True)",
    'int64'         : 'models.IntegerField(blank=True, null=True)',
    'float64'       : 'models.FloatField(blank=True, null=True)',
    'bool'          : 'models.BooleanField(null=True)',
}

此工具正在积极开发中，以下是后续步骤：

将该工具连接到更多数据源，例如远程/本地数据库（sqlite、mysql、pgsql）、json

为任何框架生成模型：fastapi、flask、express、nextjs

在顶部生成安全的 api

使用 tailwind/bootstrap 生成服务器端分页数据表进行样式化