Skip to main content
 首页 » 编程设计

python之POST 请求使用 csv 文件中的批量数据创建资源

2024年12月31日9pander-it

我在我的许多项目中都使用了 Python,但我是 django 和 django rest 框架的新手,我正在使用它来为我当前的项目设计和开发一组 Web API。

编织后端,我们使用 Postgres 获取用户信息,使用 DynamoDb 获取用户必须处理的其他资源集。

在基本实现中,我尝试编写如下 View 集:

class WorkViewSet(viewsets.ViewSet): 
    serializer_class = serializers.WorkSerializer 
    permission_map = { 
        'create'             : [IsAuthenticated, IsUser, ],  # post 
        'list'               : [IsAuthenticated, ],          # get 
        'retrieve'           : [IsAuthenticated, ],          # get 
        'work_approval'      : [IsAuthenticated, IsAdmin, ], # post 
        'work_disapproval'   : [IsAuthenticated, IsAdmin, ], # post 
    } 
 
    def list(self, request): 
        ... 
 
    def create(self, request): 
        ... 
 
    def retrieve(self, request, pk=None): 
        ... 
 
    @action(methods=['post'], detail=True, url_path='approve', url_name='work_approval') 
    def work_approval(self, request, pk=None, *args, **kwargs): 
        ... 
 
    @action(methods=['post'], detail=True, url_path='disapprove', url_name='work_disapproval') 
    def work_disapproval(self, request, pk=None, *args, **kwargs): 
        ... 
 
    def get_permissions(self): 
        try: 
            return [permission() for permission in self.permission_map[self.action]] 
        except KeyError: 
            return [permission() for permission in self.permission_classes] 

和序列化器如下:

class WorkSerializer(serializers.Serializer): 
    STATUSES = ( 
        '0', 
        '1', 
        '2', 
    ) 
    work_id     = serializers.IntegerField(read_only=True) 
    work_name   = serializers.CharField(max_length=256) 
    work_type   = serializers.CharField(max_length=256) 
    work_status = serializers.ChoiceField(choices=STATUSES, default='0') 
 
    def create(self, validated_data): 
        ... 
 
    def update(self, instance, validated_data): 
        ... 

这组代码对我来说工作得很好,但是随着最新的需求变化,我需要配置 POST 请求来额外接受一个 csv 文件并解析这个文件以提取必须在其他字段中推送到数据库的内容(不是作为文件字段)。我试图寻找解决此问题的方法并找到了这个 link但是这个解决方案主要针对单一类型资源的批量提交,这与我的需求不同。

我正在使用 Python 3.6.5、Django 2.0.6 和 Django Rest Framework 3.8.2

请帮助我应该如何进行。

请您参考如下方法:

扩展序列化程序以包含 CSV 文件:

class WorkSerializer(serializers.Serializer): 
    csv_file = serializers.FileField() 

在序列化器的创建函数中:

 def create(self, validated_data): 
     csv_input = validated_data.pop("csv_file", None) 
     instance = super().create(validated_data) 
 
     if csv_input:  
          ** Process your csv file ** 
 
     return instance  

就个人而言,我建议您创建一个后台来处理 csv 文件和更新数据库。因为这可能是长时间运行的任务。 因此,您可以安排一个任务,而不是在 POST 请求期间直接处理 csv 文件。

已更新以回答评论

后台处理 - 它需要一些配置,您可以选择多种方式。也许,最简单的是使用 django background tasks 这将很好地满足您的目的。您只需创建一个函数,添加背景装饰器,当它被调用时,就会安排一个任务。

Do you think if this approach of using a csv file to post bulk data is a good one or we should use a huge json instead ?

那要看情况了。

如果您上传一个文件,您将需要为其配置一个您的计划任务可以访问的存储(本地或远程,同样取决于您的用例)。 一个巨大的 json - 嗯,这取决于它有多大。您需要运行一些测试以确定您的极限在哪里。

也许一个可能的解决方案是将您的 csv 文件直接从客户端上传到您的存储(如果您使用 S3 - 那会很容易)然后告诉您的服务器从那里处理它。