欢迎来到阿里云合作伙伴典名科技! 阿里云购买咨询电话:023-61066666 手机:18623333330  13452888883 13452888886  18581111171  QQ:11611616 / 673768899 / 673768855 / 956491
  • 1
  • 2
  • 3
  • 4
  • 5
问题帮助文档
当前位置: 网站首页  »    »  阿里云帮助文档  »  问题帮助文档

阿里云对象存储OSS大文件如何进行上传?

重庆典名科技 admin    重庆典名科技 2018-5-14

为了能够更好的满足大规模存储的应用场景,阿里云对出了对象存储OSS产品。能够最大限度的节约用户成本。由于用户需要存储的数据都是比较大的文件,超过了5G的文件通过简单的上传方式是不能实现的,下面就跟着阿里云代理商来一起解决大文件上传的问题


本文解决的问题

阿里云对象存储OSS支持单个文件的大小,从0-48.8TB.当我们再进行大文件上传的时候,可能会出现以下的情况:

1】单个文件超过了5GB,简单的上传方法没有办法使用。

2】上传的文件比较大,所以大小小于5GB,但是网络环境比较差,常常会出现网络超时或者是断开链接等错误的时候,上传非常容易失败。

上诉情况,我们可以使用分片断点续传方式或者是使用ossutil工具上传


分片断点续传

当我们使用SDK或者是APL上传文件时候,就可以采用分片断点续传方式,分片上传的方法使用使用在以下场景:

1】单个上传文件大小超过了5GB

2】流式上传:这种方式适用于当文件的大小还不是很确定的情况之下,需要开始上传,例如视频监控等行业的云录像应用。

3】恶劣的网络环境,需要断点续传大文件。例如我们自身网络环境很差常常出现网络链接中断,或者无法链接等情况,就非常需要进行断点续传,避免上一次传说上去的数据丢失。

4】加速上传,需要上到的对象存储OSS的本地文件很大的时候,我们可以并行多个个Part以加快上传。

【注】阿里云对象存储OSS是支持单个文件最大为48.8TB


ossutil上传

当我们需要使用工具(而不是使用API、SDK编写代码)进行上传单个或者是多个单文件的时候,就可以只用ossutil 工具进行上传:

1】我们可以使用OSS util命令工具的CP命令进行大文件上传

2】可以支持上传的单个文件的大小范围,0048.8TB

3】可通过--bigfile-threshold 参数控制分片并发上传的文件大小阈值

4】ossutil上传单个或多个大文件时,可以通过-jobs项和-parallel项,控制并发,优化上传性能


ossimport上传

假如您需要上传大批量的文件其中包括大文件到阿里云对象存储OSS,也可以使用ossimport 工具。

【注】假如这个文件的数目并不是特别多的时候,阿里云代理商建议您使用ossutil


常见问题

一】为什么使用简单的上传(PutObject)上传大文件没有办法成功?

阿里云代理商总结可能存在的原因:

1】文件的大小超过了5GB

办法,用户可以使用ossutil命令行工具,通过把文件分块上传到接口将文件部分多个小的分类进行上传


2】文件大小小于5GB,但是可能是由于网络环境原因,出现啥清楚小文件正常,到那时上传稍微比较大的文件时就出现请求发出收不到任何响应,知道超时的情况。这有可能是服务器的MTU设置较大导致的。用户可在ECS上执行netstat -i获取当前的MTU设置值。如下图获得默认的内外网网卡的MTU都是1500

方法1:将本机的MTU改为较小一些。Linux下修改MTU的命令是:ip link set dev eth0 mtu 1470(以ECS通过eth0内网访问OSS调整MTU值为1470)。

办法2:也可以使用分片上传接口或ossutil工具。


二】上传单个大文件能不能并发上传?

若使用ossutil上传时,可以通过--bigfile-threshold、-jobs和-parallel选项

如使用OSS API、SDK的分片上传接口,可以根据需要编写并发调用上传接口的代码


上述就是阿里云对象存储OSS大文件上传的办法,以及在上传的时候会遇到的一些问题的解决办法。若您在实际操作中遇到问题或者是需要咨询阿里云产品价格、折扣以及使用的请您自己联系本站客服,专业人员会为您一一解答。


+查看更多+
常见问题解决方案
相关热门文章
热门产品推荐
热门产品推荐
阿里云代理商
阿里云客服
阿里云客服
阿里云客服