抓取资源

描述

该接口提供从指定URL抓取资源,并存储到指定空间。

请求说明

POST /fmgr/fetch
HOST: <MgrDomain>
Authorization:<accessToken>

头部说明

参数 必填 描述
HOST 管理域名,可在用户管理界面获取
Authorization 管理凭证

参数说明

请求参数以如下格式组织,作为请求内容提交:

fops=fetchURL/<Urlsafe_Base64_Encoded_URL>/bucket/<Urlsafe_Base64_Encoded_bucket>/key/<Urlsafe_Base64_Encoded_key>/prefix/<Urlsafe_Base64_Encoded_prefix>/md5/<md5>/decompression/<decompression>&notifyURL=<Urlsafe_Base64_Encoded_notifyUrl>&force=<Force>&separate=<Separate>
参数 必填 描述
fops 处理参数列表,格式为上述说明,支持同时请求多个处理,参数列表之间用 ; 分隔。
fetchURL 指定抓取URL。
<Urlsafe_Base64_Encoded_URL>为对指定URL地址进行URL安全的Base64编码后的字符串。
bucket 指定存储空间。
<Urlsafe_Base64_Encoded_bucket>为对指定Bucket名称进行URL安全的Base64编码后的字符串。
key 指定存储资源的key。
<Urlsafe_Base64_Encoded_key>为对指定资源的key进行URL安全的Base64编码后的字符串。
注:未指定key时,则资源的key为抓取URL的URI
prefix 指定资源key的前缀。
<Urlsafe_Base64_Encoded_prefix>为对指定资源的key的前缀进行URL安全的Base64编码后的字符串。
注:指定prefix参数时,资源最终保存为prefix/key
md5 指定资源的md5值。
通过指定URL抓取到的资源md5值与指定的md5值一致时保存,否则不保存。不指定则不校验md5值,直接保存。
decompression 对拉取的文件进行指定类型的解压缩,支持zip/tar/gzip
例如:配置/decompression/zip则对拉取后的文件进行unzip解压。
crush 解压成功后的操作:
2-解压成功后删除压缩文件,不创建list文件
1-解压成功后删除压缩文件,保留list文件
0-解压成功后保留压缩文件,保留list文件
p 指定解压文件时的密码,为保证安全,需要进行RSA加密。
1、RSA密钥对由客户提供,并将公钥告知云存储。
2、客户使用RSA私钥加密后再传递密文给云存储。
3、云存储收到密文后使用客户提供的公钥解密后,再用于压缩文件的解压。
4、该参数目前仅支持rar、zip格式的文件,其它格式会忽略该参数。
fetchTS 在抓取m3u8文件时,指定否需要抓取TS文件:
0-表示不抓取TS文件
1-表示需要抓取TS文件
注:<1>若未设置该参数,默认不抓取TS文件。
<2>仅支持m3u8文件且TS访问路径必须是相对路径。
<3>不支持多码率自适应的m3u8文件。
notifyURL 处理结果通知接收URL,需要使用URL安全的Base64编码,通知内容格式见任务查询接口的返回内容。
force 是否强制执行处理。
1:强制执行数据处理并覆盖原结果。
0:若数据处理结果已存在,则认为处理成功,避免重复处理浪费资源。
默认值为0。
separate 处理指令是否分开通知。设置1和0作为选项码:
1:表示每个指令执行完后都通知notifyURL
0:表示所有指令执行完后再一次性通知notifyURL
默认值为0。

请求参数示例

fops=fetchURL/aHR0cDovL3d3dy5iYWlkdS5jb20vYWEuanBn/bucket/bXlidWNrZXQ=;fetchURL/aHR0cDovL3d3dy5iYWlkdS5jb20vYWEuanBn/bucket/bXlidWNrZXQ=/key/ZGlyL2FhLmpwZw==/prefix/YWFkaXIv/md5/0bee89b07a248e27c83fc3d5951213c1;fetchURL/aHR0cDovL3d3dy5iYWlkdS5jb20vYWEuemlw/bucket/bXlidWNrZXQ=/decompression/zip&notifyURL=aHR0cDovL3Rlc3QuY29tL25vdGlmeVVSbA==&force=1&separate=1

响应说明

如果请求成功,则返回如下内容的Json串:

{ "persistentId": <persistentId> }
字段名 必填 描述
persistentId 任务进程ID,可以用于查询任务进度。

如果请求失败,则返回如下内容的Json字符串:

{
    "code":     "<code string>",
    "message":  "<ErrMsg string>"
}
字段名 必填 描述
code HTTP请求响应码,参见HTTP响应状态码<返回码>
message 请求失败的提示信息

范例

curl -v -X POST -d "fops=fetchURL/aHR0cDovL3d3dy5iYWlkdS5jb20vYWEuanBn/bucket/bXlidWNrZXQ=/key/ZGlyL2FhLmpwZw==/prefix/YWFkaXIv/md5/0bee89b07a248e27c83fc3d5951213c1;fetchURL/aHR0cDovL3d3dy5iYWlkdS5jb20vYWEuemlw/bucket/bXlidWNrZXQ=/decompression/zip&notifyURL=aHR0cDovL3Rlc3QuY29tL25vdGlmeVVSbA==&force=1&separate=1" -H "Authorization:86622e227a50d49d858c2494a935bc2e4ac543a7:Y2JmMGY0YTNhZmQxZmVlZGM2ZTA0YTdjNTcyOWQ1NjRkNTExYjg0Yg==" --url "http://mgrDomain/fmgr/fetch"