该接口提供从指定URL抓取资源,并存储到指定空间。
POST /fmgr/fetch
HOST: <MgrDomain>
Authorization:<accessToken>
参数 | 必填 | 描述 |
---|---|---|
HOST | 是 | 管理域名,可在用户管理界面获取 |
Authorization | 是 | 管理凭证 |
请求参数以如下格式组织,作为请求内容提交:
fops=fetchURL/<Urlsafe_Base64_Encoded_URL>/bucket/<Urlsafe_Base64_Encoded_bucket>/key/<Urlsafe_Base64_Encoded_key>/prefix/<Urlsafe_Base64_Encoded_prefix>/md5/<md5>/decompression/<decompression>¬ifyURL=<Urlsafe_Base64_Encoded_notifyUrl>&force=<Force>&separate=<Separate>
参数 | 必填 | 描述 |
---|---|---|
fops | 是 | 处理参数列表,格式为上述说明,支持同时请求多个处理,参数列表之间用 ; 分隔。 |
fetchURL | 是 | 指定抓取URL。
<Urlsafe_Base64_Encoded_URL>为对指定URL地址进行URL安全的Base64编码后的字符串。 |
bucket | 是 | 指定存储空间。
<Urlsafe_Base64_Encoded_bucket>为对指定Bucket名称进行URL安全的Base64编码后的字符串。 |
key | 否 | 指定存储资源的key。
<Urlsafe_Base64_Encoded_key>为对指定资源的key进行URL安全的Base64编码后的字符串。 注:未指定key时,则资源的key为抓取URL的URI。 |
prefix | 否 | 指定资源key的前缀。
<Urlsafe_Base64_Encoded_prefix>为对指定资源的key的前缀进行URL安全的Base64编码后的字符串。 注:指定prefix参数时,资源最终保存为prefix/key。 |
md5 | 否 | 指定资源的md5值。
通过指定URL抓取到的资源md5值与指定的md5值一致时保存,否则不保存。不指定则不校验md5值,直接保存。 |
decompression | 否 | 对拉取的文件进行指定类型的解压缩,支持zip/tar/gzip
例如:配置/decompression/zip则对拉取后的文件进行unzip解压。 |
crush | 否 | 解压成功后的操作:
2-解压成功后删除压缩文件,不创建list文件 1-解压成功后删除压缩文件,保留list文件 0-解压成功后保留压缩文件,保留list文件 |
p | 否 | 指定解压文件时的密码,为保证安全,需要进行RSA加密。 1、RSA密钥对由客户提供,并将公钥告知云存储。 2、客户使用RSA私钥加密后再传递密文给云存储。 3、云存储收到密文后使用客户提供的公钥解密后,再用于压缩文件的解压。 4、该参数目前仅支持rar、zip格式的文件,其它格式会忽略该参数。 |
fetchTS | 否 | 在抓取m3u8文件时,指定否需要抓取TS文件: 0-表示不抓取TS文件 1-表示需要抓取TS文件 注:<1>若未设置该参数,默认不抓取TS文件。 <2>仅支持m3u8文件且TS访问路径必须是相对路径。 <3>不支持多码率自适应的m3u8文件。 |
notifyURL | 否 | 处理结果通知接收URL,需要使用URL安全的Base64编码,通知内容格式见任务查询接口的返回内容。 |
force | 否 | 是否强制执行处理。
1:强制执行数据处理并覆盖原结果。 0:若数据处理结果已存在,则认为处理成功,避免重复处理浪费资源。 默认值为0。 |
separate | 否 | 处理指令是否分开通知。设置1和0作为选项码:
1:表示每个指令执行完后都通知notifyURL 0:表示所有指令执行完后再一次性通知notifyURL 默认值为0。 |
请求参数示例
fops=fetchURL/aHR0cDovL3d3dy5iYWlkdS5jb20vYWEuanBn/bucket/bXlidWNrZXQ=;fetchURL/aHR0cDovL3d3dy5iYWlkdS5jb20vYWEuanBn/bucket/bXlidWNrZXQ=/key/ZGlyL2FhLmpwZw==/prefix/YWFkaXIv/md5/0bee89b07a248e27c83fc3d5951213c1;fetchURL/aHR0cDovL3d3dy5iYWlkdS5jb20vYWEuemlw/bucket/bXlidWNrZXQ=/decompression/zip¬ifyURL=aHR0cDovL3Rlc3QuY29tL25vdGlmeVVSbA==&force=1&separate=1
如果请求成功,则返回如下内容的Json
串:
{ "persistentId": <persistentId> }
字段名 | 必填 | 描述 |
---|---|---|
persistentId | 是 | 任务进程ID,可以用于查询任务进度。 |
如果请求失败,则返回如下内容的Json
字符串:
{
"code": "<code string>",
"message": "<ErrMsg string>"
}
字段名 | 必填 | 描述 |
---|---|---|
code | 是 | HTTP请求响应码,参见HTTP响应状态码<返回码> |
message | 是 | 请求失败的提示信息 |
curl -v -X POST -d "fops=fetchURL/aHR0cDovL3d3dy5iYWlkdS5jb20vYWEuanBn/bucket/bXlidWNrZXQ=/key/ZGlyL2FhLmpwZw==/prefix/YWFkaXIv/md5/0bee89b07a248e27c83fc3d5951213c1;fetchURL/aHR0cDovL3d3dy5iYWlkdS5jb20vYWEuemlw/bucket/bXlidWNrZXQ=/decompression/zip¬ifyURL=aHR0cDovL3Rlc3QuY29tL25vdGlmeVVSbA==&force=1&separate=1" -H "Authorization:86622e227a50d49d858c2494a935bc2e4ac543a7:Y2JmMGY0YTNhZmQxZmVlZGM2ZTA0YTdjNTcyOWQ1NjRkNTExYjg0Yg==" --url "http://mgrDomain/fmgr/fetch"