当前位置:首页 > AI技术 > 正文内容

开发骡子快跑怎么采集短视频 骡子快跑视频采集方法案例|Duuu笔记

admin1周前 (04-07)AI技术17

前端在复杂场景下的解决方案

骡子快跑的Computer模式最稳,本质是提供7×24小时云端Linux虚拟机,需自行编写或运行爬虫脚本;预装python3.11、curl、ffmpeg,禁用Selenium等GUI依赖;推荐requests+execjs解密+ffmpeg合成,绕过抖音/快手/B站签名校验;定时采集后mv视频至Drive,避免rsync和硬编码Cookie;超级智能体模式不适用长周期采集,易超时且无法续传。

直接用「Computer 模式」跑爬虫脚本最稳

骡子快跑

本身不提供“一键采集短视频”的按钮,它不封装垂直功能,而是给你一台 7×24 小时在线的云端虚拟机——你让它执行什么,它就执行什么。所以采集短视频,本质是让它运行你写的或选中的爬虫逻辑。

常见错误现象:

Permission denied

(没权限调用

curl

ffmpeg

)、

ModuleNotFoundError: No module named 'requests'

(依赖没装)、视频链接 403(反爬拦截)。

优先用官方预装环境:骡子快跑的

Computer

模式默认已装好

python3.11

pip

curl

ffmpeg

,不用自己配环境

别写需要 GUI 或浏览器渲染的脚本(比如 Selenium + Chrome):骡子快跑的虚拟机无图形界面,

chromedriver

会直接报错

no display server

推荐方案:用

requests

+

execjs

(解密 signature)+

ffmpeg

合并音频视频流,比模拟点击更轻、更快、更稳

怎么绕过抖音/快手/B站的签名校验

几乎所有主流平台的短视频真实地址都带时效性

sign

tt_params

,直接扒网页源码里的

src

属性基本是废链。骡子快跑没法帮你“自动逆向”,但它能稳定执行你提供的解密逻辑。

使用场景:你已有 Python 解密函数(比如从某开源项目抄来的

get_sign

),只需把它塞进脚本里,再让骡子快跑定时跑。

把解密逻辑封装成独立函数,例如

gen_video_url(video_id, user_agent)

,避免和请求逻辑耦合

注意时间戳精度:部分平台要求毫秒级

ts

,用

int(time.time() * 1000)

,不是

time.time()

别硬编码 Cookie:骡子快跑每次会话隔离,

Cookie

无法跨任务复用;改用设备指纹参数(如

device_id

iid

)配合 sign 算法更可持续

定时采集 + 自动存到 Drive 的完整链路

骡子快跑的

Drive

是你的专属云盘,所有任务生成的文件默认存在

/home/user/output/

,但不会自动同步过去——得你显式移动。

聚好用AI

可免费AI绘图、AI音乐、AI视频创作,聚集全球顶级AI,一站式创意平台

下载

性能影响:频繁写入大视频文件(>500MB)可能触发 I/O 限频,导致任务卡在

cp

阶段超时。

采集脚本末尾加一句:

mv /tmp/downloaded.mp4 /home/user/output/shorts_$(date +%Y%m%d_%H%M%S).mp4

crontab -e

设置定时(如每 2 小时跑一次):

0 */2 * * * cd /home/user/scripts && python3 tiktok_crawler.py

别用

rsync

同步整个目录:

Drive

不支持硬链接,且会重复上传未变文件;只

mv

新生成的成品文件即可

为什么不用「超级智能体模式」直接问“帮我下100个短视频”

因为那模式是面向一次性交付设计的,底层走的是 SOP + 大模型混合调度,适合“写 PPT”“生成研报”这类目标明确、步骤收敛的任务。短视频采集属于长周期、状态依赖、易中断、需重试的流程型工作,大模型容易在中间环节 hallucinate 出假 URL 或跳过重试逻辑。

容易踩的坑:

超级智能体模式

会主动终止长时间运行的任务(默认超时 6 分钟),而下载一个 3 分钟视频 + 解密 + 合并,很可能超时;一旦中断,进度不保存,重跑就得从头来。

真想省事:先用

超级智能体模式

生成初始爬虫脚本(提示词写清楚平台、字段、反爬要点),再把产出的代码复制到

Computer

模式里手动优化运行

别信“自动识别验证码”:骡子快跑目前不开放图像识别 API 调用权限,遇到滑块或点选,脚本会卡死,必须提前规避

骡子快跑不是黑盒采集工具,它是你远程的一台永不关机的 Linux 电脑——你得告诉它怎么连、怎么算、怎么存。最复杂的从来不是“怎么下”,而是“怎么让下得稳、断了能续、错了能查”。

相关文章

使用 ESP

针对该分类问题,我们使用了 Kaggle 手势识别数据集 中的一个开源数据集。原始数据集包括 10 个类别,我们只使用了其中 6 个。这些类别更容易识别,且日常生活中更有用,如...

神经网络中的单层神经网络

神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。人脑中的神经网络是一个非常复杂的组织。成人的大脑中估计有1000亿个神经元之多。 看一个经典的神经网络。这是一个包...

推荐10个AI人工智能技术网站

除了研究和开发人工智能技术,OpenAI还积极参与人工智能伦理和安全的研究和探讨。 认为,人工智能技术的发展必须遵循伦理和法律的规范,以确保人工智能的应用不会对人类带来负面影响。...

bp神经网络是什么网络,神经网络和bp神经网络

1、前馈神经网络:一种最简单的神经网络,各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出,并输出给下一层.各层间没有反馈。 2、BP神经网络:是一种按照误差逆向传播...

AI实战详解:Perplexity 怎么做市场调研 Perplexity 市场分析实操教程【商业】最佳实践|Duuu笔记

掌握Perplexity AI市场调研需五步:一、结构化提问嵌入地域/时间/主体/指标四要素;二、限定PDF等原始信源提升可信度;三、分步提问生成制表符分隔文本以自动导入Excel;四、启用Pro S...

常见的神经网络模型

前馈神经⽹络中包含激活函数( 、tanh函数等)、损失函数(均⽅差损失函数、 等)、优化算法(BP算法)等。常⽤的模型结构有:感知机、 、全连接神经⽹络、卷积神经⽹络、...

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。