微信公众号文章数据集 已完整同步
WeHub 摘要
微信公众号文章数据集包含采集到的公众号文章及其结构化字段,使用 JSON 保存标题、正文、账号和发布时间等文章信息。
5162 个文件
浏览文件数据集版权信息
该数据集的许可证信息暂未明确,请在使用前核对原始来源。
下载数据集
通过 WeHub CLI 下载当前数据集快照。下列命令会固定为当前页面展示的数据版本(如果页面提供版本)。文件字节由本机直连存储下载,浏览器不会签发或保存下载链接。
前置要求
需要 Node.js 18 及以上,以及 npm(或 npx)。
1. 安装 CLI
npm install -g wehub-dev-cli@latest
2. 下载此数据集
wehub-dev datasets download ds_wechatmp_articles --revision 61c654089f36b16938570238fc29ca51136974c68e4959c685996afbfb5b2070 --output ./ds_wechatmp_articles
若中断或部分失败,在同一目录重新执行同一命令即可续传。默认会校验 SHA-256。
免全局安装
npx --yes wehub-dev-cli@latest datasets download ds_wechatmp_articles --revision 61c654089f36b16938570238fc29ca51136974c68e4959c685996afbfb5b2070 --output ./ds_wechatmp_articles
高级选项
以下为 wehub-dev datasets download 已支持的参数示例:
强制重新下载,不复用已校验的本地文件
wehub-dev datasets download ds_wechatmp_articles --revision 61c654089f36b16938570238fc29ca51136974c68e4959c685996afbfb5b2070 --output ./ds_wechatmp_articles --overwrite
仅包含匹配路径
wehub-dev datasets download ds_wechatmp_articles --revision 61c654089f36b16938570238fc29ca51136974c68e4959c685996afbfb5b2070 --output ./ds_wechatmp_articles --include "*.jsonl"
排除匹配路径
wehub-dev datasets download ds_wechatmp_articles --revision 61c654089f36b16938570238fc29ca51136974c68e4959c685996afbfb5b2070 --output ./ds_wechatmp_articles --exclude "*.md"
提高并发下载数
wehub-dev datasets download ds_wechatmp_articles --revision 61c654089f36b16938570238fc29ca51136974c68e4959c685996afbfb5b2070 --output ./ds_wechatmp_articles --jobs 8
完整帮助:wehub-dev datasets download --help