全能金融爬虫（新增MCP接入）

价格

以上为公开标价。你的组织可能有协议价，以控制台显示的价格为准。

如何使用

1. 1

   为组织安装

   开通即安装：组织固定使用开通时的版本（当前为 1.0.0）。升级到新版本需要取消后重新开通。

2. 2

   创建凭证

   客户端使用组织凭证读取；绑定到数字人后，数字人使用绑定凭证按需加载。请求中携带：

   Authorization: Bearer $ZGI_MARKET_KEY

3. 3

   读取清单与安装包

   清单列出版本、文件和校验值；安装包是一个 zip 文件。

   curl "https://market-api.zgi.im/v1/market/skills/cnfinancialscraper/manifest" \
     -H "Authorization: Bearer $ZGI_MARKET_KEY"

   curl "https://market-api.zgi.im/v1/market/skills/cnfinancialscraper/package" \
     -H "Authorization: Bearer $ZGI_MARKET_KEY" \
     -o cnfinancialscraper.zip

   读取清单和下载安装包不计入用量。下载后请用响应头中的 SHA-256 校验文件。

技能说明

名称

cn-financial-scraper

说明

中国金融机构数据爬取与分析综合 Skill v10.0.0。2334家/43大类机构名单、60+财经媒体源舆情、 A股报告/公告/研报、60+种查询9适配器金融数据（akshare/东财/yfinance/RSS/Tushare/CoinGecko/ExchangeRate 自动降级 + 缓存）、 爬取调度中心（智能选源 + 增量 + 断点续爬）、网页操作增强（Shadow DOM / iframe / Cookie / OCR / 行为 / WS）、 79 MCP 工具 + 8 Resource + 10 Prompt、类人浏览器、风险分析、定期报告解读。 🆕 v10.0.0 三轨升级（爬取调度 / 网页操作 / MCP 数据获取）： 调度：CrawlerDispatcher 4 策略智能选源 + BaseScraper 协议统一 + 增量 + 断点续爬 + 反爬包裹。 网页：Shadow DOM / iframe 穿透 + Cookie Banner 自动 + 验证码 OCR（stdlib→ddddocr→tesseract）+ 人类行为轨迹 + WebSocket 监听。 MCP：Tushare / CoinGecko / Alpha Vantage / ExchangeRate 4 适配器 + LRU+TTL 缓存 + 8 Resource + 10 Prompt。 v9.0.0（承接）5 适配器 36 查询 + 反爬深度（代理/Header/指纹/节奏）+ UA 池 24。 v8.0.0（承接）反爬管道 + 数据分析增强（关键词/跨源/趋势/对标/洞察）。 触发词：爬取机构、舆情爬取、全网舆情、网页爬取、智能爬取、汇总分析、语音交互、公告下载、 券商研报、批量爬取、定时爬取、文档分析、东方财富、龙虎榜、监管动态、类人爬取、数据回测、 Shadow DOM、iframe穿透、Cookie弹窗、验证码识别、人类行为、WebSocket监听、数字货币行情、 外汇汇率、Tushare、CoinGecko、断点续爬、增量爬取、爬取调度、数据源健康。 结构化数据、期货、宏观经济、港股美股、风险指标、组合复刻、夏普比率、 多源数据、统一查询、数据源切换、免费代理、代理发现、Header随机化、指纹会话等 （完整触发词见下方 auto_trigger）。

# cn-financial-scraper v9.0.0 — 多源金融数据爬取与分析

> **全量机构名单（2334家/43大类）** | **🆕 v9.0 多源 MCP 桥接 + 反爬深度升级** | **36种查询类型自动降级（akshare/东方财富/yfinance/RSS）** | **60+ 商业财经媒体源 + RSS + akshare 兜底** | **智能多级爬取 + 网页内容识别** | **数据分析汇总 + 语音交互**

## ⚡ 一键上手

直接对话即可触发，无需记忆命令：

```
帮我爬一下某上市公司最近7天的舆情
某基金公司最近3天的负面新闻，并导出 Excel
把这篇网页完整归档，包含图片和表格
搜索"贵州茅台2026半年报"然后把结果爬取下来
爬一下银行板块最近3天的舆情并导出 Word
```

**一键启动**（Windows 直接 `python run_sentiment.py` 或）：
```bash
python run_sentiment.py                          # 交互式对话
python run_sentiment.py "贵州茅台最近7天的舆情"     # 直接命令行
```

---

## 🧭 场景速查（想做什么 → 直接入口）

> 无需记忆命令，按「想做什么」直接找到入口。完整 API 与 MCP 工具表见 [README.md](README.md)。

| 你想做什么 | 直接入口 | 依赖 |
|---|---|---|
| 🆕 统一查询金融数据（股票/基金/期货/宏观/港股美股） | `get_financial_data("stock_quote", code="600519")` | 核心 |
| 🆕 查看所有可用数据源状态 | `list_data_sources()` | 核心 |
| 🆕 反爬系统状态报告 | `get_anti_block_status()` | 核心 |
| 🆕 发现免费代理并验证 | `discover_proxies(max_proxies=20)` | 核心 |
| 爬某公司/机构最近 N 天舆情 | `crawl_global_sentiment` 或 `python run_sentiment.py "XX最近7天舆情"` | 核心 |
| 查机构名单 / 机构信息 | `query_institution` / `search_institution` | 核心 |
| 爬单个网页内容 | `scrape_webpage(url)` | 核心 |
| 动态页面 / 类人浏览 / 验证码接管 | `browser_human_fetch(url)`（需 Playwright） | Playwright |
| 搜公告 / 券商研报 / 公司财报 | `search_announcements` | 推荐 |
| 股票 / 基金 / 可转债实时行情 | `get_financial_data("stock_quote", code="600519")` | 核心 |
| 期货 / 宏观(GDP·CPI·PPI·PMI) / Shibor / 港股美股 | `get_financial_data("macro_cpi")` | 核心 |
| 风险指标（年化/波动/回撤/夏普/卡玛） | `analyze_risk_metrics` / `calculate_risk_metrics` | 推荐 |
| 定期报告 / 财报解读 | `interpret_stock_report("600519")` / `interpret_stock` | 核心 |
| 生成研究报告 / 多格式导出 | `generate_research_report` / `quick_report` | 推荐 |
| 批量爬取 + 打包下载 | `CrawlPackager().package_batch_crawl` | 核心 |
| 搜索引擎搜索（中文优先） | `search_web` / `quick_search` | 核心 |
| 网页全页归档 | `quick_archive(url)` | 核心 |
| 扩充机构名单 / 补全官网 / 更新A股名单 | `expand_institution_list` / `UrlCompleter` / `StockListUpdater` | 核心 |
| 批量智能爬取（API→HTTP→浏览器降级） | `batch_smart_crawl(urls)` / `SmartFetcher` | 核心 |
| 网页内容识别（表格/键值/条目/分页/数字） | `smart_extract(html, url)` / `smart_page_extract(url)` | 核心 |
| 舆情快照汇总分析 / 机构简报 / Markdown 报告 | `aggregate_snapshots` / `build_institution_brief` | 核心 |
| 总结进知识库（IMA/Dify/Obsidian/本地）/ 知识库校对 | `python run_knowledge.py` / `sync_to_knowledge_base` / `verify_against_knowledge_base` | 核心 |
| 语音交互（说一句话爬取舆情） | `python run_voice.py` / `VoiceChat` | 核心（Windows） |
| 🆕 代理池轮换 / 故障剔除 / 加权评分 | `ProxyPool(proxies, strategy="weighted")` | 核心 |
| 🆕 免费代理发现与验证 | `discover_proxies(max_proxies=20)` | 核心 |
| 🆕 行为画像（阅读停顿+Referer 链路） | `RequestBehaviorProfile()` | 核心 |
| 🆕 TLS 指纹工厂（curl_cffi/scrapling/stdlib） | `TLSClientFactory.pick()` | 核心 |
| 🆕 Header 顺序随机化（Chrome/Firefox/Safari） | `HeaderOrderRandomizer()` | 核心 |

• README.md43.3 KiB
• SECURITY.md5.2 KiB
• SKILL.md29.9 KiB
• TROUBLESHOOTING.md18.0 KiB
• _meta.json112 B
• clean.py6.3 KiB
• data/aic_list.json612 B
• data/amc_list.json563 B
• data/auto_finance_list.json3.2 KiB
• data/city_commercial_bank_list.json10.1 KiB
• data/city_investment_list.json8.0 KiB
• data/consumer_finance_list.json3.0 KiB
• data/credit_rating_list.json1.1 KiB
• data/credit_service_list.json574 B
• data/curated.json29.4 KiB
• data/expansion_report.json367 B
• data/finance_company_list.json15.2 KiB
• data/financial_holding_list.json4.5 KiB
• data/financial_infra_list.json798 B
• data/financial_lease_list.json6.7 KiB
• data/financing_guarantee_list.json2.6 KiB
• data/foreign_bank_list.json3.1 KiB
• data/foreign_institution_list.json5.8 KiB
• data/fund_company_list.json13.0 KiB
• data/fund_subsidiary_list.json2.8 KiB
• data/futures_list.json11.8 KiB
• data/futures_risk_mgmt_list.json8.6 KiB
• data/institution_registry.json262.4 KiB
• data/institutions.json8.1 KiB
• data/insurance_assessor_list.json2.7 KiB
• data/insurance_asset_list.json3.0 KiB
• data/insurance_broker_list.json3.5 KiB
• data/insurance_list.json11.7 KiB
• data/internet_loan_list.json819 B
• data/joint_stock_bank_list.json1001 B
• data/local_amc_list.json2.1 KiB
• data/money_broker_list.json644 B
• data/mutual_insurance_list.json456 B
• data/overseas_institutions.json23.6 KiB
• data/payment_list.json2.0 KiB
• data/pension_mgmt_list.json866 B
• data/policy_bank_list.json374 B
• data/private_bank_list.json1.3 KiB
• data/private_fund_list.json4.6 KiB
• data/reinsurance_list.json842 B
• data/rural_commercial_bank_list.json12.3 KiB
• data/sample_report.txt894 B
• data/securities_consulting_list.json267 B
• data/securities_list.json7.9 KiB
• data/sentiment_custom_targets.json125 B
• data/sentiment_sources.json15.9 KiB
• data/sentiment_targets.json3.2 KiB
• data/state_owned_bank_list.json634 B
• data/third_party_list.json3.7 KiB
• data/trust_company_list.json4.1 KiB
• data/validation_rules.json951 B
• data/village_bank_list.json4.7 KiB
• data/wealth_management_list.json2.4 KiB
• data/wm_subsidiary_list.json1.2 KiB
• evals/evals.json1.6 KiB
• generate_skill_doc.py17.6 KiB
• macros/demo_macro.json103 B
• mcp_server.py128.9 KiB
• pytest.ini468 B
• requirements.txt2.8 KiB
• run_knowledge.py3.9 KiB
• run_sentiment.py3.5 KiB
• run_voice.py1.6 KiB
• runtests.py2.5 KiB
• scripts/__init__.py22.3 KiB
• scripts/adaptive_parser_v2.py8.0 KiB
• scripts/akshare_fallback.py10.7 KiB
• scripts/analysis_enhanced.py37.3 KiB
• scripts/analyzer.py25.7 KiB
• scripts/announcement_scraper.py31.8 KiB
• scripts/anti_block_enhanced.py53.5 KiB
• scripts/anti_block_utils.py23.3 KiB
• scripts/batch_institution_crawler.py19.9 KiB
• scripts/browser_pro.py48.6 KiB
• scripts/browser_scraper.py63.5 KiB
• scripts/cls_scraper.py7.1 KiB
• scripts/cninfo_scraper.py26.2 KiB
• scripts/company_report_scraper.py19.2 KiB
• scripts/comprehensive_report_scraper.py17.7 KiB
• scripts/content_compressor.py27.6 KiB
• scripts/crawl_backtester.py24.3 KiB
• scripts/crawl_enhancer.py17.6 KiB
• scripts/crawl_packager.py31.4 KiB
• scripts/crawl_performance.py12.4 KiB
• scripts/crawl_scheduler.py34.1 KiB
• scripts/crawler_dispatcher.py34.1 KiB
• scripts/data_aggregator.py12.4 KiB
• scripts/data_comparator.py14.9 KiB
• scripts/data_validator.py11.3 KiB
• scripts/document_analyzer.py22.5 KiB
• scripts/document_parser.py10.1 KiB
• scripts/eastmoney_scraper.py61.5 KiB
• scripts/enhanced_parser.py24.5 KiB
• scripts/exchange_scraper.py29.4 KiB
• scripts/financial_data_mcp.py39.7 KiB
• scripts/financial_writer.py26.7 KiB
• scripts/full_institution_crawler.py44.2 KiB
• scripts/fullpage_archiver.py31.3 KiB
• scripts/html2md.py11.2 KiB
• scripts/http_utils.py79.2 KiB
• scripts/institution_expander.py21.5 KiB
• scripts/institution_scraper.py16.2 KiB
• scripts/institution_updater.py24.0 KiB
• scripts/jisilu_scraper.py14.8 KiB
• scripts/knowledge_sync.py33.1 KiB
• scripts/markdown_exporter.py12.8 KiB
• scripts/market_data_scraper.py15.4 KiB
• scripts/mcp_data_expansion.py25.2 KiB
• scripts/mcp_resources_prompts.py21.9 KiB
• scripts/name_scraper.py31.1 KiB
• scripts/news_scraper.py22.4 KiB
• scripts/overseas_scraper.py15.5 KiB
• scripts/realtime_monitor.py13.6 KiB
• scripts/regulatory_scraper.py27.5 KiB
• scripts/report_exporter.py54.8 KiB
• scripts/report_indexer.py27.5 KiB
• scripts/report_interpreter.py20.8 KiB
• scripts/report_stdlib_fallbacks.py47.1 KiB
• scripts/report_templates.py16.0 KiB
• scripts/research_report_generator.py29.4 KiB
• scripts/research_report_scraper.py24.7 KiB
• scripts/rss_feeds.py10.9 KiB
• scripts/scrapable_registry.py20.1 KiB
• scripts/scraper.py39.2 KiB
• scripts/search_engine.py33.4 KiB
• scripts/sentiment_chat.py33.0 KiB
• scripts/sentiment_crawler.py81.3 KiB
• scripts/sentiment_exporter.py17.9 KiB
• scripts/sentiment_keywords.py7.5 KiB
• scripts/sina_scraper.py7.6 KiB
• scripts/stock_list_updater.py10.1 KiB
• scripts/structured_market_data.py5.3 KiB
• scripts/translate_utils.py12.0 KiB
• scripts/url_completer.py13.0 KiB
• scripts/visualization_reporter.py21.4 KiB
• scripts/voice_interface.py17.3 KiB
• scripts/wallstreetcn_scraper.py17.2 KiB
• scripts/web_operations_enhanced.py29.8 KiB
• scripts/web_parser.py93.2 KiB
• scripts/web_recognizer.py13.6 KiB
• setup_env.py9.6 KiB
• tests/conftest.py2.4 KiB
• tests/test_akshare_wiring.py8.7 KiB
• tests/test_analyzer_rewrite.py6.8 KiB
• tests/test_browser_suite.py15.0 KiB
• tests/test_crawl_performance.py7.3 KiB
• tests/test_data_source_expansion.py9.0 KiB
• tests/test_data_validator.py7.4 KiB
• tests/test_docx_font_fix.py12.4 KiB
• tests/test_eastmoney_new.py9.2 KiB
• tests/test_fullpage_archiver.py7.5 KiB
• tests/test_infra_suite.py29.5 KiB
• tests/test_institution_scraper.py5.1 KiB
• tests/test_parse_export_suite.py27.7 KiB
• tests/test_regression_bugs.py8.8 KiB
• tests/test_rss_wiring.py6.1 KiB
• tests/test_runtime_optimizations.py4.5 KiB
• tests/test_search_engine.py5.8 KiB
• tests/test_sentiment.py17.9 KiB
• tests/test_sentiment_classifier_enhance.py6.1 KiB
• tests/test_v1000_crawler_dispatcher.py19.8 KiB
• tests/test_v1000_mcp_data_expansion.py11.6 KiB
• tests/test_v1000_mcp_resources.py7.8 KiB
• tests/test_v1000_versions.py3.1 KiB
• tests/test_v1000_web_operations.py14.6 KiB
• tests/test_v451_enhancements.py13.4 KiB
• tests/test_v471_zero_dep.py3.2 KiB
• tests/test_v490_anti_block.py21.1 KiB
• tests/test_v600_sanitization.py17.3 KiB
• tests/test_v700_enhancements.py12.9 KiB
• tests/test_v710_report_interpreter.py5.6 KiB
• tests/test_v720_scraper_hardening.py14.2 KiB
• tests/test_v730.py19.7 KiB
• tests/test_v750.py16.2 KiB
• tests/test_v760_knowledge.py21.4 KiB
• tests/test_v770_optimizations.py18.7 KiB
• tests/test_v800_analysis_enhanced.py17.1 KiB
• tests/test_v800_anti_block_enhanced.py15.3 KiB

来源与审核

审核状态

尚未审核，内容来自上游来源

来源文档

https://api.skillhub.cn/user_9d5a2a39/cnfinancialscraper

许可证

未说明

审核状态是平台对上架信息的记录，不构成对上游服务质量或可用性的担保。