Fin Full Pipeline

研究方向输入
       ↓
阶段1: FIN_BRIEF.md 生成      [FIN_BRIEF.md]
       ↓ checkpoint
阶段2: 文献综述               [LIT_REVIEW.md]
       ↓ checkpoint
阶段3: 想法生成 + 数据验证    [IDEA_REPORT.md]
       ↓【想法-数据交叉验证】← P1 强制检查点，不跳过
       ↓ checkpoint
阶段4: 新颖性验证             [NOVELTY_REPORT.md]
       ↓ checkpoint
阶段5: 实证方法设计           [REFINED_DESIGN.md]
       ↓ checkpoint
阶段6: 数据获取               [DATA_MANIFEST.md + data/*.csv]
       ↓ checkpoint
阶段7: 论文大纲               [PAPER_OUTLINE.md + FIGURE_PLAN.md]
       ↓ checkpoint
阶段8: 正文写作               [draft_v1/main.tex]
       ↓ checkpoint
阶段9: 图表生成               [draft_v1/figures/*.pdf]
       ↓ checkpoint
阶段10: 对抗性Review           [REVIEW_REPORT.md]
       ↓ checkpoint
阶段11: LaTeX编译              [draft_v1/main.pdf]
       ↓ checkpoint
阶段12: 投稿前检查             [SUBMIT_CHECK_REPORT.md]
       ↓
最终输出: 可投稿论文 PDF + 完整研究包

传统流程（有问题）:
  想法生成 → 新颖性验证 → 实证设计 → 数据获取 ← 到这里才发现无数据！
       ↓                                    ↓
    浪费大量时间                   不得不返回更换主题

改进流程（当前）:
  想法生成 → 【想法-数据交叉验证】→ 新颖性验证 → 实证设计 → 数据获取
       ↓                                    ↓
    在此处检查数据可行性         数据已知可行，只需执行
    无数据→立即告知用户          预先设计的获取方案

# 检查环境并初始化输出目录（PROJECT_DIR 自动取当前目录）
PROJECT_DIR="$(pwd)"
cd "$PROJECT_DIR" || exit 1

# 创建所有输出目录
mkdir -p \
  output/fin-literature \
  output/fin-ideas \
  output/fin-novelty \
  output/fin-refinement \
  output/fin-experiments/data/finance \
  output/fin-review/round_1 \
  output/fin-manuscript/draft_v1/figures \
  output/fin-manuscript/draft_v1/tables \
  output/fin-manuscript/draft_v1/scripts

# 检查 Python 关键依赖
python3 -c "import json, yaml, pandas, numpy, matplotlib, seaborn, statsmodels; print('[✓] All Python deps OK')" 2>/dev/null \
  || echo '[!] Python deps missing — run: pip install pandas numpy matplotlib seaborn statsmodels pyyaml'

# 检查 LaTeX 编译器
for cmd in pdflatex xelatex bibtex; do
  if command -v $cmd &>/dev/null; then
    echo "[✓] $cmd"
  else
    echo "[!] $cmd not found"
  fi
done

# 检查 Docker MCP 服务是否运行
for svc in mcp_eastmoney_reports mcp_financial mcp_enhanced_finance; do
  if docker ps --format '{{.Names}}' | grep -q "^${svc}$"; then
    echo "[✓] $svc running"
  else
    echo "[!] $svc not running"
  fi
done

# 检查是否存在
import os
if os.path.exists("FIN_BRIEF.md"):
    with open("FIN_BRIEF.md") as f:
        content = f.read().strip()
    if content:
        print("FIN_BRIEF.md 已存在，内容如下：")
        print(content[:500])
        # 展示确认菜单
        print("是否使用现有 FIN_BRIEF.md？（y/n）")
        # 等待用户输入
        # 如果用户选择 n，删除并重新生成

# 研究简报

## 1. 研究标题
[一句话标题，≤30字]

## 2. 研究领域
[宏观金融 / 公司金融 / 资产定价 / 金融计量 / 行为金融]

## 3. 研究问题
[一句话描述核心研究问题]

## 4. 研究类型
[实证 / 理论 / 综述 / 方法创新]

## 5. 目标期刊
[JF / JFE / RFS / 经济研究 / 金融研究 / 管理世界]

## 6. 核心假设
[H1: ... H2: ... H3: ...]

## 7. 数据来源
[A股 / 美股 / 宏观 / 跨境]

## 8. 识别策略
[DID / IV / RDD / PSM / 面板GMM]

## 9. 样本期
[YYYY-YYYY]

## 10. 核心变量
- 被解释变量（Y）：
- 解释变量（X）：
- 控制变量：

## 11. 预期结论
[预期的实证发现]

## 12. 潜在贡献
[理论贡献 / 识别策略创新 / 数据集贡献]

════════════════════════════════════════════════════════════
          阶段1：研究简报生成完成
════════════════════════════════════════════════════════════

  研究标题: [标题]
  研究领域: [领域]
  目标期刊: [期刊]
  识别策略: [策略]
  样本期:   [年份范围]

  请选择：
    (1) 确认并继续
    (2) 修改某个字段
    (3) 补充更多细节
    (4) 重新描述研究方向

Skill: fin-lit-review
"[研究方向简述，从 FIN_BRIEF.md 读取]"

# 1. NBER 工作论文（近3年）
server: user-nber-wp
tool: get_nber_paper
params: { "query": "[研究关键词]", "year_from": 2023 }

# 2. OpenAlex 学术论文
server: user-openalex
tool: get_openalex_works
params: { "query": "[研究主题]", "per_page": 25 }

# 3. ArXiv 预印本
server: user-arxiv
tool: semantic_search
params: { "query": "[研究主题]" }

# 4. 东方财富研报（业界视角）
server: user-eastmoney-reports
tool: get_research_report
params: { "ts_code": "[相关股票代码]", "max_results": 10 }

# 5. 网络搜索（补充）
server: user-brave-search
tool: brave_web_search
params: { "query": "[研究主题 + 顶刊名]" }

════════════════════════════════════════════════════════════
          阶段2：文献综述完成
════════════════════════════════════════════════════════════

  核心文献:
    • [文献1]: [主要发现]
    • [文献2]: [主要发现]

  研究缺口:
    • [缺口1]: [描述]
    • [缺口2]: [描述]

  覆盖期刊: JF / JFE / RFS / 经济研究

  请选择：
    (1) 继续下一阶段
    (2) 补充检索 [具体方向] 的文献
    (3) 调整研究方向（缺口与我的想法不完全匹配）

Skill: fin-generate-idea
"[研究方向，从 FIN_BRIEF.md 读取]"

from scripts.agent_pipeline import AgentPipeline, AgentPipelineConfig

config = AgentPipelineConfig(
    topic="[研究方向]",
    venue="[目标期刊]",
    research_field="[研究领域]",
    use_hitl=True,  # outline/literature/draft gates; set False only for batch CI
    visualize=True,
)
pipeline = AgentPipeline(config=config)

# 生成候选想法（8-12个）
ideas = pipeline._orchestrator.generate_ideas(topic="[研究方向]")

ideas = [
    {
        "id": "idea_001",
        "title": "关税冲击与资本结构调整速度",
        "description": "利用DID分析2018年中美关税战对企业资本结构调整速度的影响",
        "keywords": ["tariff", "capital structure", "DID", "A-share"],
        "hypothesis": "H1: 关税暴露程度越高，企业资本结构调整速度下降越显著",
        "novelty_score": 8.5,  # 1-10
        "data_feasibility": "high",  # high/medium/low
    },
    # ... 8-12个想法
]

from scripts.idea_data_checker import IdeaDataValidator

validator = IdeaDataValidator(ideas=ideas)
report = validator.validate_all()
validator.print_report(report)

# report.idea_results[0] 包含：
#   - idea: 原始想法
#   - feasibility: Feasibility.AVAILABLE / PARTIALLY_AVAILABLE / DATA_GAP / REQUIRES_AUTH
#   - feasibility_score: 0.0-1.0
#   - gaps: 数据缺口列表
#   - actions: 修复建议

════════════════════════════════════════════════════════════
     ⚠️  阶段3.5：想法-数据交叉验证（P1 强制检查点）
════════════════════════════════════════════════════════════

  验证结果统计:
    ✅ 数据可行:       X 个想法
    ⚠️ 部分可行:       X 个想法
    ❌ 数据缺口:       X 个想法
    🔐 需授权模拟:    X 个想法

  ──────────────────────────────────────────────────────

  ✅ 数据可行的想法（直接推进）:
    1. [想法标题]
       数据: tushare, akshare
    2. [想法标题]
       数据: tushare, esg_rating

  ⚠️ 部分可行的想法（需补充数据）:
    3. [想法标题]
       缺失: ESG评级数据
       获取途径: Wind ESG数据库 / 商道融绿

  ❌ 数据缺口的想法（无法推进）:
    4. [想法标题]
       缺失: 上市公司海关进出口明细（HS编码）
       获取途径: CSMAR海关数据库（需机构账号）
       网址: https://www.gtadata.com

  ──────────────────────────────────────────────────────

  请选择：
    (1) 选择想法1（数据可行）
    (2) 选择想法2（数据可行）
    (3) 补充缺失数据后再继续（优先获取 [数据名称]）
    (4) 授权使用模拟数据（仅演示用，论文不能发表）
    (5) 更换研究方向

validated = [r for r in report.idea_results if r.feasibility in (
    Feasibility.AVAILABLE, Feasibility.PARTIALLY_AVAILABLE
)]

if not validated:
    print("⚠️  所有候选想法均无数据支持，流程硬中断")
    print("请选择：")
    print("  (1) 补充数据（将数据文件放入 data/ 目录）")
    print("  (2) 更换研究方向")
    # 等待用户输入
    # 如果用户选择继续处理，确保只有有数据的想法进入后续阶段

Skill: fin-novelty-check
"[选定想法的描述]"

════════════════════════════════════════════════════════════
          阶段4：新颖性验证完成
════════════════════════════════════════════════════════════

  综合评分: X/10
  评估等级: 高度新颖 / 中度新颖 / 缺乏新颖性

  最接近的先例:
    • [文献]: [主要方法，与本研究的区别]

  主要风险:
    • [reviewer最可能引用的先例]

  差异化策略:
    • [本研究如何区分]

  请选择：
    (1) 继续细化该方向（新颖性可接受）
    (2) 调整研究角度以更好区分
    (3) 更换研究方向
    (4) 查看详细报告后再决定

Skill: fin-experiment-design
"[选定想法的描述 + REFINED_DESIGN.md]"

用户描述研究方向
       ↓
是否存在明确的外生冲击事件？
       ↓ yes                    ↓ no
是否存在对照组？         是否存在工具变量？
       ↓ yes         ↓ no           ↓ yes      ↓ no
     DID           是否有       IV/2SLS    面板回归
                 清晰断点？              + 安慰剂检验
                       ↓ yes
                     RDD

════════════════════════════════════════════════════════════
          阶段5：实证方法设计完成
════════════════════════════════════════════════════════════

  识别策略: [DID / IV / RDD / 面板GMM]
  被解释变量Y: [变量名]
  核心解释变量X: [变量名]
  控制变量: [列表]
  固定效应: [类型]
  稳健性检验: [N]项
  内生性处理: [方案]

  请选择：
    (1) 确认设计方案，继续数据获取
    (2) 调整变量定义（说明要改什么）
    (3) 更换识别策略（说明原因）
    (4) 查看完整设计报告

Skill: fin-data-acquisition
"[REFINED_DESIGN.md]"

from scripts.data_source_checker import DataSourceChecker, DataRequirement

requirements = [
    DataRequirement(
        name="financial_data",
        user_facing_name="A股财务数据",
        description="资产负债率、ROA、规模等公司财务指标",
        sources=["tushare", "wind", "csmar", "akshare"],
        required=True,
    ),
    DataRequirement(
        name="customs_data",
        user_facing_name="上市公司海关进出口明细（HS编码）",
        description="用于计算企业关税暴露强度",
        sources=["csmar_customs"],
        required=True,
    ),
    # ... 根据 REFINED_DESIGN.md 添加其他需求
]

checker = DataSourceChecker(requirements)
result = checker.run()
checker.print_report()

# 【硬中断】如果需要模拟数据
if result.requires_synthetic_data:
    from scripts.pipeline_checkpoint import InteractivePipelineCheckpoint
    cp = InteractivePipelineCheckpoint()
    authorized = cp.authorize_synthetic_or_stop(
        purpose="本研究所需的A股财务数据和海关进出口数据"
    )
    if not authorized:
        # 流程停止，用户必须：
        # - 补充真实数据，或
        # - 更换研究方向
        STOP_HERE

# A股行情数据
server: user-tushare
tool: get_daily_quote
params:
  ts_code: "000001.SZ"
  start_date: "20200101"
  end_date: "20241231"

# 财务数据
server: user-tushare
tool: get_financial_report
params:
  ts_code: "000001.SZ"
  report_type: "income"

# 宏观数据（无需 Key）
server: user-financial
tool: get_macro_china
params:
  indicator: "gdp"

# 美股数据（无需 Key）
server: user-yfinance
tool: get_yf_historical
params:
  ticker: "AAPL"
  start_date: "2020-01-01"
  end_date: "2024-12-31"

════════════════════════════════════════════════════════════
          阶段6：数据获取完成
════════════════════════════════════════════════════════════

  数据状态:
    ✅ 已获取: [列表]
    ❌ 未获取: [列表]
    ⚠️  模拟: [列表]

  请选择：
    (1) 确认数据，继续实证分析
    (2) 补充数据后再继续
    (3) 查看详细数据状态报告
    (4) 暂停，评估数据质量后再决定