Fin Generate Idea

研究方向输入
     ↓
阶段1: 研究领域解析 + 约束提取
     ↓
阶段2: 文献提取 — 使用 MCP 获取高影响力论文
     ↓
阶段3: 缺口分析 — 识别领域内"未完成"的工作
     ↓
阶段4: 想法生成 — 基于文献生成 8-12 个想法
     ↓
阶段5: 【强制】数据可行性筛选 — 对每个想法运行数据源检查
     ↓
阶段6: 过滤标记 — 无数据路径的想法标记"需授权模拟"
     ↓
阶段7: 综合排序 — noverlty × 0.4 + data × 0.3 + publish × 0.3
     ↓
输出: IDEA_REPORT.md

output/fin-ideas/
├── IDEA_REPORT.md         ← 完整想法报告（8-12个想法，含评分）
├── IDEA_DATA_CHECK.md     ← 数据可行性检查结果
└── IDEA_CANDIDATES.md     ← 精简版（TOP 3-5）

constraints = {
    "target_journal": "JF/JFE/RFS/经济研究/金融研究/...",
    "method_preference": "DID/IV/RDD/机器学习/...",
    "data_preference": "A股/美股/宏观/...",
    "time_range": "2010-2024/特定事件窗口/...",
    "sample_restriction": "创业板/国有企业/...",
}

# 第1步：NBER 工作论文（优先）
CallMcpTool: user-nber-wp -> search_nber_papers
  query: "[研究领域] + China + empirical"
  year_from: 2023

# 第2步：OpenAlex（250M+论文）
CallMcpTool: user-openalex -> get_openalex_works
  query: "[研究领域] + [核心机制] + China"
  per_page: 30

# 第3步：中文顶刊（A股必查）
CallMcpTool: user-brave-search -> brave_web_search
  query: "经济研究 金融研究 管理世界 [核心关键词]"
  num_results: 15

# 第4步：ArXiv（方法论文）
CallMcpTool: user-arxiv -> semantic_search
  query: "[研究领域] + empirical methods China"
  max_results: 15

## 文献卡片

- **标题**: [论文标题]
- **期刊**: [期刊名]
- **年份**: [发表年份]
- **作者**: [作者列表]
- **核心发现**: [1-2句话]
- **方法**: [DID/IV/RDD/...]
- **数据**: [数据集描述]
- **研究缺口**: [从该论文的 limitation 或 future work 中提取]

## 已识别研究缺口

### 缺口 1: [缺口名称]
- **类型**: [理论/方法/数据/场景/机制]
- **描述**: [具体描述]
- **为什么重要**: [理论和实践意义]
- **可行性**: [数据和方法是否可行]

### 缺口 2: [缺口名称]
...

你是一名经济金融领域顶级学者。请基于以下文献综述和研究缺口，
生成8-12个可发表的研究想法。

【研究领域】
[领域名称]

【核心文献】
[文献卡片列表]

【已识别的研究缺口】
1. [缺口1]
2. [缺口2]
...

【约束条件】
- 目标期刊: [期刊]
- 偏好方法: [方法]
- 数据偏好: [数据]

【生成要求】
1. 每个想法必须对应一个或多个研究缺口
2. 明确识别策略（DID/IV/RDD/面板/机器学习）
3. 明确所需核心数据
4. 指出边际贡献（理论/方法/数据）
5. 评估发表潜力
6. 基于文献给出"初步信号"（支持假设的已有证据）

## Idea N: [标题]

### 基本信息
- **研究缺口**: [对应缺口编号]
- **研究问题**: [一句话描述]
- **核心机制**: [因果传导路径]

### 方法设计
- **识别策略**: [方法]
- **关键识别假设**: [假设内容]
- **估计方法**: [模型]

### 数据需求
- **核心数据集**: [数据源]
- **时间范围**: [样本期]
- **关键变量**: [Y, X, 控制变量]

### 边际贡献
- **理论**: [理论贡献]
- **方法**: [方法贡献]
- **数据**: [数据贡献]

### 发表潜力
- **目标期刊**: [期刊]
- **新颖性**: [高/中/低]
- **可行性**: [高/中/低]

### 初步信号
- **文献支持**: [支持假设的已有文献]
- **机制合理性**: [1-5评分]

from scripts.idea_data_checker import quick_check, IdeaDataValidator

# 准备想法列表
ideas = [
    {
        "id": f"idea_{i}",
        "title": "[想法标题]",
        "description": "[描述]",
        "keywords": "[关键词列表]",
    }
    for i in range(1, 13)
]

# 执行数据可行性检查
report = quick_check(ideas)

def filter_ideas_by_feasibility(report: ValidationReport) -> dict:
    """根据数据可行性筛选想法"""

    # 分类
    available = [r for r in report.idea_results
                 if r.feasibility == Feasibility.AVAILABLE]

    partial = [r for r in report.idea_results
               if r.feasibility == Feasibility.PARTIALLY_AVAILABLE]

    gap = [r for r in report.idea_results
           if r.feasibility == Feasibility.DATA_GAP]

    auth = [r for r in report.idea_results
            if r.feasibility == Feasibility.REQUIRES_AUTH]

    return {
        "green": available,      # 可立即推荐
        "yellow": partial,       # 可推进但需补充
        "red": gap,             # 需先补充数据
        "orange": auth,         # 需授权模拟
    }

⚠️ 以下想法需要您授权使用模拟数据：

想法 9: [标题]
- 所需数据: [数据描述]
- 缺失原因: [原因]
- 授权后果: 研究结果不能用于正式发表

想法 10: [标题]
...

──────────────────────────────────────────────
请选择：
  (1) 授权模拟 — 使用模拟数据继续（结果不能发表）
  (2) 跳过模拟想法 — 仅推荐数据可行的想法
  (3) 补充数据 — 稍后补充真实数据后再评估

# 用户授权后，标记为可推荐
authorized_ideas = [idea for idea in ideas if idea.get("authorized_synthetic")]

# 未授权的想法标记为"需授权"
for idea in ideas:
    if idea.get("feasibility") == Feasibility.REQUIRES_AUTH and not idea.get("authorized_synthetic"):
        idea["status"] = "REQUIRES_AUTH"
        idea["recommendation"] = "需用户授权使用模拟数据"

综合评分 = 新颖性评分 × 0.4 + 数据可行性评分 × 0.3 + 发表潜力评分 × 0.3

def rank_ideas(ideas: list[dict], report: ValidationReport) -> list[dict]:
    """综合排序想法"""

    # 构建评分查找表
    score_map = {r.idea["id"]: r.feasibility_score for r in report.idea_results}

    ranked = []
    for idea in ideas:
        novelty = {"high": 10, "medium": 7, "low": 4}.get(idea.get("novelty"), 5)
        data_score = score_map.get(idea["id"], 0) * 10  # 转换为10分制
        publish = {"top": 10, "first": 8, "second": 6}.get(idea.get("journal_tier"), 5)

        composite = novelty * 0.4 + data_score * 0.3 + publish * 0.3

        idea["composite_score"] = round(composite, 1)
        ranked.append(idea)

    return sorted(ranked, key=lambda x: x["composite_score"], reverse=True)

# 研究想法报告

**研究方向**: [方向]
**生成日期**: [日期]
**想法总数**: N个

## 执行摘要

[3-5句话总结推荐想法]

## TOP 3 推荐想法

### 想法 1: [标题] ⭐⭐⭐
**综合评分**: X.X/10 | **数据可行性**: 🟢 可行

| 维度 | 评分 |
|------|------|
| 新颖性 | X/10 |
| 数据可行性 | X/10 |
| 发表潜力 | X/10 |
| **综合** | **X.X/10** |

- **研究问题**: [一句话]
- **研究缺口**: [对应缺口]
- **识别策略**: [方法]
- **核心数据**: [数据源]
- **边际贡献**: [创新点]
- **文献支持**: [支持假设的已有文献]
- **初步信号**: [支持/不支持/待验证]

---

### 想法 2: [标题] ⭐⭐
**综合评分**: X.X/10 | **数据可行性**: 🟡 部分可行

| 维度 | 评分 |
|------|------|
| 新颖性 | X/10 |
| 数据可行性 | X/10 |
| 发表潜力 | X/10 |
| **综合** | **X.X/10** |

- **研究问题**: [一句话]
- **研究缺口**: [对应缺口]
- **识别策略**: [方法]
- **核心数据**: [数据源]
- **边际贡献**: [创新点]
- **数据缺口**: [缺失的数据]
- **补充方案**: [如何获取]

---

### 想法 3: [标题] ⭐
**综合评分**: X.X/10 | **数据可行性**: 🟡 部分可行

[同上结构]

---

## 所有想法列表

| 排名 | 想法 | 综合评分 | 新颖性 | 数据可行 | 发表潜力 | 状态 |
|------|------|---------|--------|---------|---------|------|
| 1 | 想法1 | 9.2 | 高 | 🟢 可行 | 顶刊 | 推荐 |
| 2 | 想法2 | 8.5 | 高 | 🟡 部分 | 一区 | 推荐 |
| 3 | 想法3 | 8.1 | 中 | 🟢 可行 | 顶刊 | 推荐 |
| 4 | 想法4 | 7.2 | 中 | 🟡 部分 | 一区 | 待补充 |
| 5 | 想法5 | 6.8 | 高 | 🔴 缺口 | 一区 | 待数据 |
| 6 | 想法6 | 5.5 | 中 | 🟠 模拟 | 二区 | 需授权 |
| ... | ... | ... | ... | ... | ... | ... |

## 数据需求汇总

### 🟢 可直接使用
- [数据源]: [描述]

### 🟡 需补充
- [数据源]: [描述] → [如何获取]

### 🔴 需获取
- [数据源]: [描述] → [获取方式]

## 下一步

1. 选择一个想法进入新颖性验证（fin-novelty-check）
2. 或选择多个想法进入实验设计（fin-experiment-design）
3. 或返回补充数据后再评估

## 方法论提示

[针对本领域的常用识别策略建议]

from scripts.idea_data_checker import quick_check

ideas = [
    {"id": "1", "title": "想法1", "description": "描述", "keywords": ["关键词"]},
    # ...
]

report = quick_check(ideas)

from scripts.idea_data_checker import IdeaDataValidator

validator = IdeaDataValidator(ideas)
report = validator.validate_all()
validator.print_report(report)

# 访问结果
for result in report.idea_results:
    print(f"{result.idea['title']}: {result.feasibility.value}")
    print(f"  Score: {result.feasibility_score:.1f}")
    print(f"  Recommendation: {result.recommendation}")

# 完整流程
python scripts/research_framework/pipeline.py \
    --topic "研究方向" \
    --mode generate_idea \
    --output output/fin-ideas/

# 仅想法生成
python scripts/research_framework/pipeline.py \
    --topic "研究方向" \
    --mode generate_idea \
    --skip_validation

# 仅数据验证
python scripts/idea_data_checker.py \
    --ideas-file output/fin-ideas/IDEA_REPORT.md