Re Crash Triage

崩溃分析与漏洞定位（crash triage）

何时使用 / 何时不用

• 用：fuzz 产出崩溃输入；程序段错误/abort；需要判断崩溃是否真实漏洞（可达性）并产出最小 PoC；多线程/非确定性崩溃需复现
• 不用：还没崩溃、要主动找 bug（→ [[re-fuzzing]]）；崩溃已定位、需要深挖函数逻辑（→ [[re-binary-core]] 底座）
• 不用：只需要看符号栈（直接 [[re-gdb]] 亦可，但本技能含完整"复现→最小化→定位→PoC"流程）

工具准备

所有工具先验证再使用。复现崩溃是动态执行，默认沙箱内跑（[[re-analyze/platform-tips]] 最高原则，见 [[re-sandbox]]）。

ASAN / UBSAN —— 内存与未定义行为检测（clang/gcc 内置）

• clang: sudo apt install clang / sudo dnf install clang / sudo pacman -S clang / macOS Xcode 自带
• gcc: Debian/Ubuntu sudo apt install gcc（ASAN 内置在 gcc，无独立包）；Fedora sudo dnf install gcc；Arch sudo pacman -S gcc
• 编译: gcc -fsanitize=address,undefined -g -fno-omit-frame-pointer -o target_asan target.c（clang 参数相同）
• 验证: 写一个数组越界小程序编译运行，确认输出含 AddressSanitizer 字样

gdb —— 回溯与 core 分析

• Debian/Ubuntu: sudo apt install gdb
• Fedora/RHEL: sudo dnf install gdb
• Arch: sudo pacman -S gdb
• macOS: brew install gdb（需 codesign 授权）；Xcode 自带 lldb 亦可（见 [[re-lldb]]）
• Windows: WSL 内 Linux 版；Windows 本机用 WinDbg（[[re-windbg]]）
• 验证: gdb --version

rr —— 录制/重放（非确定性崩溃）

• Debian/Ubuntu: sudo apt install rr（universe 仓库）
• Fedora/RHEL: sudo dnf install rr
• Arch: paru -S rr（AUR 包；官方仓库无 rr）
• macOS: 无支持（rr 仅支持 Linux，官方原话 "Apple hardware is fine, Apple software is not"）；Apple Silicon 用户用 Asahi Linux 或 Linux 虚拟机（需 PMU 透传）
• Windows: WSL2 内 Linux 版
• 源码编译:

  git clone https://github.com/rr-debugger/rr && mkdir rr/obj && cd rr/obj
  cmake -DCMAKE_BUILD_TYPE=Release ../rr && make -j$(nproc) && sudo make install

• 前置: Linux 内核 3.11+（建议 4.7+）；perf_event_paranoid > 1 时超慢，先放开：

  sudo sysctl kernel.perf_event_paranoid=1

• 虚拟机内需 PMU 透传（VMware/KVM 可，VirtualBox 不可）
• 容器/受限环境先自检: rr check 会检查 PMU/perf_event 可用性与已知限制，通过后再用；嵌套虚拟化、未透传 PMU 的容器里 rr 无法录制
• PMU 不可用时的回退（不要卡在 rr 上）: 改用「同一输入多次重跑 + 日志/条件断点」缩小竞态窗口；数据竞争类问题用 valgrind --tool=helgrind 或 -fsanitize=thread 构建定位；纯 ASLR 抖动可先 set disable-randomization on 排除
• 验证: rr --version

afl-tmin / afl-cmin —— 输入最小化与去重（随 AFL++ 安装）

• 安装见 [[re-fuzzing]] 的 AFL++ 一节（afl-tmin / afl-cmin 随包安装）
• 前置（afl-cmin 尤其重要）: afl-cmin 需要目标可被 AFL 观测——通常要求它由 AFL 插桩构建（afl-clang-fast / afl-gcc），否则会报「无插桩 / not instrumented」而失败。afl-tmin 的约束弱得多（可按纯崩溃判据工作），未插桩目标通常也能跑
• 常见踩空: 目标是独立 ASAN 构建（gcc -fsanitize=address -g）而没有走 afl-clang-fast 时，afl-cmin 不保证能跑。先确认构建方式；不是 AFL 编译器产出时，改用 afl-tmin 逐个最小化，或回 [[re-fuzzing]] 重建插桩版本
• 验证: afl-tmin -h / afl-cmin -h

操作步骤

按顺序执行；崩溃输入与 PoC 先 sha256 存证（[[re-triage]] 方法）。

1. 确定性复现：

   sha256sum crash_input > crash_input.sha256
   ./target < crash_input          # stdin 输入
   ./target crash_input            # 文件输入
   ./target -f crash_input         # 按目标实际参数形态

   • 连续跑 3 次都崩 = 确定性崩溃，继续第 2 步；时崩时不崩 = 非确定性（多线程/未初始化/ASLR），跳到第 4 步用 rr
   • core dump 开启（崩溃后留 core 供分析）: ulimit -c unlimited；cat /proc/sys/kernel/core_pattern 若指向 systemd-coredump/apport 则 core 会被系统收走（见坑 4）
2. ASAN 报告解读（目标须为 -fsanitize=address -g -fno-omit-frame-pointer 构建，见工具准备）：
   • heap-buffer-overflow / stack-buffer-overflow / global-buffer-overflow：越界读写——报告含越界方向（READ of size N / WRITE of size N）与越界偏移
   • heap-use-after-free：UAF——看 freed by 与 allocated by 两段栈，找释放点与再使用点
   • attempting double-free：重复释放
   • SEGV：空指针/野指针访问，细节需 gdb 补（第 4 步）
   • 关键：#0 帧是崩溃点，别只看行号——结合数据流向判断是哪个输入字节导致
3. 输入最小化：

   afl-tmin -i crash_input -o crash.min -- ./target @@
   # 多个崩溃输入先按路径去重（需 AFL 插桩，见工具准备）：
   afl-cmin -i crashes_dir -o minimized -- ./target @@

   • @@ 只适用于「文件参数」目标（AFL 把 @@ 替换成输入文件路径）。目标是 stdin 读输入时不要用 @@，把「文件 → stdin」这一步补进命令行，例如：

     afl-tmin -i crash_input -o crash.min -- sh -c './target < "$1"' _ @@

     或在目标自带 -f <file> 之类文件参数时用它替代 @@；先按第 1 步确认过的真实输入形态选写法
   • afl-tmin 产出保持崩溃的最短输入；可再手工删头/尾字节验证（二分查找最小边界）
   • 最小化后输入即 PoC 底稿；崩溃类型保持 = 同一 bug 的判定依据
4. gdb 回溯定位：

   gdb -q ./target
   (gdb) set disable-randomization on     # 关 ASLR 便于地址对照
   (gdb) run crash.min
   (gdb) bt                                # 完整回溯
   (gdb) info registers                    # 崩溃点寄存器
   (gdb) x/16i $pc                         # 崩溃点反汇编

   • core 文件分析：gdb -q ./target /path/to/core
   • bt 全是 ??（无符号）：记模块基址 + 偏移，进 [[re-ghidra]] / [[re-ida]] 反编译补帧（见坑 5）
   • 非确定性崩溃 → rr 录制重放：

     rr record ./target crash_input
     rr replay                            # 打开 gdb 会话
     (rr) continue                         # 跑回崩溃点
     (rr) bt
     (rr) reverse-continue                 # 崩溃前反向执行找根因

5. PoC / 报告：
   • PoC：crash.min + sha256 + 复现命令（环境：ASAN 构建参数、运行参数、输入通道）
   • 报告要点：崩溃类型（ASAN 类别）、崩溃点函数/行/偏移、数据流向（哪个输入字节 → 越界下标）、根因（长度校验缺失 / 索引未验证 / 释放后使用）、可达性（见坑 3：崩溃路径真实可触达、输入可控）、影响评估（越界读→信息泄露、越界写→RCE、纯崩溃→DoS）、修复建议
   • 产出：PoC hash 与崩溃特征可进 [[re-ioc]]