从指标设定到成效证据——回答一个问题:这个项目,真的起作用了吗
慈善项目最容易陷入的一个状态是:事情做了很多,材料堆得很厚,但说不清到底有没有用。签到表、照片、物资清单、活动总结——这些证明的是"做过什么",回答不了"有没有变好"。而这个区别,恰恰是资助方、评估方和公众越来越在意的地方。
本手册处理的是从立项到结项,怎么把"效果"这件事管理起来:目标怎么定成可验证的指标、基线怎么设、过程怎么跟踪、成效怎么举证、结果怎么用。核心是一句话——监测评估不是结项时才做的动作,而是立项时就要埋进去的设计。
| 维度 | 说明 |
|---|---|
| 对象 | 各类慈善项目的执行与管理人员、项目负责人、机构的项目管理部门 |
| 覆盖 | 目标与指标设计、基线与数据采集、过程监测、成效评估、验收结项、结果应用 |
| 不覆盖 | 项目的合规程序(立项、变更、资金、档案等,见项目合规相关材料);机构层面的等级评估(见评估迎评相关材料) |
先说清一个态度问题。不少项目人员把监测评估当成"额外负担"——因为资助方要,所以补。但换个角度看:评估的核心目的,是知道自己做的事有没有用,从而决定继续做、调整做法、还是停掉。一个从不评估的项目,等于放弃了改进的可能。这个角度一旦转过来,评估就不是交差,而是项目本身的一部分。
这两个词经常连用,但做的是不同的事,弄混会导致两种典型失误:用监测代替评估(只有痕迹没有效果),或者等评估才发现问题(已经晚了)。
| 监测 | 评估 | |
|---|---|---|
| 回答什么 | 事情有没有按计划进行? | 事情有没有产生预期的改变? |
| 时间 | 持续进行,贯穿执行全过程 | 阶段性(中期、结项)或专项 |
| 看什么 | 进度、产出、执行偏差 | 结果、成效、影响、可持续性 |
| 典型产物 | 进度表、跟踪记录、月报/季报 | 评估报告、成效分析、结项报告 |
| 主要用途 | 及时纠偏——发现问题马上调整 | 判断价值——决定是否继续、如何改进 |
两种最常见的失误:
① 把监测当评估用。结项材料里全是活动场次、服务人次、照片,但没有一条数据说明"受益人发生了什么变化"。这是"做过什么"回答不了"有没有用"。
② 把评估推到结项才做。那时项目已经结束,基线的数据没留、对照的信息没有,只能靠回忆和估算——而估算的数据在结项材料里是不成立的。
正确的关系是:监测为评估提供数据,评估为下一轮设计提供依据。所以评估需要的多数数据,应该在监测阶段就持续收集。这也是为什么本手册反复强调"立项时就要设计"。
要把"效果"管起来,先得把项目说成一条因果关系明确的链条。这是所有监测评估工作的起点。常用的是这样五个层次:
| 层次 | 含义 | 举例 |
|---|---|---|
| 投入 | 投入的资源 | 资金、人员、物资、场地 |
| 活动 | 开展的工作 | 举办 12 场培训、走访 200 户 |
| 产出 | 活动直接产生的东西 | 培训了 600 人次、发放了 200 份助学金 |
| 成果 | 受益对象身上的变化 | 参训人员的知识测试合格率从 40% 提升到 85%;受助学生辍学率下降 |
| 影响 | 更长期、更广的改变 | 项目区域从业者整体水平提升;某类困境得到系统性缓解 |
这条链上最容易断裂的地方,在"产出"和"成果"之间。
大量的项目材料只写到产出层——"培训了 600 人次""发放了 200 份助学金"。但产出只证明做了什么,不证明带来了变化。参训 600 人次不等于 600 人学会了;发了助学金不等于学生留住了。
把链条补到成果层,才有资格回答"有没有用"。这也是资助方提问时最常追的一层。
第 4 步是很多人会跳过的,但最有价值。它会让项目在开工前就发现"环节跳跃"——比如指望"办三场讲座"直接带来"行为改变",中间其实缺少持续的跟进支持。设计阶段发现,改起来成本很低;执行到一半才发现,只能硬撑。
基线是本手册中最不能省的一件事。
成果层指标必须回答"变化了多少",而"变化"需要两个数:变化前的状态(基线)和变化后的状态(终值)。没有基线,就只有一个数,说不出变化——那时候只能靠估算或找别的参照,而这两者在正式的成效说明里都站不住。
| 方法 | 适用 | 要点 |
|---|---|---|
| 前测 | 知识、技能、态度类目标 | 在活动开始前对受益对象做一次测量(测试、量表、问卷),与结束后的测量同口径 |
| 现状调查 | 生计、健康、就学类目标 | 项目开始前收集受益对象的基本状态数据(收入、健康状况、在读情况等) |
| 既有数据 | 区域性或群体性指标 | 使用主管部门、学校、社区已有的统计数据作为基线,须注明来源与统计时点 |
| 回顾认定 | 确实来不及做前测时的补救 | 依据可查证的既有记录(如入学成绩、就诊记录)确定起点,须说明认定方式与依据。属补救,不属常规做法 |
基线要在执行前取,这一点没有替代方案。常见的困难是"等想到要做评估时,项目已经做了一半",此时基线只能靠回顾认定,可信度明显下降。所以基线工作必须写进立项流程——立项书里没有基线采集安排,就说明这个项目的效果注定说不清。
| 层次 | 用于 | 特点 |
|---|---|---|
| 投入指标 | 看资源是否到位 | 易得,但不能说明效果 |
| 产出指标 | 看工作是否按计划完成 | 监测阶段的主力 |
| 成果指标 | 看受益对象是否变化 | 评估阶段的核心,也是资助方最关心的 |
| 影响指标 | 看长期或更大范围的改变 | 往往超出单个项目的归因能力,需谨慎表述 |
| 关 | 问自己 |
|---|---|
| 具体 | 这个指标到底测什么?不同的人理解一致吗? |
| 可测 | 用什么方法能测出来?现有条件下测得到吗? |
| 可达成 | 在项目周期和资源内,这个目标现实吗? |
| 相关联 | 这个指标和项目目标真的有因果关系吗?还是只是顺便有关? |
| 有时限 | 什么时点测量?项目结束时,还是结束后一段时间? |
不是所有成效都能变成数字。很多重要的改变——自信心、家庭关系、社区参与意愿——难以量化。正确的做法不是"因为没有数字就放弃",而是为它们设定可观察的结果指标:
| 方式 | 说明 |
|---|---|
| 前后测 | 同一对象在项目前后的状态变化(可用量表) |
| 成果物 | 受益对象自己产出的东西(作品、方案、记录) |
| 完成率 | 按计划完成关键动作的比例(如持续参与率) |
| 行为改变记录 | 可观察的行为变化,由项目人员定期记录 |
| 第三方观察 | 老师、家长、社区工作者等熟悉受益人的第三方人员的观察判断 |
一条纪律:不以活动场次和人次的痕迹记录,代替效果层面指标。场次和人次是产出,不是成果。把它们当成效果证据,是项目材料最普遍的硬伤。
| 跟踪什么 | 怎么做 |
|---|---|
| 目标达成进度 | 对照立项时设定的量化指标,按项目节奏记录实际进展与差距——重点记差距,不只是记完成 |
| 不易量化目标的观测 | 用立项时设定的结果指标(前后测、成果物、完成率、行为改变记录、第三方观察)持续记录 |
| 执行偏差 | 进度、预算、范围与计划的偏离,以及原因与应对——这是纠偏的依据 |
机构应当建立项目管理制度,并对项目实施情况进行跟踪监督。跟踪记录不只是项目管理工具,它同时是"制度确实在运行"的证据——在评估与检查中,一份持续、完整的跟踪记录,比事后的总结更有说服力。
| 节奏 | 做什么 | 产物 |
|---|---|---|
| 按月 | 进度与产出的例行统计;异常及时上报 | 月度进度记录 |
| 按季 | 对照指标看差距,形成调整建议 | 季度分析 |
| 里程碑节点 | 关键阶段结束时做一次小结,评估是否需要调整设计 | 阶段小结 |
| 中期 | 较全面的中期检视,为后半程调整提供依据 | 中期报告(如有要求) |
监测最实用的一条纪律:记差距,不只记完成。"计划完成 10 场,实际完成 8 场,缺 2 场,原因是场地协调延迟,拟通过 8 月下旬补办"——这样的记录才能支撑纠偏。只写"已完成 8 场",就失去了监测的意义。
成效不是一个结论,而是一组证据。证据的强度不同,说服力也不同。下面六类按"能不能单独证明有效"排列,建议组合使用。
| 序 | 证据类型 | 说明 | 强度 |
|---|---|---|---|
| ① | 数据 | 量化指标的达成情况,含与立项基线的对比 | 高(有基线时) |
| ② | 前后对比 | 同一对象在项目前后的状态变化(前测/后测、基线与终值)——回答"是否真的变好"最直接的方式 | 最高 |
| ③ | 受益对象反馈 | 受益对象本人或其监护人的反馈、回访 | 较高 |
| ④ | 第三方评估 | 专业评估机构、行业组织、专家组的评估报告 | 较高(独立性强) |
| ⑤ | 外部印证 | 媒体主动跟进报道、合作方或主管部门的客观评价、项目结束后的持续使用或自发参与 | 中 |
| ⑥ | 痕迹 | 签收、记录、影像、报道等。只能证明"做过",不能单独证明"有效",不宜占过高比重 | 低(需与其他证据配合) |
结项材料常见的两个问题:
① 证据结构失衡。大量照片、签到表、活动清单,占了大半篇幅,而能说明效果的第①②③类证据很少。
② 只有数据与痕迹,没有前后对比和外部印证。这种情况下,"效果如何"实际上没有回答。
调整方法很简单:把证据按这六类各拉一个清单,看哪几类空缺。空缺的补上,比重失衡的压缩痕迹类。
受益对象变好了,不代表一定是项目带来的。可能有其他因素同时起作用——政策变化、家庭状况改善、学校的努力、经济环境好转。
严谨的表述方式有两种:① 说明项目做了什么、观察到什么变化,同时客观指出可能存在的其他影响因素;② 通过对比设计(如未参与项目的类似群体情况)增强说服力。
要避免的表述:把观察到的一切变化都归因于项目。这种表述在专业评估中很容易被质疑,一旦被质疑,反而会削弱整份材料的可信度。
| 情形 | 理由 |
|---|---|
| 资助方在协议中要求 | 属约定义务,须按约定执行 |
| 项目规模较大或周期较长 | 内部评估的说服力有限,独立评估更可信 |
| 需要对同类做法做横向比较 | 第三方具备跨机构的比较视野 |
| 成效存在争议,需要独立判断 | 独立性能减少利益相关的影响 |
| 准备把项目做法推广复制 | 需要客观评估其可复制性 |
两条纪律:
① 不得干预评估结论。可以就事实与方法提出意见,但不能要求修改结论——一旦发生,评估的价值和机构公信力会同时受损。
② 受益对象信息须受同等保护。第三方评估会接触到受益人隐私,委托协议中应明确其使用范围与保密义务,不能因为"是评估需要"就放开。
委托之后,机构要能看懂拿回来的报告,也要能判断它是否规范。评估报告没有唯一格式,但有几类体例是通行的——先认出它是哪一类,就知道它回答的是哪个问题。
| 类型 | 回答的问题 | 典型结构 |
|---|---|---|
| 成效评估报告 | 项目做了什么,产生了什么变化 | 背景与利益相关方 → 评估框架与方法(含局限)→ 实施情况 → 成果与影响 → 影响因素与各方反馈 → 发现与建议 → 附录 |
| 项目模式评估报告 | 这套做法在设计上是否成立、为什么有效 | 背景与方法 → 项目概览与发展脉络 → 逐项拆解(定位与选择机制、资源投入方式、社群/平台等)→ 价值呈现 → 挑战与机遇 |
| 事件调查评估报告 | 某一事件为什么会发生、责任在哪里 | 基本情况 → 经过与处置 → 直接原因 → 暴露的问题 → 有关方面责任 → 处理建议 → 教训 → 整改措施 |
三类用途不同:机构自身项目多用前两类;事件调查评估一般由主管部门或专门组织的调查组作出,机构在自查、事故复盘或配合检查时可能接触到这类文本。
事件调查评估报告:各部分分别写什么
这类报告的结构最固定,一般按"事实 → 原因 → 问题 → 责任 → 处理 → 教训 → 措施"层层推进。机构若需自行提交事故复盘或重大事件自查报告,可参照这套骨架组织,比笼统写一篇"情况说明"更站得住。
两条通用写法:原因分析要分层——不把所有因素平铺成一条清单,要能看出哪一层是机构自己可以干预的;问题与建议要对应——提出的每一条整改措施,都能对应回前面某一条问题。
拿到一份评估报告,先看这几处,再判断它能用到什么程度:
引用第三方评估报告须注意两点:
① 授权范围。报告通常约定使用权限,对外公开或转引须在约定范围内;委托协议未放开的部分,不得对外使用。
② 受益对象与受访者信息。报告中的个案、引语、可识别的信息,对外引用前须逐处确认授权并做必要处理。这与前几节的信息保护要求一致。
| 事项 | 要求 |
|---|---|
| 验收依据 | 按协议约定的标的与标准验收;资助类项目通常要求提交执行结果与资金使用情况 |
| 验收标准 | 在立项时就写好,结项时逐条对照——临时定标准必然宽松 |
| 签署 | 验收结论须由机构负责人或授权人签署 |
| 数据核对 | 成效数据须经核对,不得估算充数 |
结项要回答的不只是"做了什么",更是"效果如何"——项目是否让事情或人群真的变好了。
只有数据与痕迹、没有前后对比和外部印证的结项材料,说服力有限。所以结项报告的结构建议是:目标与指标回顾 → 基线对照 → 达成情况 → 未达成部分及原因 → 证据清单 → 经验与后续建议。
| 类别 | 内容 |
|---|---|
| 目标与指标 | 立项时设定的目标、指标与验收标准 |
| 基线数据 | 起点状态及其测量方法与时点 |
| 终值数据 | 同口径的后续测量结果 |
| 前后对比 | 同一对象的变化分析 |
| 受益对象反馈 | 回访记录、反馈意见(注意授权范围) |
| 第三方材料 | 评估报告、专家意见(如有) |
| 外部印证 | 媒体报道、合作方与主管部门评价、后续持续使用情况 |
| 过程痕迹 | 进度记录、影像、签收等(作为辅助,不作为主要成效证据) |
| 资金使用 | 收支情况与结算说明 |
前面几节讲的是设计,这一节讲执行。设计再好,数据不可靠,评估结论就站不住。
| 序 | 问题 | 后果 |
|---|---|---|
| 1 | 口径前后不一致——基线和终值用了不同的指标定义或统计范围 | 对比结果无意义 |
| 2 | 事后估算——数据是回忆或推算出来的 | 经不起核对,属实质性缺陷 |
| 3 | 重复计数——同一对象在不同环节被重复统计 | 数据虚高 |
| 4 | 样本偏差——只统计了配合度高、容易联系到的对象 | 结果偏乐观 |
| 5 | 原始记录缺失——只留了汇总结论 | 无法核查,可信度下降 |
| 6 | 统计时点不清——没写数据是哪个时间点的 | 与项目周期对不上 |
一条不能碰的线:不得估算充数。数据不完整时,正确做法是说明缺失情况与原因,而不是"按经验估一个数"。估算的数据一旦被发现,不只是这一个数据失效,整份材料的可信度都会受影响。
评估做完就归档,是最常见的浪费。评估的价值在于改变下一次的做法。
| 用法 | 怎么做 |
|---|---|
| 调整项目 | 有效果的做法保留并固化,无效或低效的环节调整或取消 |
| 改进设计 | 把评估中发现的"环节跳跃"补上,把不合理的指标换掉 |
| 对外交代 | 向资助方、捐赠人、公众说明进展与成效;也是信息公开的组成部分 |
| 推广复制 | 被验证有效的做法,整理成可复制的方案,用于其他地区或项目 |
建议做一件很小的事:给每个项目留一份"复盘记录"。不用长,写清三件事——哪些做法有效、哪些没效果、下一次要改什么。若干年后,这份记录就是机构最实在的资产。
能补救,但可信度会下降。可以用可查证的既有记录(如入学成绩、就诊记录、此前的统计数据)确定起点,并说明认定方式与依据。同时把"基线采集"补进项目的管理流程,避免下一个项目重蹈。请务必区分:这是补救,不是常规做法。
可以在设计阶段就考虑这一点:① 用"群体指标"代替"个体追踪"(如合格率、辍学率);② 对能追踪到的对象做前后测,同时说明失访情况;③ 采用第三方观察(老师、社区工作者)补充。关键是如实说明局限性,而不是回避。
建议做。原因有两层:一是效果评估首先是为自己做的——它决定项目该不该继续、怎么改;二是效果数据对后续筹资非常有用,很多机构是在下一次申请时才发现"早该留的数据没留"。
遵循"少而准"的原则。指标不是越多越好——太多会导致数据采集负担过重、质量下降。建议每个成果层目标配 2–3 个核心指标,先保证这几个数据可靠。宁可少而准,不要多而虚。
一个简单的测试:把指标里的动作去掉,看剩下的是不是受益对象的状态。
"举办 10 场培训"——去掉动作就没了,是产出。
"参训人员考核合格率达到 80%"——剩下"合格率",描述的是人的状态,是成果。
"培训满意度 95%"——满意度是感受,介于产出与成果之间,作为辅助可以,不宜作为主要成效证据。
不一定。是否引入取决于协议要求、项目规模、成效是否存疑、是否需要横向比较。项目较小、内部数据完备的情况下,扎实的内部评估同样有效。要避免的是"为了显得专业而请第三方,但评估问题没想清楚"——那样的报告往往用不上。
如实说明,并说明原因与调整方案。资助方最在意的通常不是"结果不理想",而是"机构是否知道问题在哪、有没有能力改进"。隐瞒或修饰,一旦在其他渠道被发现,损失更大。
观念改变可以测,但需要找可观察的代理指标。例如:相关人群的态度问卷(前后测)、行为层面的变化数据、公共讨论中相关话题的出现频次与倾向、政策或制度的调整。采用时须说明这些指标与目标观念之间的逻辑关系,并承认其局限。
先统一口径再汇总。各地执行方使用同一套指标定义、同一种统计表式、同一个统计时点。汇总时注意两点:一是保留分地数据(避免汇总后掩盖差异),二是留意各地数据采集能力的差异,必要时说明。
项目结束后一段时间的状态,是判断"可持续性"的重要依据,也是"外部印证"的一类。建议在设计阶段就考虑是否设追踪期(如结项后 6 个月或 1 年)。不是所有项目都需要,但如果是"能力建设""生计改善"这类以持续改变为目标的,追踪很有必要。
| 字段 | 填写说明 |
|---|---|
| 指标名称 | 简洁明确,不要有歧义 |
| 所属层次 | 投入/产出/成果/影响 |
| 口径定义 | 分子分母、统计范围、计量单位——必须唯一 |
| 基线值 | 起点数据+测量方法与时点 |
| 目标值 | 项目结束时希望达到的水平 |
| 数据来源 | 问卷/测试/既有数据/访谈/观察 |
| 采集频次 | 月度/季度/中期/结项 |
| 责任人 | 谁采集、谁核对 |
| 实际值 | 阶段性填列,并记录差距与原因 |
| 序 | 检查项 | 是/否 |
|---|---|---|
| 1 | 每个成果层目标都有对应的终值数据 | |
| 2 | 终值数据与基线数据口径一致,可直接对比 | |
| 3 | 有受益对象本人的反馈或回访记录 | |
| 4 | 有第三方评估或专家意见(如适用) | |
| 5 | 有外部印证材料(媒体、合作方、主管部门评价、后续持续使用等) | |
| 6 | 痕迹类材料占比合理,未取代效果证据 | |
| 7 | 未达成部分已如实说明并分析了原因 | |
| 8 | 所有数据均非估算,原始记录可查 | |
| 9 | 已说明可能影响结论的其他因素 | |
| 10 | 已形成下一轮的改进建议 |
用于识别报告类型与核对要素完整性。表中要素为通行做法,非强制格式。
| 要素 | 成效评估 | 项目模式评估 | 事件调查评估 |
|---|---|---|---|
| 声明与授权 | 利益冲突声明、使用授权范围 | 同左 | 调查主体与授权依据 |
| 背景与目标 | 项目背景、评估目标 | 项目缘起与定位 | 事件基本情况 |
| 方法与局限 | 框架、抽样、工具、局限 | 框架、方法、局限 | 取证方式、技术手段 |
| 主体内容 | 实施情况、成果与影响 | 逐项机制拆解、价值呈现 | 经过、处置、原因分析 |
| 发现与结论 | 按产出/成效/影响分层 | 设计是否成立、可复制性 | 问题、责任、教训 |
| 建议 | 改进与迭代建议 | 行动策略建议 | 整改与防范措施 |
| 附录 | 数据表、活动一览、问卷 | 访谈提纲、方法说明 | 依据文件、技术附件 |
按"委托前—委托中—验收时—使用后"四个阶段,各阶段须确认的事项。
| 阶段 | 要做的事 |
|---|---|
| 委托前 | 明确评估问题(过程/成效/模式);确定成果形式与提交时间;约定报告的使用授权范围、数据归属与保密义务;把上述内容写进委托协议 |
| 委托中 | 提供真实、完整的项目数据与台账;按约定配合访谈、问卷与实地;就事实与方法提出意见,但不要求修改结论 |
| 验收时 | 核对报告是否具备:利益冲突声明、方法说明、评估局限、分层结论;核对关键数据能否追溯到采集方法与统计时点;确认报告的使用范围与机构约定一致 |
| 使用后 | 按授权范围对外披露;涉及受益人或受访者的个案、引语与可识别信息,引用前逐处确认授权;把评估结论落到下一轮项目设计的调整上 |
四个阶段中,最容易出事的是"使用后"——不少机构在报告到手后就直接摘取其中的个案或数据对外宣传,而这一步恰恰最需要先确认授权。报告能用多少、给谁看,在委托协议里就应写清;没写清的,使用前先与评估方确认。
| 文件 | 管什么 |
|---|---|
| 《中华人民共和国慈善法》 | 建立项目管理制度、对项目实施情况跟踪监督;提高慈善财产使用效益;项目结束后公开项目实施情况与募得款物使用情况;向受益人告知资助标准、工作流程与工作规范 |
| 资助协议约定的成果要求 | 验收标准、需提交的执行结果与资金使用情况 |
| 评估指标体系的相关要求 | 对项目成效的评价维度(如评估类材料中的成效指标) |
| 受益对象信息保护的相关要求 | 评估中收集与使用受益人信息须遵守的授权范围 |
以上依据的具体条款与现行有效性,须以发布主体公布的最新文本为准。涉及协议约定的,以协议文本为准。
回到那个问题:这个项目,真的起作用了吗。
能干净地回答这个问题,靠的只有四件事——立项时想清楚要改变什么,开工前把基线留住,过程中持续记录差距,结项时用前后对比说话。这四件事都不复杂,但都要在还来得及的时候做。