返回《资助基本功》主目录>>

 

监测评估的重要性似乎不言而喻，很少有人会反对公益应该做监测评估。但举目望去，中国公益界拿得出手的监测评估案例，却屈指可数。

既然重要，为什么却做得很少呢？

你们机构动过要做评估的念头吗？实施了吗？为什么没启动？有什么顾虑？如果实施了，你觉得评估作用大吗？它带来了什么变化？

很多人觉得应该做，但不知道怎么做，做了的也不太满意，这大概就是中国公益监测评估的现状吧。

这里头有第三方评估机构能力的原因，此处不谈。这门课程是给CDR伙伴机构讲的，咱们自己先要求自己。

监测评估做得好不好，和咱们作为评估发起方的公益思路和管理水平，有很大关系。

 

MEL是什么？

先讲监测、评估、学习的定义。

• 监测（Monitor）：是项目执行过程中持续进行的管理行为，定期搜集和分析关于项目投入、活动、产出以及近期成果的信息。
• 评估（Evaluation）：是一种阶段性研究行为，对项目给服务对象以及社会带来的改变进行严谨系统的分析和判断。
• 学习（Learning）：是行为改善，也即从不那么有效的行为向更加有效的行为的改善。

由此可见，监测评估都是手段，不是目的。监测评估的目的，是学习，是行为改善。因此我们在说ME的时候，要注意把L考虑到。

综合起来讲，MEL就是要不断探寻、管理以及扩散更有效的解决方案。

 

探寻有效方案

公益界常说，公益组织给社会做贡献的一个重要方式是社会创新，也就是针对一个社会问题，探索有效、可持续、宜推广的方案。

如果真把这个创新功能当回事，咱就需要用到监测评估。

以提高孩子读写能力为例：

• 给每个班配图书角，有效吗？

• 图书角+每周一堂阅读课，有效吗？

• 怎样的阅读课是有效的？

• 给家长定期发阅读书目推广文，有效吗？

这样，开发项目的过程就是一个研发探寻的过程，目的是找到有效方案，找到方案中的有效成分。

如此这般的项目开发思路，需要我们：

• 确立合适的变化目标。比如提高读写能力，目标不能是捐赠图书、建图书角，这些都是活动，不是活动希望推动的社会变化。

• 明确目标的具体含义。读写能力是什么能力？如何衡量？

• 明确实现目标的路径。为了提高读写能力，需要事先做到什么？

以上就是项目的变革理论。梳理变革理论，是咱们自己的责任，不能完全甩手给第三方机构。很多公益机构不能制定自己的变革理论，说明我们还没有做好监测评估的准备。

当然，探索有效方案，要求我们真的看重有效，并且如果无效了，愿意承认，还愿意调整行为。

这似乎是天经地义的事，但真实情况并非如此。很多时候，公益组织无法判断自己是不是有效，甚至有一些极端的情况，捐赠人、执行人明知无效，也仍在继续。这样的例子，你见过吗？

 

内部绩效管理

项目开发完，进入实施阶段，我们希望同事们能够围绕目标（预期成果）去工作，而不是围绕活动工作。

这两者的差别很大。围绕着活动做，把事按计划做完就行了，围绕着目标做，会有更强的主动性，可能需要多做很多工作，可能会灵活调整，找到更好的方法。

这时候，机构希望开发出几条关键绩效指标，定期收集和检查，一方面及时发现问题，及时调整；另一方面，也方便向理事会、出资人做简明扼要的成效报告。

内部绩效管理，如果做得好，既有助于对内改善行为，又有助于对外披露成效。当然，这对机构管理提出了更高的要求。

你见过这样的组织吗？他们为什么能做到呢？

这里头的难点是什么？设计成效监测指标。你看大多数公益机构的年报，披露的信息，几乎都是产出型的，筹了多少款，服务了多少人次。这和成效指标还有很大很大差距。

好的绩效指标长什么样？

• 首先，要对实现目标有关键意义。捐赠图书数量就没多少意义，因为很可能被锁起来。孩子们的平均阅读量更有意义一些，孩子们作文内容的丰富程度，可能就更有意义。

• 其次，工作人员在工作过程中就能收集。我们不能雇一家评估机构全程陪伴收集绩效数据。这意味着，绩效指标本身不能太复杂，要便于衡量和收集。

要想找到这样的绩效指标，同样要求机构对自己的变革理论拆解得非常清晰。同时，机构还需要把收集和分析绩效信息，纳入到正式工作流程，不能等到理事会问起才收集，那个时候可能已经晚了。

另外，需要特别提醒的是，绩效管理要求组织有实事求是、开放包容的文化，绩效管理不是找成绩的工具，也不是苛责的工具。

 

扩散有效方案

找到了有效方案，公益机构实施，覆盖的范围总归有限，为了实现大规模、系统性的变化，需要将方案推广给政府或者社会公众采纳。

如上图之中，影响评估的读者是谁？是政策制定部门，或者社会公众。再往前进一步，解决方案要推广给谁呢？是政府部门或社会公众。

这个时候，评估要发挥作用，有三个很重要的条件：

第一：项目（解决方案）从最开始就是为广泛大范围的人群设计的。宜推广的项目 ，需要具备一定的条件，比如普通人也能实施，比如经济上可行划算，不能是你投入大量人力物力才能做成，如果扩大到社会层面，政府负担不起，普通人负担不起，他们就不会采纳。如果设计的项目不符合条件，它就还没做好广泛推广的准备，此时不宜进行影响评估。

第二，评估要回答政策制定部门或者社会公众关心的问题，而不是你关心的问题。CDR常以阅读来举例。公益机构的理念一般都比较“非主流”，公益机构推广阅读，大多提倡自主阅读、快乐阅读，不提倡功利化阅读，不重视学习成绩。因此很多阅读推广机构做评估，不想评估阅读对学习成绩的影响。

但教育局领导、学校校长、家长关心学习成绩，有些孩子也关心。我们希望向他们推广阅读，我们得向他们展示，阅读对学习成绩的影响。是正向影响，没有影响，还是负向影响？如何能促进正向影响，避免负向影响？作为严肃的阅读推广机构，我们要给利益相关方一个经得起考验的交代。

第三，政策倡导、公众倡导是系统工程，需要很多后续工作。一个创新方案，不是评估验证有效，别人就会自动采纳，创新的推广，还有很多工作要做。这在我们以后的课程中再详细拆解。

 

做好MEL的前提

上面介绍了三种监测评估的场景，当然还有更多场景，但我们已经可以管中窥豹了。MEL难在哪里呢？做好监测评估，需要哪些条件？

首先，组织要建立实事求是、有效公益的文化，组织愿意主动追求更有效、更可持续、更宜推广的方案。这样，才会产生对监测评估的实际需求。

其次，监测评估是组织管理的一部分，不能孤立存在，它要求公益组织具备优秀的战略规划和项目设计能力，还要求搭配很多其它工作，才能充分发挥作用。

画一份评估工作流程，如下：

在这六个步骤当中，界定评估目的，梳理变革理论，确定评估问题，应用评估发现，都应该是我们自己主导的，设计信息搜集方法工具，收集信息、撰写报告，可以由评估机构主导。

监测评估能不能做好，能不能用好，我们有很大责任。

几个相关的问题和思考

问题1：有一家做社区儿童服务的公益组织，负责人跟我吐槽，“资助官员总是反复问我，‘你们项目带来了什么变化’而且一定要讲到孩子发生了什么变化”，他被问得非常困扰。你有被这样吐槽过吗？你觉得资助官员做得对吗？

首先，我认为资助官员做的是对的，没有大问题，虽然这会给合作伙伴带来一定压力。压力不见得是坏事。资助机构是公益组织发展的重要压力来源之一，缺少了这个压力来源，对培养公益组织的契约精神和专业能力是不利的。当然，我们在提出挑战的同时，也要有爱与陪伴：

1.挑战（或建议）要本着对伙伴有利的原则

我们在提建议的时候，要为了对方好，而不能仅从自己的需要出发。配合这个原则，我们要尽量对伙伴整体状况有所了解，我们也要倾听伙伴们认为自己面临什么困难，将他们关心的问题和我们发现的问题结合起来思考，这样提出的挑战和建议会更有质量。

2.分析挑战背后的原因

为什么伙伴会感到困扰？是本来就不想追求成效？还是不能将自己日常的具体工作与目标对象的变化联系起来？还是机构已经观察到孩子的一些变化，但是不能条理清晰地表达出来？原因不同，所需要的帮助也不一样。

3.要有陪伴伙伴成长的耐心

我们需要理解，即使伙伴们现在不能回答好这个问题，也不表示这是一家糟糕的机构。能够讲清楚成效变化，是一种很高阶的能力。这种能力，往往要花很长时间来培养。甚至公益组织能界定好目标，也要经历几年的时间。

爱与挑战，一体两面，我们可以挑战一下自己，让自己同时具备这两种能力。

问题2：你见过监测评估发生较大作用的真实案例吗（国内外均可）？

我这里推荐一份案例：5800万美元项目的评估之旅（点击即可跳转）。我整理了这份案例中一些有意思的要点，在这里分享。大家读过这篇案例后，可以分享下你还有什么其它启发。

1.把评估纳入正式议程很重要

项目运行一段时间，如果出了问题，组织内会有一部分员工或理事率先感知到，但是大部分情况下，只能私下议论或者偶尔批评，不一定能被提上正式议程。基金会的一些大型项目或者重点品牌项目，可以把定期评估（比如每3-5年）作为一个重要机制，对项目进行深入的反思和调整。

2.每个项目都应该有一个主打目标

没有主打目标，我们很难判断项目是否成功。上面这个案例的核心目标就是：提升加利福尼亚州五个城市中弱势学校学生的学业表现。

同很多公益组织的项目一样，它有着看上去很赞的理念，比如它说，教育不只是学校的事，也是整个社区的责任，因此需要学生、家庭、学校、社区组织都参与进来，共创高质量的课后学习机会。

但理念是一回事，目标是另一回事。目标有更客观的标准。很快他们就发现，项目服务孩子的数量远不如预期，单人服务成本超过预期的2倍，更重要的是，绝大多数都只是开展艺术、音乐、体育活动来丰富学生的课余生活，对于学业提高的作用不大。这里当然不是说，艺术、音乐、体育这些不重要，而是与这家基金会的目标关系不大。

3.一边做项目，一边关注本领域的研究进展

随着项目的进展，该领域的研究也在深入，一些原来没有注意到的问题，逐渐浮现。这些新的研究，很可能对项目基本假设提出巨大挑战，也会给项目带来新机遇。比如这个项目，后来出现很多关于课后教育的研究，研究发现，与学校教育缺少衔接性的课后项目对于提高学习成绩作用不大，而提高阅读能力可能是更好的选择。

4.评估问题应尽量具体

这个案例中的评估问题就提得非常具体，这很值得我们学习。你看，他们的评估问题不是：

• 评估项目对学生的影响；
• 评估项目对家长的影响；
• 评估项目对老师的影响。

而是：

• 学生家长和学校希望课后项目实现什么目标？
• 学生退出课后项目的主要原因是什么？
• 学生的阅读兴趣、阅读能力和对学校的态度有什么变化？
• 学生的参与程度与学业能力提升的关系？
• 哪些学生进步更快？（例如英语是否为母语，原有阅读能力水平等）

这些问题的目标性更强，有更强的行动指向，直接指向后期希望改进的方向，为其提供依据。我们做项目评估的时候，在收集信息之前，要尽量把评估问题写到这种程度。

5.他们对项目逻辑做了调整

他们对项目假设和项目目标做了调整。前后对比，调整后的内容，就更加聚焦了。用CDR的常用说法，调整之后，靶心更加清楚了。项目就像打靶，靶心越清楚，越有穿透力，效果也可能会更好。

6.他们深刻反思并诚意对外分享

他们反思得比较彻底，挖内心挖得比较深刻，还愿意公开出来，很让人佩服。比如：

他们反思：自己为什么不早做评估调整，如果没有外部压力，例如资产缩水、领导层更迭，很可能项目会沿着惯性继续，继续走原来不那么有效的路线。

他们反思：基金会本能地认为自己的项目好，第一反应是继续原有的项目，甚至扩大项目，而不是挑战自己的假设。

他们反思：自己在没有可靠的事实依据、没有深思熟虑的变革理论的情况下，贸然启动重大项目。雄心壮志必不可少，但应该有可靠的战略和跟踪进展的方法。

最后需要说明的是，我们研读案例，不是为了借鉴他们的内容，而是借鉴他们思考的方式。每一个案例，具体的做法，可能更适用于那个机构、那个时候，但是他们思考的方式、做事的方式，可借鉴性更强。

返回《资助基本功》主目录>>