【成员专享】线上研讨实录所有内容仅限CDR成员浏览、学习，谢绝任何形式的公开转载、发布、传播。谢谢您的支持与配合！
公益组织内部监测评估能够做到什么程度？已经能够自我阐明成效的组织投入了哪些努力又遇到过怎样的困难？2020年9月4日，CDR邀请侯蔚霞（活力社区执行总监）、刘付虹仪（活力社区项目官员）为成员机构做线上分享。
阅读材料（点击标题浏览/下载）>>
活动录屏>>
文字实录>>
于卜一（CDR）：
今天我们的核心主题是自我阐明成效。我们报名参加这次会议的有大概50位伙伴，大家都是来自资助机构的工作者。无论是资助机构还是我们资助的伙伴们，就是公益组织的伙伴们，都绕不开的一个需求是如何讲清楚自己的成效。作为资助者，我们有时还需要想得更远一点，除了我们自己知道怎样阐明成效之外，还需要我们推动资助伙伴一起来讲清楚成效。为了更好地做到这一点，我们就需要更深入地了解伙伴们现在做到什么程度了，有哪些伙伴已经能够讲清楚成效了，他们是怎么讲清楚的，以及需要什么条件等等。
我们为什么会选择自我阐明成效这个主题呢？因为CDR的使命里面有很核心的一部分是探索有效公益，推动社会问题解决。监测评估与学习是CDR重点关注的话题之一，从伙伴们实际的监测评估场景出发，我们看到伙伴们最常做的监测评估大致分为两类，一类是找第三方来帮我们做评估，另一类是我们自己内部来做监测评估。
基于对两类场景的常见挑战分析，CDR开展了一些初步的行动。在第三方评估方面，我们针对评估严谨性偏低、行业贡献少等问题，想要寻找一些近期刚刚做完外部评估的伙伴来一起梳理，对整个行业分享一些有用的关于第三方评估的发现，然后总结一些有用的方法。
今年上半年，我们已经和4家伙伴一同做过了一些第三方评估的合作，相关的资料大家可以在CDR的公众号和学习中心看到。未来一段时间我们也还会随着伙伴们做外部评估的进展，不断地邀请更多的伙伴参与到我们的研讨和分享中来。接下来一段时间我们会进一步聚焦在公益组织内部做监测评估这个话题上，在这一部分常见的挑战是，很多伙伴目前只能讲到投入执行或者是产出层面，很少有伙伴能够讲清楚成效，所以我们希望找到一些已经能够自己讲清楚成效的伙伴来为我们分享他们的经验。 接下来一段时间我们也会陆续邀请3-4家这样的伙伴来和我们做今天这样的研讨。今天我们首先邀请到的是活力社区的伙伴。
在内部监测评估这个主题下，我们主要希望和大家一起探讨这样几个问题，一个是现在已经能够自己讲清楚成效的这些组织，他们通常会投入大量的精力和资源，是什么样的动力推动他们一直往前走？他们现在做到什么程度了，是怎么做到的？第二个问题是有哪些条件为这些组织在讲清楚自己成效的过程中提供了保障呢？第三个是作为资助官员，经常要和我们的公益伙伴们就监测评估的问题或者是需求进行一些商讨，当我们更好地了解了伙伴们的现状之后，我们怎么样可以更好地把控自己的预期，推动伙伴和自己共同成长？这是未来一段时间内大概3-4场工作坊中，我们会反复探讨的问题。
往年CDR寻找社会问题解决方案的方法，更多是偏单打独斗型的。我们也会召开一些工作坊和大家一起来交流收集建议，但是收集后往往会回到我们机构内部来思考一些解决方案，再对外分享出来。今年我们开始尝试打开自己，也相信每位伙伴的能量，于是我们纳入更多的伙伴，参与到我们对各个议题的共学共创中来。这一段时间我们在监测评估方面刚刚成立了一个共学社团，在初期我们一共邀请了4位资助机构伙伴的加入，今天的工作坊就是这4位伙伴和CDR一起筹备的，这4位伙伴在未来的几场工作坊里面，大家都会陆续见到，今天我们会先见到一位。
在前期的设计过程中，我们共学社团的几位伙伴对活力社区做了初步的了解，在这个过程中我们非常明显地感受到活力社区对于梳理项目逻辑和讲清楚成效这件事情一直是非常坚定的，包括到现在他们还是在不断地探索怎么样可以更好地讲清楚自己的效果甚至是影响力。如果大家看了会前为大家提供的两份材料的话，相信大家对活力社区已经有了一个初步的了解。接下来我们进入正式的环节，主要包括三个部分。第一个是邀请我们活力社区的执行总监侯蔚霞老师为大家介绍案例的背景，还有他们做内部监测评估的契机。之后会进入两个核心的主题研讨，分别来讨论我们如何讲清楚成效以及需要什么样的条件。每个主题研讨会分为三个小环节，最后会邀请志艳做总结点评。今天除了两位活力社区的嘉宾之外，我们还邀请了两位研讨嘉宾，他们会在两个主题研讨的第一个小环节发言，分别是我们的参会分享嘉宾——澳门同济慈善会的翟希婷，以及我们共学社团的代表——乐高集团的黄晟，非常感谢大家的参与。
接下来就把时间交给侯老师。请侯老师用大概10分钟的时间为我们简要介绍一下案例的背景，还有是什么样的契机和动力推动我们走到了今天？
侯蔚霞（活力社区）：
谢谢卜一的介绍，我是来自活力社区的侯蔚霞，特别高兴今天能跟这么多伙伴分享活力社区亲子园项目在内部监测评估的一些进展，或者说是过往的一些经验，特别希望能够跟大家继续探讨，我们在帮助组织做好内部监测评估工作需要投入的事情，做的哪些努力以及遇到的一些困难。上次跟伙伴做完一次分享之后，我不得不重新回顾一下活力社区之前的监测评估，这是一个非常痛苦的过程，就像我们每个人写完论文以后都不想再看自己写的论文。
我们曾经是这样的一个状况，活力社区成立于2006年，最开始关注流动儿童面临的社会问题，尤其是小学年龄段的孩子。大家可以看到，我们当时针对流动儿童所面临的社会问题写了这么多。因为今天会有很多资助官员，有一点我特别想跟大家分享，每一个一线的草根组织，他们看到了非常多的问题，产生了很多感性的领悟，这是他们做事情的一个内驱力，他们想要去解决这些问题。大家可以看到我们当时写的流动儿童面临的社会问题，在小学年龄段，他自己的问题有什么，他父母的问题有什么，他小学毕业以后的问题又有什么。我们做的项目是一个少年儿童发展项目，有课后辅导类和夏令营类，到底能解决哪些问题，怎么解决的，实际上没有说清楚。包括学龄前儿童面临的社会问题，我们总结的时候既有他父母的问题，又有幼儿园的问题，还有他自身的问题。我们提供的是儿童早期发展项目对孩子和家长的一些干预。但是在做的过程中，作为一线的执行人员，我们发现我们做的这些工作没有办法真正解决这些问题，所以这是很沮丧的一个过程。之后我们得到了 CDR李志艳老师的很大的帮助，我觉得我们整个的监测评估是志艳老师给我们做完内部的能力建设之后，才开始有了质的改变。
现在活力亲子园项目变成什么样子，我先简单地跟大家来做一下介绍。我们曾经有这样看起来都存在的投入、目标产出、效果等等，但是实际上它内部的逻辑关系非常不清晰。现在的活力亲子园项目是什么样？首先我们从问题识别上来看，从儿童的早期发展，从生物学、医学以及经济学的角度，对早期发展投入和成年之后的投入的产出比例来看，可能都是来阐明儿童早期发展的重要性。在中国又有0~3岁，2637万的流动和留守儿童，他们可能是欠缺早期发展的机会的，基于这样的背景，我们设立了活力亲子园最终的使命是让更多流动留守儿童和他的家庭享有持续获得早期经济教育的机会。这个机会他们为什么没有享有，或者说这些孩子在0~3岁中，出现的成长的问题是什么？主要是他的家长，他的看护人缺少这种科学的养育理念知识和技能。为什么缺少？是因为他们缺少获得相关的支持。缺少相关的支持的原因是什么呢？首先是缺少服务的提供方，同时对于个体来说，他可能缺少服务的使用意愿和购买的能力。所以活力亲子园在第一阶段，是在尝试解决个人部分的问题，导致他出现这种状况的原因，是他对儿童早期发展的认知，以及他可支配的时间和收入限制了他。所以亲子园在第一阶段的探索就是去针对这个问题，采用了一个低门槛见效快和高赋能的干预方式，给这些家庭提供早期亲子教育的服务，并且在这个过程中，我们总结出来相关的活动经验，验证它有效之后，把我们所有的经验系统地归纳成相关的手册、文件、培养方案，再进入第二阶段去解决缺乏公共提供方的问题。这个过程中，我们也会考虑到底我们的服务方式适合在什么样的地方提供服务，我们会考虑到我们选择的区域怎么去解决我们想要解决的服务提供方，最后再去解决婴幼儿照养人未获得相关支持的问题。
刚才大概介绍了一下亲子园的两个发展阶段，在第一个阶段为什么要低门槛、见效快、高赋能？低门槛是为了能够让更多的孩子和家庭参与到项目的活动中来，在最开始活力亲子园项目只有亲子课形式，每次1.5个小时，每周两次，要16周一个学期才能够完成这个课程，对于家长来说，就没有办法解决他可能可支配时间有限的问题，以及他的认知水平可能没有达到这么高的程度，认为必须要参加这个课，所以我们降低了门槛，增加了每天15~20分钟的亲子活动的时间，同时要保证有一个空间能够全年开放，让家长和孩子可以随时走到亲子园里边来，然后再参与音乐游戏绘本阅读，这样能够促进孩子改变、和孩子的发展阶段非常相符的一些活动，让他短时间就可以看到孩子发生了变化，然后保证他可以持续地参与活动，这是见效快的重要意义。我相信每个做一线服务的人都知道，要保证项目可持续地发展，需要解决在地的人才问题。所以我们在家长赋能的阶段，不仅要提高他对于儿童的早期发展、亲子关系的重要性的理解和技能，同时亲子活动和家长活动是一一对应的，亲子活动里有音乐游戏，家长活动里就会有音乐游戏妈妈小组，绘本阅读就对应故事妈妈小组，我们在家长活动里培养家长带领15~20分钟的亲子活动的能力，帮助他养成这样的自信，从而逐渐地实现我们的受益人从活动的参与者成为活动的带领人、成为活动的执行者这样一个过程。所以它是从开放空间，低门槛能够参与进来，到他可以看到孩子的改变，持续地参与亲子活动，在家长活动里面再进一步被赋能，最后形成整体的环境的改变，从而给孩子创造一个更好的成长环境。
第二阶段我们完成一个项目点——能够有效地改变家长和为孩子提供这样的环境支持的尝试之后，要开始把经验分享给更多的伙伴。首先我们要想清楚我们到底要成为这个行业里什么样的角色，我们现在给自己的定位是我们要成为流动留守儿童早期亲子教育服务的播种者和培育者。
播种就是说我们要让更多的地方能够开始出现这样的服务，中国能够提供这种服务的存量太少，所以我们现在要去播种。同时我们希望已经拥有初步服务能力的伙伴，能够持续地提供服务，所以我们也需要培育他们。这张图大概说了一下，我们会按照一些选择区域的标准优先在什么地方播种，以及在培育的过程里我们提供什么支持，帮助他们大概是一个什么样的路径最后能够持续地提供服务。我们提供的有专业技术、落地支持和人才培养，在专业知识方面，我们会按照项目的整个发展阶段，在每一个阶段里需要什么样的内容，我们都会有专门的手册和相关的我们整理出来的部分给到大家；落地支持包括小额的资金、物资，伙伴社群的支持；人才培养，因为人才培养非常重要，我们在实践中不断地总结出来，每一个项目点一个普通的受益妈妈，从受益人慢慢地通过哪些培训，通过哪些考核，最终可以成为一个合格的得到当地的妈妈和家庭认可和信赖的老师，我们有这样的一个整理。最后一张图就是说我们可以按照一个项目的流程期，给伙伴提供不同类型的支持和服务，但是在这个阶段的监测评估，我们也仍然是在发展和探索的过程。
项目的整体的背景介绍就先到这儿，之后关于这个项目具体的内部的成效评估，请我的同事弘毅来介绍。
于卜一（CDR）：
接下来进入我们第一个主题研讨，已经阐明成效的公益组织内部的监测评估是怎么做的。首先邀请我们今天的两位研讨嘉宾翟希婷和黄晟来为我们先分享一下，在前期阅读了活力社区的介绍文案之后，你们觉得活力社区的监测评估的体系里面哪一点最吸引你？先请希婷分享一下看法。
翟希婷（澳门同济）：
各位伙伴上午好，非常开心今天能在这里跟大家分享我对于这一小块的思考，然后起到一个抛砖引玉的效果。看了关于活力社区监测评估体系的材料以后，我个人印象比较深的一点是他们花了很久的时间和第三方外部的评估团队一起做他们项目内在的逻辑梳理。从侯姐刚刚给我们做的一个简单介绍，可以看出他们模式、逻辑已经梳理得很清晰。我觉得这个事特别重要，是因为我也在平时的工作或者活动中碰到很多公益组织，他们对于评估监测这一块的困惑，不是说不知道为什么要去做评估，我觉得大家在这一块都已经有一个共识，更多的困惑是到底要怎么去做监测评估，或者说我已经请了一些第三方评估团队给我做监测评估，但是我觉得效果不好，可能他做了一个报告，甚至有一些评估指标，但是它似乎不符合我的项目的设计，好像跟我的项目关联度没有那么高。
我觉得这个过程中可能就是缺了一块，一起去做内部的逻辑梳理的过程。拿0~3这个领域举例子的话，我们想到去做成效评估，我们可能想到有一些0~3岁的领域儿童的发展的量表，对于认知、社会情感这些发展的指标，也有可能有一些量表是从家长端去做家长对0~3岁亲子互动的知识的评估，当评估团队把这样的方案给到公益机构的时候，他们可能不知道到底应该选哪个方案，或者说根据什么来选要做哪个方案。在这个过程中做一个内部的逻辑梳理就很重要了，因为如果我们是请第三方评估团队来做的话，在这个过程中第三方评估团队能够对我们的项目有一个深入的了解。 第二是在这个过程中，机构自己也能梳理清楚自己项目的内在逻辑以及哪一些活动设计可能存在需要进一步验证的地方，评估的关键点也都能够从中体现出来。第三个是在这个过程中，第三方的评估团队，可能给我们项目提供一个外在的视角，让我们更好地看待我们项目的设计。所以我当时看到活力社区他们整体方案里面包括这一块的时候，印象挺深，我觉得挺重要的。
于卜一（CDR）：
好的，谢谢希婷，感觉希婷讲了一个很多公益伙伴现实中会经常遇到的情况，也很真诚地分享了她在活力社区这里看到的吸引人的点，下面我们请乐高集团的黄晟分享一下你的观点。
黄晟（乐高）：
大家好，我是来自乐高集团社会公益和社会组织部门的黄晟。我可以先做一下自我介绍，我们公司是一个做大家都喜闻乐见的玩具的，我们公司的使命是启迪和培养未来的建设者，围绕通过玩乐来进行学习和发展的理念，给更多全国的全世界的需要帮助的困境儿童提供这样的玩乐途径，让他们在玩乐中自然地习得技能。
这一次非常有幸能接触到CDR还有活力社区，因为觉得和我们自己在做的项目有很多契合和匹配的地方，也给了我们在这个过程当中学习和互相讨论的机会。相信大家听过活力社区的背景介绍和开展评估监测评估这样的信息之后，对这个机构和所做项目有了大致的了解，作为本次共创社团活动的成员之一，我们也在这一次分享工作坊之前和活力社区的侯老师以及负责监测评审的虹仪老师有过一些沟通，可以说我们对于他们政策体系系统如此完善和全面，感受也的确是比较深刻的。
我们觉得监测评估体系，就像它的名字一样，不是一个独立存在的点，它需要多方面的要素支撑，包括前面侯老师提到的，首先机构负责人在项目过程中需要不断地反思，还有要配套社会环境的发展，机构愿景也要做出一些相应的调整，和由于愿景调整而触发的项目目标和结构的配套调整，包括他们会有专人负责管理，包括和专家以及对于专业文献量表的研究和深入的探讨。
鉴于时间的关系，它的监测评估体系本身，在之前的交流当中最吸引我的一点是方案的设计与进化。在之前的侯老师和虹仪老师的分享中，他们都会时刻提到一个关键词——逻辑。对于一个项目来说，我也是深刻地感受到只有理清了逻辑框架，做到以结果为导向，聚焦那些更为清晰的目标，才可以有效地还原投入活动产出效果这样一个闭环的体系，然后再配套每一个阶段去施以对应的资源投入，内容设计，还有产出预期上就不会出现太大的偏差和造成资源的浪费和错配。有了条理清晰扎实的逻辑框架支持，项目执行者本身对于这样的一个体系的设计也会非常的清晰，同时也呼应了监测评估不是独立存在，而是和项目相互依存和关联的。而且对于很多资助方和外部的利益相关者来说，也是提供了一个超越我们平时本身去看评估报告之外，观察一个项目好坏与否的有效视角，它本身有没有比较清晰的逻辑框架和闭环的一个链条。同时我们也可以从侯老师还有虹仪老师的分享当中，画出一条比较清晰的监测评估的体系进化的时间轴。他们的体系也是他们经过了很长时间的一些痛苦的摸索，包括早期有那种迷雾当中的探索，才有了这样的一个比较清晰的结构。
他们在每一年都会因为自己机构愿景的调整或者是框架的整理，做出一些对应的变化。而且我能感觉到这个监测评估的体系，就像他们的机构名称活力社区那样是有生命力的，它是在不断地进化和调整的，但是进化调整又不是自动发生的，它是由于早期的负责人的自我反思，中期机构愿景和目标的调整与聚焦，以及近期他们有各种配套的专业资源人事负责，相互之间紧密沟通。这样的进化我们外部利益相关方和资助方也是乐见其成，因为他非常真切的代表了机构本身对于自己从事领域的洞察力以及与时俱进地迭代学习的能力。这就是我的一些感受，谢谢大家。
于卜一（CDR）：
好的，谢谢黄晟，因为黄晟是我们这一次监测评估共学社团的成员，所以会对这个案例比大家稍微多了解一些。刚才已经讲了我们的一些简单的发现，接下来就邀请刘付虹仪老师为我们介绍活力社区现在是怎么样来讲清楚自己的成效的。在虹仪分享的时间，大家如果有任何的问题，可以在聊天框里面输入你的问题，或者是选择举手的形式，虹仪分享之后，我们会一起来整理大家的问题并解答。接下来就请虹仪分享PPT，我来停止。
刘付虹仪（活力社区）：
各位伙伴大家好，今天我主要会分享的还是亲子园项目，我们在内部会怎样去开展监测评估的一些工作。刚刚侯老师也有提到，我们的项目已经从在社区里建立一些中心直接提供服务，转向了在全国更多不同的一些社区，通过支持伙伴的方式开展项目。从我们自己做到支持别人做的时候，我们怎样去看我们的项目监测评估呢？
现在大家能看到的我们针对单个项目点的整个监测评估的体系，当我们看一个项目的产生成效，还是会聚焦到单个项目点，它的一些服务的提供是怎么样的，受益人的参与是怎么样的，成效也是更多地去看我们的家长孩子有没有发生一些变化。
现在能看到有一个红框（在地人才和儿童），是我们现在还没有主要去做的一些部分。对儿童这边可能有一些伙伴也了解到，目前国际上一些量表相对比较复杂，而且要在项目点实施的话对项目点执行人员的要求非常高，我们现阶段主要还是看家长的一些改变，然后去看项目的一些成效。
这里也能看到它含有两个部分，一个是合作推广部门，还有研发支持部门，这是因为当一个我们曾经在自己的中心验证有效的项目，走出了我们自己的社区，去到更多项目点的时候，我们需要知道怎样能够更好地选择我们的落地伙伴，让他能够更好地执行这个项目。在我们支持伙伴之前，从申请开始，我们就已经在看这一家落地机构是否有相应的意愿去执行项目。作为不直接递送服务的组织，我们主要通过支持伙伴去看项目，我们研发与支持部门也会去看当我们一些教学资源以及培训督导给出去之后，在这一个项目点会发生哪些变化。回到老师在过程中对于我们一些支持的参与，以及他的一些变化，再到当我们这一个项目点，目前我们是通过赋能去推动项目的可持续，我们这个项目点的家长成为老师之后，也会再重新进入到我们研发与支持部门的一个支持体系里边，然后他可能会到新的项目点去。这是一个整体的逻辑。
这是一个很简单的项目模型的展示。当一个项目，通过我们的中心合作伙伴提供这些干预活动的时候，我们会看我们的一些受益人在不同的时间的长度里，会发生哪些变化，这是非常具体的我们评估它成效的一些指标。如果伙伴们有看过我们的每一个公众号的案例分享，就能看到非常具体的内容，我们怎样制定这些指标，它是怎么来的。有了这些指标之后，我们要去看这些干预活动，要收集哪些数据去衡量它，或者是去测量它。首先活动的频次，执行的情况，再到说在这一个项目点实际有多少人接受服务，服务对象是不是真的跟我们的目标群体匹配。再下一个我们也会去看，我们提供了这样的一些服务，受益人的参与程度怎么样，他来到这里的期待以及他的满意度怎么样。再到最后我们最关注的，我们说我们项目是有效的，我们也有很具体的一些指标，这一个项目点是否真的发生了我们预期的一些变化，以及这些变化的发生跟我们的哪些活动相关。它分别对应着我们的项目产出跟项目成效，再更好地回到我们项目的目标本身，我们是不是真的支持到更多的一些家庭享有早期亲子教育的机会，并且发生了我们项目预期的一些有效的改变。这个是简单的项目的介绍。
这一个刚刚有说到从我们的逻辑框架出发，我们项目本身有很具体的一些投入、活动产出这些，它是每一个项目点都会有的一个服务的计划。我们怎样去看它的执行情况呢？通过一些出勤的数据，我们会收集的一些，比如该项目点的新增人头数、总人次数以及稳定的出勤人数，再回到不同的项目点本身，项目执行的进展怎么样，以及受益人的参与情况怎么样。还有我们能够通过一些很具体的数字，比如说稳定出勤人数，去看一个项目点，是大部分家庭来一两次就不来了，还是会稳定参与，每周来三次左右的家庭有多少，我们再去反思这一个项目点，是不是跟他的一些活动设置的有关呢？
刚才也说到我们现在是主要在全国不同的项目点开展服务，产出数据都是通过我们项目点的老师或者是工作人员去收集的，这些数据的及时跟准确度非常重要。作为提供支持的一个NGO，我们更多地会去明确我们需要哪一些数据去更好地看到产出，就是左边这一些。我们的信息管理平台在8月份正式上线了，我们所有的项目都可以在上面进行相应的学员的信息管理以及日常的活动跟考勤。系统本身也会自动生成一个考勤统计的报表，也是在方便我们的伙伴，更好地管理他的学员信息、看到他的一些服务的数据。
再下一个是回到监测评估本身，我们最希望它能够回应的问题，我们的服务群体在不同的项目点真的发生有效的改变了吗？我们是有很具体的项目设计的，即我们希望通过哪一些活动去影响家长。
这个是我们之前跟MonEval的专家团队一起做的一个家长测评的量表，我们会在开展新的活动的初期，比如说第一周或第一个月内，用这个量表进行一个前测，活动结束之后再进行一个后测，去看前后的一些变化。如果是回到具体的一些数据，首先还是一件很简单，首先是像这两个看他前后变化，家长参与项目的情况怎么样，他回到家中是否还在持续地跟孩子进行一些亲子活动？另外一个也会看家长本身对于亲子互动的理解或者是理念的认知有没有发生一些改变，这些是理念变化的一些数据。还有一个很重要的是家长具体的行为，他的育儿效能上有没有发生改变，以及当他处在这个项目点之中，他跟其他人发生关系，他获得的一些支持有没有变化，都是通过一些很具体的量表，去看他前后一些选择的变化，去看他是不是有一些行为的改善。
这一个还是回到我们刚才有提到我们现在的伙伴非常多，我们的执行机构的类型非常多，有社工机构，也会有幼儿园，也会有从一个个人找到合适的项目点去开项目的，大部分不一定有非常专业的监测评估的背景或者是知识。原先我们在过程中，除了做一个文件出来，还需要通过给到大家更具体的，比如说很具体的流程指南，去介绍我们量表的结构是怎么样的，我们的问卷需要通过哪些话术跟家长介绍和解释，以及我们需要做哪些准备工作，能够让测评本身更好地开展。那就是通过测评前，去让伙伴们更好地了解这一项工作本身的一些流程，然后再去给伙伴提供一些测评量表。现在主要是线上量表，只要打开链接就能填写，也会相应地给到一些不方便填写线上问卷的家长一个纸质的问卷，伙伴们填写完一个问卷后，我们也会把问卷一些数据再返回给伙伴，我们也会跟伙伴及时确认这个项目点到底有多少家长填写问卷，以及有没有问题。
刚刚说到了，测评更多是用一些科学量表，用一些具体工具去看到一些变化，但还不够。我们活力社区没有办法每天跑去项目点看项目是否真的按我们的期待去执行了，我们要去看很多在项目点日常发生哪些事情还是要通过我们的老师、我们的工作人员，在项目期内进行一些日常观察也好，或者是通过这样的反馈也好，以及很简单的在活动的时候拍摄一些照片也好，都是我们在项目点的一些日常观察跟记录。这里边有几个小的例子，有我们的伙伴的项目点，也有我们自己的中心，老师观察到的在不同的活动里边接触到的家长孩子，跟他们发生互动的时候，他们的一些变化，他们的一些反馈跟感受。
再下一个是刚刚说到的，我们会收集非常多的一些素材，这些素材经过一个学期会进行汇总，或是更长的，经过一年之后，是能够回到我们非常多的家庭里边，一个个的个体的一些变化，这一个生命故事在我们的官网和公众号也有，感兴趣的可以再去看。我们给到伙伴的支持还是会包括给到一些像是这样生命故事的一个框架，包括我们可以怎样去收集一些素材，也是希望让成效监测这件事情本身能够更加简单一些，它可能就是我们老师每一次参加活动的时候，比如说孩子刚来的时候，他来了一周，来了两周三周，然后到一年，孩子的一些变化，老师观察到的是怎么样，再到孩子离开了，妈妈给到老师一些反馈，或者是孩子上了幼儿园之后，幼儿园老师给到一些反馈，都是一些可能记录为主的东西，我们再通过一个框架能够让他更好地组织起来，然后再去呈现。
刚刚有简单地介绍了一下我们的监测和评估，监测评估对活力社区内部有哪些的作用呢？我们内部每个月会有一次项目会，在项目会每个项目部门同事都会去分享，过去一个月一些项目的成果、项目执行的情况、产生成效的一些呈现。再到半年一次的项目复盘机构回顾会，我们监测评估部门也会给大家分享我们项目整体目前全年目标达成的情况是怎么样的、同期对比以及很重要的我们去看数据，监测评估的视角给我看到了项目执行上还有哪一些需要改善的地方。还有项目评估报告，效果评估报告。我们现在做的内部监测评估跟第三方不太一样，更多的是说我们会通过测评一些数据，看到我们不同项目点变化是怎么样的、差距是怎么样的，以及能够给我们的工作哪些参考。另外监测评估日常会有非常多的数据，用于我们的传播筹款方面，或者是我们日常的一些项目申请方面。
再回到这一个举例来讲的话，刚刚说到，我们在不同的月度也好，半年也好，全年也好，我们也是不断在去看，当所有数据汇总起来，我们的进展是怎么样的。 另外一个，我们能看到它是一些非常详细的数据，比如我们的亲子课、活动空间，不同的一些活动类型，我们服务的流动的家庭、留守的家庭，它的一些差异跟一些呈现，所以说它也会给到我们更多一些问题的启发，看到我们现在在项目过程中还会有哪些需要注意的部分。这一个是去年家长测评，我们请的专家团队给我们分析的数据的结果。当时数据出来我们都挺惊讶的，看到虽然说我们已经把我们的项目内容完整地给到伙伴，从教案到手册，再到持续地接受培训，再到不断地备课，跟各类的组织培训的支持，但项目点之间的差异还是非常明显。大家看到了红字，我们会发现如果从单个项目点来看的话，在不同的一些比如像育儿行为育儿效能上面能发生显著改变的都是我们的中心，特别是我们已经非常成熟的金盏中心。这些数据背后我们会看到，项目点在效果达成方面会有很大的差异。首先我们看到中心点的变化，再次印证了我们的一些亲子课的干预效果的有效性。但另外一方面，我们现在主要通过服务更多的伙伴去提供服务，所以我们就想去看，不管是我们对教师的支持也好，还是项目执行的支持也好，或者是我们的项目管理流程也好，怎样才能够让差距拉小，让伙伴的一些项目成效也能够更显著。2020年针对这一差距，我们会做很多的一些优化。在技术支持上，我们会把像金盏中心，它是有在完整地开展我们说的家长活动，家长活动就是除了亲子活动外我们直接去干预家长，让家长在不断地学习和实践过程中也是在改善他的一些育儿行为，我们也把我们的一些经验，形成《家长工作手册》，以及我们在项目执行的整一个单位项目点，从筹备到结束，过程中到底发生了什么，我们也在整理一个《项目执行指南》，希望通过这样的一些，首先在技术上能够给出更多的支持，在执行上，因为我自己也是在负责合作推广工作，跟伙伴接触时能看到我们的伙伴中很多都没有职业知识背景，比如开展过0~3岁服务的，它其实是需要非常多的投入到其中，然后他又相对他在活动设置上是相对成体系的，他要怎样去执行呢？包括我们伙伴自己怎样在过程中看到，我的项目的执行进展怎么样，我自己能够怎样去通过日常发现一些问题。我们也会在执行上给到更多的一些支持，不管是伙伴社群能力建设也好，以及更多一些标准化流程文件共享也好，都希望帮助伙伴更好地在过程中提高它效率以及发现问题。像流程管理上也是针对活力社区我们去支持伙伴本身，因为我们也是在边做边学，刚刚在最前面的图有看到我们在怎样去选伙伴，我们现在也会基于我们的伙伴选择的8大期待64个标准，也在今年成立了评审委员会，会从一开始就能够更好地去看到我们伙伴进来时候是怎么样的。以及优化线上申请、管理规范化的一些部分。
回到今天主题，对活力社区现阶段来讲，规模化过程中监测评估的设计怎样能够跟实际项目执行相匹配，数据怎样能够让我们更好地了解伙伴，以及帮助我们整体提升项目的质量，监测评估体系在不断地优化迭代，我们最初可能还是聚焦到我们自己项目点受益人，到现在我们要去更多看到整个项目点是怎样运转的，以及我们在项目规模化过程中，我们在播种跟培育阶段，要怎样去看，就是业务流程管理方面。
以上就是一些简单的介绍跟分享。
于卜一（CDR）：
好的，谢谢虹仪老师，分享了非常多的干货，内容太多了，不知道大家吸收到了多少，大家现在有什么问题可以随时提出来，可以举手或者是在聊天区。我这边刚才在听虹仪老师分享的时候，感觉听到了特别多的重点，比如说活力社区在项目设计这一块非常注重逻辑框架的梳理，所以我们在他们的分享中，能够很清楚地看到这个项目从目标到投入产出预期效果等等的一个链条，在这个链条基础上，他们设计出了自己的这一套比较完整的监测评估的体系，这一点上我们就可以看出一个项目的基本的逻辑，是为一个完整的监测评估的系统奠定了很好的基础。
第二个是他们很注重这套新的评估体系在落地的时候可以怎么样让成效监测变得更简单，让大家更好用，这样伙伴们可以更好去测到自己的效果，还有活力社区的伙伴们非常注重经验的总结迭代积累，多次提到迭代优化，我觉得这些都是特别棒的点。
问题1：看到有伙伴们的问题，是志艳问了一下，能分享一个具体的量表吗？比如是如何测量亲子关系的？
侯蔚霞（活力社区）：
谢谢志艳老师的问题。刚才虹仪有分享一个我们的这种家长育儿效能提升和育儿行为改变的一个量表的框架，但是具体的量表没有放上去，之后我们可以看看给大家有一些内容截图的这种展示。大家可以看到这个是我们的家长测评的量表，分5个部分，包含基础信息、家长育儿行为、家长育儿效能、家长在育儿中获得的支持和开放性问题。这5个部分分别去测量家长相应的一些指标，比如育儿行为上面是测量他对孩子过激反应行为的减少，还有消极懈怠的育儿行为的减少，在获得支持方面，一方面是来自专业机构的支持，类似活力社区这样的项目点的支持，还有一方面他能够从自身的社会网络中获得的支持，这个也是和我们的项目逻辑框架里边要去考察的家长支持网络的形成相关的。在家长育儿效能的部分里边，是会考察他的规矩规范的设立，和孩子玩耍，教授知识和尝试。志艳老师希望能够分享量表的内容的想法可能是要看这个问题是怎么提的。在我接下来的分享，包括之前给大家分享的那两篇阅读的参考文章，里边都会涉及。这个量表，我们是和MonEval的专家花了将近一年半的时间去完成的，是从50多个相关的量表中选出比较符合我们项目想要去考察的内容，选出几个有效的量表，然后我们再把它翻译成中文，因为大部分的量表是国外的东西，然后我们在我们自己的社区和一些伙伴的社区去做测试，看看家长对这些问题的理解，量表的信度是怎么样的，经过了这样的一个整个的量表的设计，然后翻译，然后实验测试，一年半的时间才最后形成了我们的这种家长测评的量表。至于志艳老师刚才提到的关于亲子关系的测量，我们现在没有采用量表，我们是考虑要用视频分析的方式去做，但还没有找到特别好的方法，所以我们还要再和专家商量，然后用抽样式的方式、视频观察的方式，考察亲子关系的变化。
问题2：在收集原始数据中会遇到困难吗，活力社区是怎么解决的？
刘付虹仪（活力社区）：
其实当然有分享过，我们为什么会不管是信息管理平台上线也好，还是我们会出来一些，比如像测评填写，还有那些标准化流程工具也好，具体困难是在比如说产出数据收集上，每次需要去跟伙伴解释，我们是怎样去界定一些概念，像受益人数是什么、受益人次是什么，当然伙伴还是会填错，我们会有一些相应的监测评估培训，每个月大家交来数据，监测评估部门还会再去看数据本身有没有一些问题，然后再会返回到对接的合作推广官员，然后再会一对一地去跟进。第二个就是测评也有困难，我们为什么会出一些讲解或者是流程的标准化的文件，因为前期直接给伙伴一个量表，他不一定能够理解，包括他要怎样去跟家长解释，以及我们的一些数据填写过程中需要注意哪些东西，都是要保证尽可能的真实、有效，我们现在做的还是通过一些更多的培训、一对一的跟进以及一些标准化流程、参考来解决问题。
侯蔚霞（活力社区）：
我也想在虹仪分享的基础上再说一下，看似很简单的一些数据，比如说服务人数、服务人次数、服务时长数、受益时长数，这些词到每一个并没有监测评估基础的执行人员的手上的时候，他会有不同的理解，因为这些语言是一个概括的语言，或者是需要给它定义的，如果我们要花很大量的时间去做这个定义和解释说明的话，当然这个是需要的，但是我们会觉得这并不是很有利或者是有方便我们更好地去收集数据和解决我们的困难，所以最好的方法仍然是回到他日常的工作场景，把他日常工作场景中的每一次活动简简单单地记录下来，之后我们再通过一个其他的方式帮助他进行整理，以及最后把整体的成果能够呈现给他，让他发现原来日常做的这些事情，最后归纳以后是这样的一个效果，所以包括我们现在的信息管理平台，也是特别希望能够帮助到伙伴减少他执行过程中还要完成这些他不是很理解的数据的收集，同时又能够让他看到效果成效。
问题3：是什么动力推动我们在监测评估这件事情上不断迭代？
侯蔚霞（活力社区）：
谢谢这个问题。这个动力我相信是所有做公益的伙伴共同的一个特性，就是我们是真的希望我们关注的社会问题能够有所改善，通过我们的投入，对社会的将来的发展能够做一些贡献。但是这个中间又会涉及到，因为我们的资源是来自社会的，尤其是来自很多的捐助方，来自很多的爱心人士，我们是希望这个资源是被有效利用的，而不是白白地投进去，所以它不仅仅是应该在一个感性的基础上去做事儿就完了，那就变成了我在最开始时候分享的活力社区，可能大家是基于一个感性发现问题，然后产生了要投入要做事情的这种动力，但是要保证资源能够持续地投入，有更多的人愿意去投入，必须要把理性的分析和理性的管理加入进去。所以动力一方面是我们真的希望我们做的事情是有效果的，要不然我们也在浪费自己的生命，作为项目的执行人，我也珍惜我自己的生命和时间。第二是我们也珍惜社会的资源，我们也希望投入是有效的。
问题4：是对于一个一线组织提升内部监测评估的意识和能力的关键要素是什么？
侯蔚霞（活力社区）：
这个我可能会在第三环节的分享里边说到，大家看到我们有一个像虹仪这样的专门的人员在负责监测评估的工作，所以我觉得不论是从机构的负责人，还有机构的内部的工作岗位的设置上面来讲，虽然虹仪不是全职只做监测评估，她仍然还要做一些项目的其它的工作，当然我觉得这个工作对她更好地理解监测评估有帮助，但是有一个人能够整体地进行负责，我觉得这个是非常重要的。首先大家在意识上要把它当做一个必须要去做的事儿，同时把它放到整个机构的运营和管理的机制里边去，我觉得这是一个非常关键的要素，其他的慢慢地在不断地去完善。我刚才给大家分享的部分的时候，我们机构也不是说没有人负责监测评估的，即便有人负责，但是仍然可能是一个很初级、有很多问题和漏洞的状况，包括我自己原来负责监测评估的时候，也是有很多逻辑不通的，但是没关系，我们只要重视这件事情，它总是有改善的可能性。另外可能一个很重要的要素，我自己觉得我们需要一线的经验，我们需要知道真正发生在一线的事情到底是什么，才有可能对一个监测评估的改善去进行有效的提升和调整的，这个部分还是挺重要的。
问题5：内部监测评估体系是否对课程内容设置有影响？教学评估开发部门服务迭代的沟通机制？
侯蔚霞（活力社区）：
是的，内部监测评估体系，就像刚才虹仪介绍的，我还是来分享下ppt，大家看到最后的黄框的地方，我们只讲近期的，过去的没有办法再回顾，今天就没有办法仔细去讲，因为监测评估给我们带来的这些呈现，我们会发现虽然我们认为我们给伙伴提供了手册，我们给他们提供了资金，我们也给他们提供了人员培训的一个流程，但在伙伴的这种项目点的执行效果，可能会和我们自己的项目点仍然还是有差异，有效性还是会不太一样，所以它就会让我们再重新回到我们的支持伙伴的过程里边去看为什么会发生这样的状况，去分析，会发现可能伙伴做的这些活动和我们的活动本身内容上就会有一些差异，同时在做的过程里边质量可能也会有一些差异，会和老师的教学能力、教学水相关，所以它就影响到我们在整个内容设置里边，我需要再提供哪些部分，我需要增加家长工作的部分的手册说明，我需要增加项目执行过程里边到底都是怎么做的，把我们的经验分享给伙伴，以及我们要在沟通的过程里边，怎么样去更多地加强跟伙伴的联络，而不只是把这些东西给到他们就可以。以及在管理的过程里边，可能还有很多的东西是需要用一些规范化的文本、模板化的文本、以及更加简化的文本来实现它，包括我们的信息管理平台，可能它都会是从我们日常工作中发现的问题得来的，然后它在不断地帮助我们改进我们自己的工作，去实现我刚才说的我们希望项目有效，我们也希望我们的资源是一个有效的投入。做好内部的教学评估，开发部门迭代这种沟通机制，跟我们日常的每个月的月度的项目会议，还有每半年的机构的回顾会相关，具体的内容可能今天时间也不太够，没有办法跟大家分享特别细的细节的。我们现在因为受疫情的冲击，但是也是一个机会的提供，我们有更好的线上工作方式了，所以我们将来也会更多地开放我们的项目会议，半年回顾的会议，我们开通线上的这种会议，大家愿意的话可以来旁听，可以来参与，我觉得可能在那个里边大家更能够了解到我们具体是怎么去操作的，今天讲我觉得可能不会有很明确的给大家的一个比较具象的印象。
于卜一（CDR）：
是的，目前就是这些问题，特别感谢侯老师，还有虹仪老师，觉得两位老师的分享都非常接地气，也特别地感受到了我们活力社区的开放的氛围，特别好。从刚才蔚霞老师的分享里面，我有get到两个关键词，一个叫我们有感性的动力，这个是我们最初开始的地方，但是还离不开我们理性的管理，有了理性的管理我们才能把这条路走得更好。接下来我们进入到我们的第三个环节，我们的主题研讨二——看看我们在做内部监测的时候需要怎么样的条件。我们先请希婷来为我们分享一下，你在了解活力社区案例的过程中，觉得有哪些条件为活力社区做好内部监测评估提供了重要的保障。
翟希婷（澳门同济）：
好的，谢谢卜一，也谢谢前面侯老师跟虹仪老师这么详细的分享。我这边的分享我不知道算不算稍稍跑题，但是在这些条件之前，我觉得有一个很重要的问题，就是我们为什么要去做监测评估这回事，包括比方说我们看活力社区的案例，它的目的是很明确的，起码从他们微信号的内容中可以看到，他们有两个目的，一个目的是关于成效的，我提供的这套内容对孩子的发展到底是起到了什么样的作用？另外一个对于他们想要有一个自己的评估监测机制，我觉得这跟活力社区当时所处的发展阶段和它的发展模式都是有关系的。比如说在他的第一个目的下，他肯定是希望说看看我的活动设计哪一款是真正有效的，或者最后是起到什么效果。而第二个目的我的理解是（如果说的不对，侯老师可以随时纠正我）是因为我们活力社区接下来是跟一些外部的合作伙伴一起合作去递送我们的服务，在这个过程中肯定会涉及到我们在质量方面的一些监控管理，肯定是需要我们的项目人员有能力以及有工具去做这件事，因为不可能每年都请一个第三方来给所有的项目点做一个成效评估，这个成本也非常高，所以我觉得他们是在清晰的目的下去匹配了我们有多少资源去做这个事儿，我们投入多少人力，这个事儿我们是请第三方来做，还是我们自己去做。从刚才的分享中我们也可以体会到，活力社区自己本身对质量这一方面是非常看重的，并且这一套整个评估体系做下来也花了很多时间，然后也有不同的项目人员或者说不同的机构人员投入其中进行跟进，同时我相信也不便宜，这个钱也是一个非常重要的资源。但是我觉得对他们的机构长期发展来看，这是一件在那个阶段需要去做的事，而且长远来看它可能是更划算的一件事儿。我认为不是所有的机构都跟活力社区处在相似的境况，它可能发展阶段不一样，它对评估的需求可能也不一样，这个需求不一样就会导致可能需要匹配的一些资源、人力成本不太相同，比方说有些机构可能现在所处的位置就是说我可能没有太多的资源或者人力来投入到监测评估，但是我还是希望做这个事儿，因为我发现或者说从外部的条件，就是我筹款的时候发现很多资方都觉得成效评估这个事很重要，我要去做，但是我可能目前没有人力去做这么一个监测评估体系，所以可能需要投入资源，找第三方去做这个事儿，可能最后产出的是一个成效性的评估报告。也有一些机构可能说我想做的成效评估是验证我的活动设计的某一个环节是不是有效，比方说如果我想在一个学校给学生播放一些社会领域的视频，帮助他们去理解这个领域，我想知道到底是在教室里通过电视机去播放更有效，还是说通过iPad发给学生让学生通过iPad去看更有效，我想做的是这样的一个成效评估，可能甚至都不需要邀请第三方，只需要自己设计一个适合的前后测的量表，把想要观测的目标弄清楚，能够帮助去判断到底用哪个方式去做，我觉得也是一种做成效评估的方式，它就是一个很小的点，但是它也很重要。所以我个人会觉得在我们去考虑有哪些机制匹配的情况下，明确我要去做评估的目的也是很重要的，像我们的很多公益组织，就是为了做成效评估而去做了一个成效评估，最后发现可能跟自己机构的需求并不符合或者并不匹配。
我还想稍微聊一聊的，可能现在在听的很多伙伴都是属于基金会，或者是属于资方这一方的，对于我们的公益伙伴来说，我们就是一个挺重要的外部的一个资源、外部的一个条件，我觉得我们起码我自己在不断学习去做的，就是我刚才说的，如果说我的潜在合作伙伴或者我的合作伙伴有评估的需求的话，我可能会去跟他聊，我们做评估的目的到底是什么，我们做评估的整个效果是不是符合我们项目现阶段发展所处的阶段，我觉得这也是帮助他们去做一个真的有意义的评估的一个方法。
另外因为我们自己去看项目的时候，也不会仅仅的就凭一个成效评估去决定跟不跟合作伙伴合作，我们肯定还是会看他整个项目要解决什么问题，整个项目的目标是什么，怎么去设计它的活动。如果他现阶段没有做评估的意识或者没有做评估的需求，我们也可以在这个过程中问一些问题，让他意识到中间的有一些环节是可以去做一些成效评估的，就算一个很小的点，也可以自己团队用很简单的前后测的方法去做一个成效的验证，作为开始做评估的一点点小小的步骤。
我大概想分享这些内容，后半部分从一个资方的角度来说，我认为我可以怎么去给我的合作伙伴在评估上面提供一些帮助，谢谢大家。
于卜一（CDR）：
好，谢谢希婷，我觉得茜婷分享得特别好，你提出了我们要先想清楚自己做评估的目的是什么，然后才能更有的放矢地去做好评估这件事，我觉得这是特别重要的一点。我们接下来也邀请黄晟来分享一下你对于这个问题的看法。
黄晟（乐高）：
从我的角度来说，结合之前与活力社区的那些访谈，包括今天的展示，能非常清楚地感受到，从时间跨度、体量规模以及资源投入来说监测评估体系都是一个较为庞大的工程，它所需要的保障也牵涉到很多的层面，从活力社区的那些反应来说，它的内部保障有专门负责的像虹仪老师，她个人是在充分理解逻辑框架以及吃透这些相关理论工具的情况下，能在日常和同事的沟通之中去实施这些东西，而且比较挑战的还有就是说她也要有能力去消化深思这套理论和改造负责测量工具，能达到让其他同事们简单易懂的程度，还是要花上精力和时间去解释清楚这样一个系统，然后还要去负责让一线合作的负责执行的一些机构工作人员或者合作的伙伴也能充分地理解，还要唤起他们的重视，而且要在过程当中不断地给予支持和指引。所以我觉得人的保障还是挺重要的。另外我觉得光有专业的人还是运行不起来，还要靠人去推进一个配套的机制。活力社区前面介绍了很多的方法，包括它的一些指标目标，还有它的一些量表或者是它的一些展示的效果。通过之前的访谈我知道他们非常重视机构的全员参与，也很了解如果在越早的时候在逻辑框架搭建的阶段能够全员介入，但是不用特别地去介意到介入的那些成员是不是了解很多细节，但是他们会对全部的成员去分享整体项目的一个大的目标，这些大的目标上面又有多少这种成功的一个对应的指标，还有一些子目标，如果能让全员都了解的话，这样全员都可以有一个头脑风暴，在初期就可以去打磨。大家群献计策的话，参与的时候他们就知道这样的一个机制形成了，就可以去对应地落实到每个人的工作计划当中。然后每个人也都清楚，执行这样一个监测评估我需要负责哪一块的一些工作任务，然后也可以配套起来这样一个贯彻交流和沟通的一个机制。我也知道他们初期的话，会每个月有一次月度的项目会，包括后面每半年有一次机构的这样的一个回顾，包括前面侯老师也提到的和那些合作伙伴也会去做一些回顾。这个时候我就觉得他们再去做这样的一个监测评估，才能达到一个比较好的效果。好的，谢谢。
于卜一（CDR）：
好的，谢谢黄晟，非常感谢两位的分享，两位是从完全不同的视角给我们讲了一下对这个案例的看法，特别好。希婷是从我们监测评估的出发点，还有资方和伙伴合作的时候的一些思考，给我们带来了一些新的启发。黄晟是更多地从我们整个社团在前期采访的时候，对这个案例更多的了解上给我们做了一些分享，特别好。我也看到在分享的时候，侯老师一直在不停地点头，相信侯老师肯定有更多的话要说，我们现在邀请侯老师来为我们做下一段的分享。
侯蔚霞（活力社区）：
我首先特别感谢两位嘉宾的分享，真的是说到了我们的心坎里面去。
从理念上是机构要重视，无论是机构的负责人，还是说部门的执行人员，都要理解和重视监测评估的工作，了解到它会给我们的工作带来什么样的影响和帮助，特别得重要。
另外就像刚才黄晟说的人员是非常重要的，我在上次分享的时候跟大家说我们很幸运有虹仪这样的员工，她能够真的把监测评估的部分吃透，她能够很深的去理解这些东西，然后逻辑关系做了一个很清晰地梳理，并且能够把这个东西很认真负责地分享给我们同事还有伙伴。待会的分享会跟大家说，自己内部设置这样的人员岗位非常重要，但是对于很多机构来讲，能够碰到这样的一个人是可遇不可求的，我自己觉得从很实际的角度来讲它是可遇不可求的，所以仍然是需要真的非常重要的外部的支持，来去帮助我们内部的工作人员进行提升。
然后投入资源就不用说了，因为你有人缘也好，你有外部的支持也好，它可能都是需要有一些资源的支持的。我相信今天来参加这个会的所有的伙伴都特别重视这件事情，所以我相信未来会有更多的组织重视支持一线的这些伙伴的监测评估的这种内部的体系的建立和能力的提升，我觉得这是一个特别好的方向。
第四个最重要的就是我们的机制，刚才在分享我们交流的一些内容的时候也说到，除了我们日常会有这种根据监测评估框架来去不断地进行内部的复盘和反思的这样的一个机制之外，它会在我们整个的工作计划的制定、每个部门的工作目标的设定和年度计划的设定里面放进去的，大家都是会在整个的大的目标和大的框架的指导下，去了解我到底要做哪些工作，然后我们完成情况是怎么样的。所以我们自己内部的，尤其是各个部门的负责人，监测评估的框架是在他脑子里边的，他很清楚我的工作在整个的项目的运营的过程里边，要达成的目标和它的成效到底是怎么样，我如何去考察自己，和我可能会分阶段地去完成它，哪些东西还是需要再进一步地去完善和改进的。所以我觉得这个对于我们自己内部的沟通和团队之间的配合也是特别有帮助，它是让我的团队真的能够拧成一个力量去一起工作，大家是在被一个上面的整体的目标带领，同时每个人知道我为这个目标做出了什么样的贡献，所以这个机制也是特别的重要的。
我今天还特别想跟大家分享的，除了这些我们自己内部投入之外，外部的支持非常重要。我就想举一些例子，这个是我们大概在14年左右的一个监测评估的框架，就是项目模型。如果是看结构的话，全都在上面，我们的环境，我们的目标是什么，我们的投入，我们投入什么资源，我们的干预活动是什么，我们的产出到影响，短中长期的，都在里边。但是如果我们仔细看，在产出影响部分短期这儿，我们把它放大看，在短期的产出影响里边，我们会说到家长的儿童早期教育理念与方法得到了改善，并在家庭教育中实践和应用，为幼儿成长创造了更好的环境。大家就会发现它是经不起推敲的，你看它有没有，有，但是它经不起推敲，而且它没有办法真正落实到我的工作机制里面去。对于我的项目部门的人员来讲，我到底是怎么达成了它，可能我会做一些测评，我会做一些家长的调查问卷，但是我是不是凭着那些东西就可以说明它了，在整个项目发展的过程中，如果回头去看的话，我们发现很多之前做得根本不到位的地方。作为一个一线执行机构来讲，自己做的时候，我可能会有感性的感知，就是我觉得哪儿不对劲，我觉得做的事情和我的目标和结果之间有点对不上，但是怎么能够去对应，完全依靠内部自己去反思的话，我觉得是有困难的。然后真的也是特别感谢志艳老师，他在14、15年的那段期间，帮助我们做了一个整个内部的监测评估能力建设的工作坊，连续很长时间的一个工作坊，也是对我们整个项目团队去做的一个培训和指导。在那之后，项目的整体就发生了一些变化，从这个活动的设置，到它的逻辑框架，但是仍然会存在很多指标和目标的设定不是非常科学的状况，这个原因我待会再说。但是总体来讲，它要比刚才的清晰得多，有很大的进步，以及我们知道我们用什么样的监测评估计划来对这个项目进行跟踪，都涉及到哪些大的目标，有哪些工具是体现它的，它们之间的这种相关的关系是什么，以及学员和家长的测评都包含哪些东西，就已经在逐步地完善了。但是它仍然是不完善的，为什么？比如说家长测评这一块，大家可以看到这个指标非常的简单，和我们现在的刚才虹仪介绍的整个家长测评的量表之间有非常大的差别，它只是测量了一些行为观念态度的改变，但是实际上这种测评方式是不是有效的，也包括刚才志艳老师说，你们要分享一个量表给我们看一下，我们有这个指标，我们只是用了一些非常简单的问题，这种问卷调查去做，但它的中间是不是科学的，这个中间的部分是没有真正地验证它的，只是我们自己觉得我们要做，我们又要了解，又用一个很内部的不全面的知识去完成这样的一个设计。我们在整个的做的过程中就会发现我们是有问题的，比如我们的这种学员的测评，因为我们最关注的是孩子的改变，但是在做孩子改变的测评的过程中，我们就会发现孩子本身成长过程中有很多不可控的变量，测评的时间、家长有什么样的干预都会影响到我们的测评，包括我们负责测评的这些老师对指标的理解不一样、标准不一样，可能都会影响到测评的结果，以及测评的描述不是非常的清楚，导致我们最后没有办法确定它跟我们的目标之间的相关性是怎么样，会发现有非常多的问题。我现在回头再去看几年前的活力社区活力亲子园的项目的测评，我会觉得我们还是不懂。我们哪些东西不懂呢？可能我是懂逻辑框架，懂整个评估的体系应该是怎么样、有什么样的相关关系，但是实际上有很多的专业的知识我是不懂的，跟孩子早期发展相关的东西我是不懂的。所以在这儿我们会需要一些外部的视角，需要外部专家的一些支持。我请大家阅读的那个案例是MonEval的专家帮忙做的整体的一个案例，我想跟大家简单地分享一些细节。刚才有一个嘉宾分享时说到我们在做内部的这种逻辑梳理的时候是要投入很多的精力的，特别得准确，因为我们当时做内部的逻辑模型的梳理，跟专家花了大约三个月的时间，我们基本上每个星期都要碰头，每次都要开大概1~2个小时的会议。即便是如此，我们花了三个月的时间来进行这样的一个梳理。刚才说到这个量表，专家给我们提供了50多个备选的量表，然后我们一起商量从里面选出最适合我们使用的，再去整理出来，刚才也讲到为了完成这个量表，我们从选择到翻译到测试，花了一年半的时间，底下的链接是希望大家阅读的参考资料的链接，大家也可以再去看。这些东西完全依靠机构自己内部的人员，我觉得是有难度的，是需要外部的专家来去提供支持。
卜一跟我交流的时候也说到，很希望我能够分享活力社区在做监测评估的时候，到底做了哪些资源的投入，有什么样的保障？其实在会议报名通知里边已经都写进去了，大家直接看就可以，就是那四部分。
作为整体机构上来讲，主要是那四个方面，但是作为一个机构负责人，我觉得也需要不断地去学习和理解自己所在的专业领域的知识。比如说我们是做教育领域的，我们是做儿童早期发展领域的，如果我们自己不了解这个专业领域的知识的话，我们的监测评估是没有办法真正地建立起来的。同时作为机构负责人，要去为监测评估筹集资源，包括内部的投入，人员岗位的设置，工作时间的安排，还有这种外部的支持，同时自己要去设立内部的机制并且监督它的执行。然后我觉得最重要的一点是要信任和尊重自己的伙伴，包括自己的同事，包括自己的同行的伙伴，有耐心相信我们的监测评估一定可以越做越好。我可能不想说一个机构应该怎么做，因为每个机构的情况不同，但是我觉得每个机构的负责人可以从这几点去做一些工作和推动，让我们的监测评估能够扎扎实实地落地。以上就是我的分享，谢谢。
于卜一（CDR）：
好的，谢谢侯老师，又一次深刻地感受到了我们活力社区是如何不断地迭代走到了今天，然后我们看看伙伴们有哪些问题，我再来共享一下问题。
问题1：在做监测评估的过程中遇到的最大困难，我们是如何解决的？
侯蔚霞（活力社区）：
一直各种各样的困难都会出现，哪个是最大的？很抱歉这个问题我可能没有办法说有什么最大的困难，我自己觉得有相关的困难还是在科学严谨性就是专业相关的这样的一个问题。因为不论是我们的这种家长测评的量表，然后孩子改变程度的这种测评，包括我们的教师培训，我们对教师培训这一部分也是有测评有量表去考核老师的绩效的。这个里边它都会有科学性，都会有相关的这种专业知识在里边。这个就会非常的深，如果是在商业领域的话，它就会涉及到非常多的内容。可能比较大的这种商业公司，才会有精力去做这种很细致的分析。但是商业有一个很简单的评估指标，就是用户买单不买单，当然这个背后的逻辑是跟你的产品质量相关的。我们的公益组织相对来讲规模也很小，资源也很有限，能力也很有限，所以去完成很专业很科学的分析是有困难的。我也挺想跟大家分享，大家要正视现实是有困难的，如何解决，我觉得我们还是需要不断地一个是去学习，另外确实是需要外部的资源，就是要去找到行业的一些支持，我觉得我们会接触一些行业里边的商业机构，在监测评估里边要去找到一些专业的第三方评估的机构，去跟他们交流，他们能够给我们提供一些外部的视角，这个是非常重要的。
问题2：有时会有来自机构内部外部的对监测评估科学严谨性的需求，但机构本身的资源又是有限的，我们如何平衡这两者？
侯蔚霞（活力社区）：
这是一个特别好的问题，孩子的变化是不是单纯由项目引起的，以及它细化到项目具体哪个成分生效了。这个就是我们之前在监测评估里面也会困扰我们的问题，我觉得这个不仅仅是我们机构的一个困扰，我也不觉得说可能真的有哪个地方已经能够很好地去平衡它了，因为它从整个行业来讲，从整个的早期发展领域来讲，可能都是在不断地调试和探索的一个过程。因为孩子的变化的评估本身，现在大部分的量表是筛查量表，它不是去考察你这个项目和孩子变化之间的相关性的，大部分的这种比较严谨的有科学性的量表，其实是一种筛查量表，它是筛查整个人群里边发育迟缓或者发育滞后的儿童的比例的。所以大家要了解都有哪些权威性的量表，这些量表到底是测什么的，到底能不能被你的项目所使用，这就是我刚才说的机构负责人也要去学习你所在的专业领域里边的专业知识，这是必须的，所以这也是我们这个项目现在选择暂时先不去做孩子的测评，我们项目在开始设计，就是12年开始执行的时候是测孩子的变化的，使用的是国家的0~6岁的孩子发育的这种测评表。但是后来我们就发现，刚才您提到的这个问题，我们是没有办法回答的，所以现在在发现有更好的量表之前我们先把它放在那，我们更多地去测家长的行为的改变和效能的提升。
问题3：在监测评估方面的成本费用资金主要来自于哪里？
侯蔚霞（活力社区）：
首先特别感谢很多的我们的资助方，他们都会同意我们在项目申请的时候申请监测评估的费用，包括监测评估岗位人员的工资，包括我们在做监测评估里面要涉及到的一些会议的费用，差旅的费用，包括物资的费用，比如说我们要做前测后测的时候，可能会涉及到一些材料的使用，大家都会是支持的。整体的成本费用，它现在在全年的机构的支出里边的占比也并不是特别的高，我觉得应该会是在百分之三左右，但是当我们需要做第三方评估的时候，可能会到5%左右这样的一个比例，主要来源是从我们的资助方来的，我们的项目申请里边会申请监测评估的费用。
问题4：请问侯老师，怎么看项目逻辑模型和项目实践的关系？很多机构和项目是因为初心资源等各种原因先做起来的，然后再去梳理逻辑模型的。也许开始的时候有内隐的逻辑但是未充分显性化。有些可能为了评估去倒逼产出逻辑模型。这之间的关系您怎么看？
侯蔚霞（活力社区）：
我作为一个实践者，我是觉得这位老师说的是非常实在和现实的，并不是说很多事情是想好了，设计好了，然后才开始做的。而是先做着，然后再慢慢地去梳理过来的。我是觉得，一方面要做这个事情的初心是真正的动力，而且我相信有初心的人都希望把事情做好。怎么样去梳理，以及梳理能够怎么样帮助他把事情做得更好，这个过程需要有支持，这个中间我觉得没有必须要哪个先哪个后，而是只要梳理和后面的显性化和评估，能够让有初心的人意识到它可以帮助自己，把他想做的事情做得更好，帮助这个团队去理解自己做的事情的效果到底怎么样，是否达成了自己的目标，今后要在哪些地方去做整理，这个过程有人能够帮助到这些一线的伙伴，我觉得就是非常好的一个循环。
于卜一（CDR）：
对，好的，谢谢侯老师，然后我们就进入今天的最后一个环节，请志艳来为我们做最后的点评。
李志艳（CDR）：
谢谢蔚霞，也谢谢虹仪。咱们活力社区在监测评估方面经过了三个阶段发展到现在这个情况，我觉得非常棒。刚才讲的我觉得非常清楚，我这边最后谈点个人的理解，尤其是从咱们中国的资助机构这个角度来做一些理解。
我们CDR之所以做这个工作坊有个很重要的原因，是面向我们资助机构的，因为我们资助机构经常会问我们的合作伙伴或者潜在的合作伙伴，你这个项目有效吗？你有什么证据显示说你这个项目有效果？我觉得这个问题是非常好的，因为它可以引导我们的合作伙伴朝监测评估和有效性这个方面走。但是我们如果只是问这些问题，我觉得还不够。
我们今天通过活力社区这个案例也看到，如果一个公益机构想把监测评估做好，实际上是需要很多条件的。这个条件概括起来就包括这几个方面，比如说特别提到我们要专业领域的长期的积累，因为指标的设定、量表的设定需要这个机构本身对议题、对这个里面的专业、对这个项目的内容要有独特的了解，还不是把国际的框架国家的框架拿来就能直接用的。
这是我们看到的第一个，看到的第二个就是监测评估的根基还是前面的项目设计，我们看到今天的整个的分享，花了大量的时间，在讲我们的项目的逻辑框架，讲我们要解决什么问题，我们的近期目标是什么，中期目标是什么，长期目标是什么，而且我们看到活力社区好像不同的阶段对这几个目标做了几个不同的界定，也看到在不停地发展。所以我们感觉还是要说这个项目设计项目逻辑是监测评估的基础。这段时间我和卜一也看了一些国内的第三方评估报告，有很多评估报告并没有花很大的精力在项目逻辑梳理上，我们感觉总会有些欠缺。
然后第三个，我们组织要在监测评估方面，我觉得要花大量的精力，包括自己团队的时间和精力，也包括外借助外部专家的力量。刚才听上去我觉得资金的占比并不是很高，每年3%，然后用第三方评估的时候大概5%，我想这可能是建立在整个监测评估体系已经相对成熟正常运转的时候的费用，如果在前期开发的时候可能成本还要高一点，所以还是要花些精力的，也有很多成本，这样的话我就感觉咱们公益组织需要把监测评估的作用挖掘到最大。如果监测评估对我们机构的作用不是特别大，我们又需要积累专业，又需要投入大量的成本和精力，就感觉得不偿失。因此一个机构要花好多的时间来挖掘一下，监测评估到底有哪些作用，我们怎么把它挖掘得更好一点。我们这里头提到的作用，比如说是我们对捐赠方的一个交代，因为捐赠方把资金委托给我们来做社会服务，起到效果没有；第二个是对同事的交代，我们把我们的时间把我们的青春放在这里在服务，我们做的事情有效果没有；然后当然它还是一套管理方法，让我们整个团队拧成一股绳，我们有解决共同的问题、共同的目标等等；我觉得可能蔚霞提到的还有一些作用，我觉得也特别值得重视，每一次给家长给孩子做那个量表做问卷的时候，我理解也是一次意识提升的过程，也是让家长意识到我们重视这些指标，我们希望家长能做到这一点，也是活力社区给我们各个社区活动中心儿童中心做的一次整个机构管理的理念普及和指出重点这方面的事情。我觉得可能每家公益组织得把效应挖掘得更大，然后我们才可能有动力，愿意去做监测评估。这些我觉得是资助机构特别需要去了解的，监测评估很值得做，但是做起来不容易，需要具备很多条件很多成本。
最后也能落到咱们资助机构本身上来说，我们资助机构可以支持伙伴们在这方面做些什么。像蔚霞提到的资助机构给了一些资金的支持，如果我们资助机构还有一些专业性，我们对监测评估的理解是到位的，然后在引导方向上，如果不引导过急或者是方向有偏差，也会非常有帮助。感觉资助机构资助我们公益伙伴的时候，实际上是想增强对方的能力，增强我们伙伴的能力，有些资金可以在99公益上筹或者是政府购买服务上筹，但是很多公益组织的能力的提升有部分来源是来自于我们的资助型基金会，资助型基金会提升伙伴们在项目开发上的能力，提升在监测评估上的能力，对我们组织的帮助都会非常大。
最后想说一件事情，这也是我和我们CDR这么多资助机构打交道的时候一点感受，我感觉将来可能公益领域对监测评估的要求会越来越高。主要的一个原因就是我们现在的很多捐赠方都是有企业背景的，我们这些企业背景的捐赠方，天然地就对目标、对成果管理这些有偏好。当很多项目摆在他们面前的时候，有些组织能够把成效讲出来的，就会有一定的竞争力。我们也看到国内一些比较领先的机构，它已经把监测评估、把成效说清楚列做他们战略的一部分，我觉得是增强这个机构在未来筹款市场当中的一个方法。
于卜一（CDR）：
好的，谢谢志艳，我们今天的工作坊就到这里结束了，非常感谢我们活力社区的蔚霞老师和虹仪老师，也感谢今天来参会的希婷和黄晟作为我们的分享嘉宾。之前最开始的时候跟大家提到的我们有一个学习中心，前几场的第三方评估主题的4场基金会的分享都在我的CDR会员学习中心里面，大家可以看到，或者是我们的知识库里面也有相关的分享。最后是辛苦大家帮忙做一个小的活动反馈，如果是电脑可以截屏，如果是手机可以直接扫码，在聊天区我也发了这个链接，可以直接点击填写，非常感谢大家的参会，后续有什么问题也可以随时跟CDR联系，我们再来沟通。谢谢大家。
