小景原创 | 基于L市教育云平台的绩效评价思路探究

2019-02-27

随着云计算、大数据、物联网、移动计算等技术的广泛应用,信息技术与教育不断融合,利用云计算、大数据等新技术搭建的创新性资源平台、管理平台逐步融入学校管理,电子书包、电子档案袋、微视频、微课、基于云平台的平板教学等也都相继进入课堂教学。


《教育信息化十年发展规划(2011-2020年)》指出,要“充分整合现有资源,采用云计算技术,形成资源配置与服务的集约化发展途径,构建稳定可靠、低成本的国家教育云服务模式,提供公共存储、计算、共享宽带、安全认证及各种支撑工具等通用基础服务,支撑优质资源全国共享和教育管理信息化”。近年来,各地区教育云蓬勃发展,耗资巨大,通过从研究教育云绩效评价思路,理清教育云绩效评价关注重点,提出教育云绩效评价框架,为同类项目提供评价参考。


一、L市教育云平台情况简介


(一)项目背景

“教育云”主要指代云计算在教育领域中的迁移,包含教育信息化所必须的一切硬件及软件计算资源,通过资源虚拟化,为教育管理部门、学校、教师、学生及家长提供一个良好的服务平台,实现教育领域云服务。


为实现教育改革发展中心任务,基本建成覆盖全市、分部合理、开放的基础教育资源公共服务平台,支撑数字教育资源公共服务、网络学习空间等各种应用服务,纵向上实现各级学校互联互通,横向上实现各层级教育互联互通。L市通过政府购买服务方式,委托第三方作为建设单位负责建设并运营覆盖全市中小学(包含高中)的教育云平台。


(二)项目内容

该平台建设周期5年,总投资40000.00万元,每年投入8000.00万元,采用“以县为主,市级奖补”方式,由市县(区)两级共担费用,预计完成学生、老师服务网络空间建设,优质第三方资源建设,开发学校管理服务的在线评课、网络教研、网络备课等功能模块,实现教学环境、教学资源、校园管理、校园服务等系统交互,属于体系基本健全、完整的智慧校园框架。


委托服务共包括四项服务,包括云计算基础设施服务、教育云平台应用管理服务、教育云平台资源服务、教育云平台运营(培训、宣传)服务。根据委托服务工作要求,建设单位自2017年启动建设运营工作,建设运营共分为三个阶段,第一阶段为平台搭建阶段,通过信息化教学现场培训,网络学习空间普及,使教育管理信息化水平得到提升;第二阶段为提升阶段,通过平台资源、功能完善,实现市域范围内优质资源共建共享,打造顶级教育信息化教师团队;第三阶段为深度融合阶段,通过云平台成熟、常态化应用,建成人人皆学、处处能学、时时可学的新型教学模式。截至2018年,已基本完成第一阶段工作。


二、实践导致的评价目的及思路转变



(一)基于评价目的导致的评价结果偏离

2018年是该项目执行的第二年,此时开展的绩效评价工作属于对阶段性成果进行的中期评价。委托方目的在于评估第三方服务完成情况,以及教育云平台对基础教育发展所发挥的正向促进作用。鉴于上述原因,工作组在设计评价方案时,将评价重点放在核查云平台阶段性目标完成情况和用户满意度上,选取了空间开通率、账号注册率、资源下载量、云平台故障情况、学生及教师满意度等指标对云平台使用情况、适用性及对教育教学促进作用等进行了考察。但经现场调研和调查发现,该项目“投入-管理-产出-绩效”分离情况严重


一是行政命令推动下,高比例用户登录不能代表云平台具有吸引力2017年9月至2018年6月间,市直属学校和县(区)中、小学校师生及家长累计登录云平台11293757次,每月登录使用人数不断增多、登录使用次数不断增加。特别是到2017年12月后,教师登录人数稳定在6至7万人,已接近L市教师总量,登录人数趋于饱和。


图1 2017年9月-2018年6月每月登录人数[1]


[1]数据来源:L市教育云平台后台数据


但进一步分析发现,教师和学生使用频率上存在较大差异。根据图2-1显示,自2017年9月起,教师注册数量和登录频次大于5次/月的人数呈上升趋势,与之相对(图2-2)学生注册数量虽在不断增加,但使用频率较低,活跃度不高。究其原因在于,L市教育局要求各校教师使用云平台备课,并将其纳入教育信息化考核体系,要求学生及家长每月登录云平台一定次数。但学生及家长登录云平台非强制性要求,因此在云平台运行期间,虽学生注册总量不断增加,大部分学生每月登陆频率小于5次。在项目初期,通过行政命令推广云平台是一种有效措施,但在该措施影响下,弱化了云平台建设优劣对用户的吸引力。

二是在缺少成本投入感知的情况下,满意度参考价值有待商榷评价过程中,工作组对县区教育主管部门进行了访谈,对教师、学生进行了满意度调查,两者间满意度存在较大偏差,呈现两极化。就使用者满意度而言,教师和学生满意度较高,根据调查,教师、学生对使用云平台满意及较满意的比例达到87%、79.59%。然而大部分县区教育主管部门认为云平台建设运营投入偏高,实际效果与投入规模不够匹配,满意度较低。分析认为,不同群体满意度呈现两极化的原因如下,教师及学生仅需付出时间成本,登录云平台、查找资源,无需承担云平台建设、培训等费用,在免费使用云平台作为教学、学习的辅助工具的前提下,满意度评价结果偏正向。但县区教育主管部门承担80%的云平台建设费用,且在以往年度建设过类似的教育云平台,在综合考量财政资金投入成本及对教育教学促进作用的情况下,县区教育主管部门满意度偏低。


(二)基于评价实际,重点由绩效向投入、管理转变

对效益的评价,呈现了“皆大欢喜”的结果,但实质上评价结果对项目总体情况反映较为片面。在此情况下,工作组将评价重点由效益评价调整向投入、管理、效益等方面,基于评估云平台建设的必要性,搭建起项目投入与产出、管理与效益的关联性。


1.借助“PEST分析法”考察项目建设必要性PEST是对企业发展宏观环境的分析方法,P是政治(politics),E是经济(economy),S是社会(society),T是技术(technology)。在该项目的评价工作中,我们基于PEST分析框架,结合评价要点,对分析角度和分析内容进行了调整,从政策环境、财政资金保障能力、项目建设基础、技术成熟度等角度,对项目建设必要性进行了综合评价。

2.细化的政府购买服务工作方案,是评价投入与产出匹配度的重要文本项目具有渐进明细的特性,特别是大型、复杂、新型项目在设立初期,目标、内容、进度仍处于形成阶段,制定框架性规划或计划属于正常现象。但在执行中,需要及时更新、完善各阶段工作计划,细化工作要求,明确第三方提供的服务内容、进度、质量、变更管理程序、风险控制措施,形成产出和进度可考核、质量可评价、责任可追溯、效益可衡量的完整体系,作为考核政府购买服务效益效果实现情况的重要参考。2017年-2018年是该项目实施的第一阶段,从总体执行看,完成了基本工作要求,但因现有工作方案中工作内容不细化、进度要求不明确、管理责任主体不清晰,难以判断实际完成工作与主管部门预期目标间是否存在差距。如该项目计划通过云平台建设方购置优质的第三方资源,但购置第三方资源的数量、质量、方式不明确,实际评价中无法确认相关工作的完成情况。

基于“项目管理知识体系”以及绩效评价实践经验,可从项目范围、项目进度、项目成本、项目质量、项目沟通、项目风险、项目采购、项目组织管理等8个方面编撰政府购买服务项目实施方案,作为评价依据。


        评价过程中,可按照“规划-计划-执行-监控-收尾”5个过程,以实施方案为标准判断项目执行有效性(详见表3)。其中,项目范围、进度、成本、质量等4项是复杂型项目必备要素,不仅需要项目责任主体在设计方案时进行全方位考察,明确项目标准。也需要工作组在开展评价时,依据政策文件、项目计划环节产生的各项方案等资料为基础,考核执行与计划是否存在偏差,考核监控运行是否有效,考核发生偏差时变更程序履行是否规范。



3.权责清晰的管理体系,是项目效益实现的管理基础项目运行依赖于组织内部结构和治理框架,了解项目组织职责、职权分配情况是高效开展项目的基础。在项目组织管理架构不清晰的情况下,工作组合理有效划分项目365BET能赢钱吗是必要且必须的一项工作,因此我们总结出如下步骤来确定项目365BET能赢钱吗。一是确定“有哪些工作/产出纳入项目管理范围”;二是“这些工作由哪个部门/人员负责批准”,确定项目的决策管理架构;三是确定“这些工作由哪个部门/人员负责”,即确定负责统筹管理项目、解决问题的主责部门;四是确定“这些工作由哪些部门/人员协助负责”,确定项目的参与方;五是确定“这些工作需要向哪些部门/人员告知”,确定项目的管理流程;六是确定“这些工作的受益群体有哪些”。

按照上述六步流程,我们对L市教育云平台项目管理体系进行了梳理。经梳理发现,L市教育云平台项目管理体系可划分为决策层、管理层、执行层、应用层4个管理层级,按照云平台建设模块分为3大管理架构(如图3),在此基础上,我们对各层级管理情况进行了分析评价。评价发现,市教育部门主管平台宣传推广、活动组织等工作,但执行中存在由市教育局内电教部门、教研部门等多个部门共同交叉管理的现象,在宣传推广和活动组织方面缺乏统筹管理要求,未能形成互联互通的管理机制,极大程度地影响了项目执行效率。

三、项目亮点与不足之处


(一)项目亮点

1.良好项目绩效前仍需保持警醒态度。

“预算绩效管理”、“财政支出绩效评价”打破了传统“重管理,轻效益”的政府管理模式,实现了跨越式的进步。实践中,常常发现项目绩效存在未完成或表现不佳的情况,并据此深入分析研究造成项目绩效不良的决策原因、管理原因。此案例的不同之处在于,L市教育云平台项目效益表现良好,用户使用云平台频繁,具有较高的用户评价,但良好的效益是受行政命令、投入与使用分离等因素影响造成的,单一关注项目绩效,忽略投入与管理将导致对项目认识的片面性。


2.“管”、“效”全面评价不可忽略

小型、单一项目中,“投入-管理-产出-效果常常可以有效结合,财政资金投入后既能带来明确的产出,也可追溯查询由产出带来的效益。但在管理结构复杂、投入庞大、内容丰富的项目中,受社会、经济、环境、365BET能赢钱吗等种种因素影响,“投入-管理-产出-效果”分离是必然结果,完善的论证程序、良好的管理模式也许无法及时有效的实现产出与效益。对投入、管理、产出、效益逐个击破,也是发现问题,改善管理效力,提升绩效的一种有效途径。


(二)项目不足

评价过程中,解决了“投入与产出”“管理与效益”的匹配问题,但在“投入与产出”深层次关系,以及“成本-效益”方面仍缺少评价依据和标准。政府购买服务不同于设备购置,缺少透明的市场价格及标准,政府购买服务价格中除了人员工时、设备等易于计算的成本外,还包括了智力成本等内容,在缺少行业数据和信息壁垒严重的情况下,难以判断在同等财政资金投入水平下,是否获得了同等服务或产出,或在同等效益水平下,财政资金投入是否趋于一致。如何选择更为科学的评价指标对政府购买服务项目进行评价,仍是值得行业进一步研究探讨的问题。


本网站由阿里云提供云计算及安全服务