大型活动后评价方法探讨——某赛事活动后评价实践

2020年06月04日作者:袁政项目管理评论网

A+A-

QQ截图20200327171808.jpg


  袁政,高级工程师,主要从事工程咨询、基础设施投融资、政策课题研究工作。

 

  根据委托,我们承担了某大型活动后评价工作。由于此类项目极少,查到的同类案例仅有《北京2008年第29届奥林匹克运动会国际奥委会协调委员会最终报告》,但本项目与奥运会相比在体量、影响力等多方面具有较大差异,不具有可比性。因此,在咨询过程中边研究边进行,最终完成咨询成果。为促进该类业务的发展,将思考过程与大家分享交流,以期抛砖引玉,共同促进行业发展。


一、项目情况


  某地拟发展某产业,决定以举办专业赛事的形式进行推广宣传,提高影响力。赛前,当地政府与业内某知名企业签署协议,由该企业协办赛事,进行筹备、推广宣传、招商、现场活动等工作,政府给予审批、宣传等支持。赛事在业内、圈内引发较大关注,现场参观客流非常大(甚至于现场被迫采取了限流措施)。当地党委、政府主要领导及多位班子成员到场调研。赛后,政府方组织第三方对活动效果进行后评价,根据评价结果支付尾款,并进一步制定产业发展政策。


二、项目分析


  关于后评价,目前主要有两种类型,一是国资委系统对国有企业投资项目后评价,二是发改委系统对固定资产投资项目后评价。


  国务院国资委2005年印发《中央企业固定资产投资项目后评价工作指南》(国资发规划[2005]92号),指导中央企业开展后评价工作,实践中地方国企后评价基本也参照该文件执行。《指南》中确定其适用范围为固定资产投资类项目后评价,对于股权投资、资产并购、证券、期货等其他类型的投资项目,仅供参考。(实践中本人了解的项目主要为资产类、产业类和股权类投资项目。)评价内容包括项目全过程的回顾、项目绩效和影响评价、项目目标实现程度和持续能力评价、经验教训和对策建议等。评价的主要方法是对比法,即项目实际情况与项目立项时确定的目标指标进行对比,找出偏差、分析原因,得出结论和经验教训。


  国家发展改革委2008年印发《中央政府投资项目后评价管理办法(试行)》(发改投资[2008]2959号),适用于由国家发展改革委审批可行性研究报告的中央政府投资项目。评价内容主要是对照项目可行性研究报告及审批文件的主要内容,与项目建成后所达到的实际效果进行对比分析,找出差距及原因,总结经验教训,提出相应对策建议。实践中接触的该类后评价项目较少。


  本项目的特点与以上两类后评价类型都不符合,主要体现为本次评价对象是个活动,而不是投资项目,由此导致评价要更关注过程、评价的标准难以量化、若未参与过程则评价的困难较大、评价结果对过程的纠偏作用较弱甚至没有。


                                            表1 后评价方法适用性分析 

序号

对比内容

国资委系统后评价

发改委系统后评价

本项目

1

指导性文件

《中央企业固定资产投资项目后评价工作指南》(国资发规划[2005]92号)

《中央政府投资项目后评价管理办法(试行)》(发改投资[2008]2959号)

2

适用范围

固定资产投资类、股权投资、资产并购、证券、期货等其他类型的投资项目

审批可研的项目(可理解为政府投资项目)

活动

3

评价内容

项目全过程的回顾、项目绩效和影响评价、项目目标实现程度和持续能力评价、经验教训和对策建议

项目建成后所达到的实际效果与项目可行性研究报告及审批文件的主要内容进行对比

活动过程、效果、影响力

4

对评价对象的影响

纠偏、改进

纠偏、改进

不具备纠偏条件

5

对后续决策的影响

可作参考

可作参考

可作参考


  通过对项目的分析,认为难以套用国资委及发改委系统项目后评价的方法对活动进行后评价,需要进行咨询业务创新以完成该类项目。


三、活动后评价研究现状


  为完成项目,首先开展了理论研究工作。在CNKI中进行相关关键词检索,未查询到专门研究活动后评价方法的内容,查询到少量关于体育赛事对经济影响的案例研究,如天津财经大学徐绍丽以第十三届全运会为例研究了综合性体育赛事对城市经济效应的影响、东南大学潘梅英以南京青奥会为例研究了大型运动会对主办城市房价的影响、华侨大学黄小敏以广州亚运会为例研究了大型体育赛事对城市旅游品牌的影响。这些研究具有一些共性特点:一是以某项具体的赛事为案例进行;二是所选赛事都比较大;三是主要研究赛事对某一方面的影响;四是方法上主要是建立评价指标体系,进行赋值打分,再进行相应分析;五是在评价属性上属于对活动结果的总结、认定,而非对活动目标实现程度的评判;六是在功能、作用方面,仅实现了对活动结果的认定,未能实现对活动目标实现程度的评判(可能是因为这些活动的目标较笼统,如增进友谊、凝聚人心、提高知名度等,缺乏定量指标,导致难以作出实现/未实现这样的确定性结论,这一点与投资项目具有明确目标形成鲜明对比),未能实现各项活动之间的比较。


  分析认为,已有的一些关于体育赛事对经济影响的研究,是活动后评价的初步实践探索,符合马克思主义实践论的实践到认知阶段。已有的研究成果中的评价思路、指标体系、赋值方法对于本项目具有较好的借鉴意义。本文缘于实践(项目)需求,希望本文的成果对于推动理论形成起到一定作用,最终实现实践到认知,再由认知指导实践。


四、本活动后评价


  (一)初步思路


  根据对项目的分析,并借鉴理论研究成果,我们最初提出项目思路如下:根据评价目标,建立指标体系,邀请专家、业界人士对定性指标赋值,查询资料对定量指标赋值,最终形成关于本次活动的评价结论。此思路与查询到的前述理论研究相比,在形式、内涵、作用方面基本一致。


  (二)优化方案


  经过与委托方沟通,委托方认为上述评价的结果不便于其对结果的应用,要求得出比较性质的结论,即本次活动与同类型活动相比处于什么水平。经过与甲方沟通,最终确定本次活动后评价方法如下:


  1、评价内容


  本次后评价的范围限定在本次活动,评价内容为本次活动举办效果和社会影响。


  2、评价目标


  确定本此活动的效果在本地区同类型活动中所处的水平,即评价结果应当为一个比较值。


  3、评价模型


  (1)收集同类活动,并将其编号为1、2、3……n。


  (2)设置多个评价指标,分别为t1、t2、t3……tj。每个指标设置一个权重系数,分别为λ1、λ2、λ3……λj。


  (3)在每个指标下,将所有活动按该类指标进行排序,指标最差的得1分,依次类推,指标最好的得n分。用ti,k表示i项活动在k指标下的排序得分。指标相同的,按照算术平均数计分。


  (4)用Ti表示i活动的总得分,QQ截图20200604112919.jpg


  (5)按照所有活动的总得分高低进行排序,总得分最高的即认定为效果最好的活动。


  4、指标设定


  根据项目特点,设定评价指标如下:


  (1)活动规模类指标


  具体分为:活动时长(权重a)、活动内容(权重b)。


  (2)社会影响类指标


  具体分为:参加人数(权重c)、选手范围(权重d)、媒体报道(权重e)、领导参加(权重f)。


  (3)经济效益类指标


  具体分为:现场交易额(权重g)、产业带动效应(权重h)。


  5、对比案例选择


  通过公开渠道,选择了该地区10个同类型活动进行对比。


  6、评价结果


  利用评价模型,并依据公开渠道获得的数据,各项目得分情况如下:


                                   表2 评价结果汇总表

序号

名称

得分

1

案例1(即本活动)

8.0

2

案例2

6.6

3

案例3

5.4

4

案例4

6.5

5

案例5

6.4

6

案例6

4.2

7

案例7

3.8

8

案例8

3.2

9

案例9

6.5

10

案例10

4.4


  其中,本次活动得分最高,为8.0分,在同类型项目中综合排名第一。


五、一点感悟


  (一)需要过程参与


  活动,是一个过程,参与性、现场感较强,活动效果受现场体验的影响较大。对活动效果的评估,需要身临其境去感受氛围,去观察参与者的反应。关于活动本身组织是否严密、流程是否顺畅、气氛是否符合主题、观众的情绪是否被带动,这些都需要现场观察。缺少过程参与的后评价,是不完全的后评价。


  (二)目标设定的有限性与活动影响的无限性


  活动开始前总会设定一些目标(或愿景),可分为直接目标和间接目标。直接目标包括邀请的重要人物、参加人数、签约额等,以定量目标为主。间接目标,主要是带动经济、提高知名度、凝聚人心、鼓舞精神等,以定性目标为主。对于大多数活动,主办方更看重间接目标,即活动的影响力。对于后评价工作,明确的、可测量的目标是最有利于开展评价工作的,但这样的目标在数量上是有限的,对于活动的意义也是有限的。另一方面,活动的影响力很难划定边界,空间上、时间上、人数上很难准确界定。这就造成了通过有限的目标难以评估无限的影响力。解决此问题,需要在评估方法上进行创新,或是在评估范围与活动目标之间进行取舍。


六、展望


  展望未来,本人认为大型活动类后评价会向以下方向发展:


  (一)需求越来越多


  随着国家治理体系和治理能力现代化的推进,及财政绩效考核等工作的推动,大型活动后评价需求会越来越多。通过后评价,形成决策、执行、纠偏、反馈的闭环,推动决策水平、执行效果不断提高。


  (二)后评价方法深入研究


  活动类后评价目前面临着方法不成熟、经验不足等问题,需要开展一系列理论研究,如宏观目标的测量方法、评价方法、后评价工作程序等。通过经验总结、理论研究,形成有效的评价方法,进一步指导后评价工作。


  (三)评价思路可能沿着两个方向发展,两种评价可能同时存在


  根据委托方的需求,活动类后评价工作可能存在两个方向,一是对活动效果的评价,类似目前已有的案例研究,就某一方面的受影响程度对活动进行后评价;二是对活动的比较性评价,类似本次项目案例,就活动的某一方面在一定范围内进行比较,用于评选、奖励、考核等工作。


  (四)活动策划期对目标的设定更加明确、量化


  随着活动后评价的推广,活动策划期的目标设定也将作出相应调整,目标更加明确、量化,便于后期评价。另外,财政部门目前在推动财政资金绩效考核,其指标设定较具体,可作为后评价的参考依据。


  (五)后评价工作融入到活动过程中


  随着后评价意识的增强、后评价工作普遍开展、评价理论和方法的发展,后评价融入到活动过程中将越来越受到重视,技术上也将得到实现。

标签:
版权声明

本网站所有内容版权归项目管理评论杂志社及相关权利人(本网站的资料提供者)所有,未经项目管理评论杂志社明确书面许可,任何组织及个人不得复制、转载、摘编本网站的内容,也不得在本网站所属的服务器上做镜像或以其他任何方式进行使用。凡未经许可擅自转载,均视为侵权行为,本网站将依法追究其责任。

北京世纪东方科技发展有限公司(项目管理评论)

电话:010-58383379/3420(市场部)、58383266(编辑部)

邮箱:pmr@pmreview.com.cn

项目管理评论 版权所有 有意与本刊合作者,请与项目管理评论联系。未经项目管理评论书面授权,请勿转载或建立镜像,否则即为侵权。

京ICP证13028000号-3 京公网安备11010202007990号 技术支持:原创先锋

dddd
关闭
Top