榜单评价系统

目的

建立「评议团」制度,目的在于优化榜单结构,排除外部各类因素对榜单的影响。

总体策略

评议团由一定数量的内部人员组成,评议团成员独立对榜单内容进行评价,给出参考分数,最后将所有成员给出的分数进行加权调整,得出最终榜单。

榜单调整结构

  1. 榜单单项内容评议方式。采取评分制,由评议团成员各自对其评分,剔除极端分数(极端高分/极端低分)后,对评议团成员所作出评分,结合成员影响力加权,得出最终评分和榜单位置。

  2. 评议团成员影响力加权

    1. 即对评议团成员本身评议能力的认定,其评议能力越高,其对榜单内容的评价越具有影响力。评议团成员以往多次(可限定范围)影响力加权累加后,作用于其作出的评价。

    2. 影响评议团成员影响力加权的,只能是评议结果。单一评议团成员所作评议结果越贴近评议团整体评议结果,越有益于其自身影响力加权的增加。无论是过度高于还是过度低于评议团整体评议结果,都对评议团成员影响力加权起负面作用,在之后的评议时,其影响力加权将会被降低。

    3. 影响力正负关系的调整。越贴近评议团整体评价结果,将获得越多的影响力加权。评议团成员所作极端评价被剔除后,将获得极低影响力加权的累加,甚至减少。

    4. 加权领域限制。评议团成员影响力加权的累加应当发生在同一评价领域,交叉领域不得累加。领域的划分取决于评议团规模。相邻领域的累加(在坚持进行累加的情况下)方式应当考虑引入新的加权。

  3. 人工干预机制。即对榜单最终结果的人为调整。需要非常高的权限和非常慎重的考虑,人工干预机制的启动标志着评议团整体的失败,也意味着整个榜单评价系统的毁灭,之后可能需要进行评议团清洗和重建。

缺陷

  1. 整体性堕落。稳定的评价系统需要评议团成员有足够的数量和相近的影响力加权,评议团整体性水平下降将摧毁整个榜单评价结论,这种结果一旦发生,除非人工干预机制启动,很难从评议团内部进行挽救。

  2. 独裁性。过少的评议团成员或差距过大的影响力加权分布,将导致评议团整体结果倾向于极少部分成员的意志,而由于加权方式的影响,会进一步导致评议团内拥有绝对优势的成员意志的强化,虽然该部分成员可以通过放弃评价的方式维持评议团正常运作,但事实上整个评议团结构已处于名存实亡的随时可被摧毁状态。

关键因素

  1. 极端分数所含范围。

  2. 影响力加权计算方式。