前进的道路:观察和实验
Posted: Thu Feb 20, 2025 8:28 am
我们如何避免这个陷阱,并从更丰富的创新地图走向更好的创新理论和政策?我们需要在测量(映射现象)和假设检验之间建立更紧密的联系,这可以基于观察或实验。
观察:
我们需要整合来自多个渠道的有关各种资源和能力的数据,这些数据共同促进了创新系统和集群的发展和绩效,并根据传统数据集和领域专家的本地知识将这些数据与基本事实进行三角测量。这种整合和丰富将有助于我们在保持其他重要因素不变的情况下对创新过程进行建模,将变量之间的相互作用纳入分析,生成人工控制组(如倾向得分匹配方法)并消除数据中的噪音。最终,这将产生更好的创新模型和更复杂的工具,这些工具可以向政策用户提供相关信息,甚至根据对当地情况及其因果驱动因素的更细致的了解提出行动建议。
要实现这一目标,需要采用比主流做法更复杂的数据集成方法,主流做法通常只是将国家、地区或市政地理中的许多不同变量汇总在一起,然后在其地理中寻找相关性。超越这一点变得越来越容易:随着更多合作研究补助数据集和企业注册的开放,组织级匹配越来越可行。我们使用这种方法绘制了创意国家的大学与工业界的合作。
将实体(论文、业务、专利)划分为细粒度类别的自然语言处理方法也有助于匹配活动。这是我们在最近的一个绘制阿拉伯联合酋长国创新地图的项目中采用的一种方法,我们将高度精细的科技行业 建筑师数据 中的各种创新活动(包括研究、业务和技能供需)进行分类,以全面了解每个行业的优势和差距。我们将很快发布我们的结果。
关于实验:
我们需要进行测试,以便从创新映射数据中获得更好的见解和政策。实验,特别是基于严格方法(如随机对照试验)的实验,可以消除部分(如果不是全部)数据集成的需要,以控制难以衡量的变量,并可以将处理与结果联系起来 - 换句话说,验证政策假设并测试有关创新及其动态的理论。
创新映射可以在政策流程的不同阶段(从政策设计到评估)支持和加强这种实验。第一种情况的示例是使用基于社交媒体数据的网络结构信息来设计新的经纪或协作干预措施,并可以使用相同的数据进行监控;第二种情况的示例是使用创新映射变量来代理政策干预中的创新结果。创新映射工具本身可以成为实验场所,通过向用户展示不同类型的信息并分析其行为和结果的变化。这种 AB 测试模型已被证明在互联网行业和受行为经济学和“助推”影响的政策领域非常有用。创新政策制定者可以从中学到很多东西。Nesta 的创新增长实验室专门研究这些方法的使用,我们正在积极探索将它们与创新映射数据集成的选项。
与此相关的是,持续收集的高详细程度的良好创新映射数据可用于为准实验环境中的理论提供信息,在这种环境中,我们可以从这些数据中追踪“冲击”对系统的影响。我们正在寻求在即将发表的论文中沿着这个思路探索的机会,该论文分析了人工智能 (AI) 研究的新范式深度学习 (DL) 对该领域活动地理的影响。我们将 DL 的到来概念化为一种冲击,这使我们能够比较快速采用该方法的“处理”学科与尚未采用该方法的学科(对照)的情况。到目前为止,我们的研究结果表明,快速采用 DL 的领域在地理分布上的波动性远远大于未采用 DL 的领域,这与颠覆性技术冲击可以改变国家创新命运的想法一致。
观察:
我们需要整合来自多个渠道的有关各种资源和能力的数据,这些数据共同促进了创新系统和集群的发展和绩效,并根据传统数据集和领域专家的本地知识将这些数据与基本事实进行三角测量。这种整合和丰富将有助于我们在保持其他重要因素不变的情况下对创新过程进行建模,将变量之间的相互作用纳入分析,生成人工控制组(如倾向得分匹配方法)并消除数据中的噪音。最终,这将产生更好的创新模型和更复杂的工具,这些工具可以向政策用户提供相关信息,甚至根据对当地情况及其因果驱动因素的更细致的了解提出行动建议。
要实现这一目标,需要采用比主流做法更复杂的数据集成方法,主流做法通常只是将国家、地区或市政地理中的许多不同变量汇总在一起,然后在其地理中寻找相关性。超越这一点变得越来越容易:随着更多合作研究补助数据集和企业注册的开放,组织级匹配越来越可行。我们使用这种方法绘制了创意国家的大学与工业界的合作。
将实体(论文、业务、专利)划分为细粒度类别的自然语言处理方法也有助于匹配活动。这是我们在最近的一个绘制阿拉伯联合酋长国创新地图的项目中采用的一种方法,我们将高度精细的科技行业 建筑师数据 中的各种创新活动(包括研究、业务和技能供需)进行分类,以全面了解每个行业的优势和差距。我们将很快发布我们的结果。
关于实验:
我们需要进行测试,以便从创新映射数据中获得更好的见解和政策。实验,特别是基于严格方法(如随机对照试验)的实验,可以消除部分(如果不是全部)数据集成的需要,以控制难以衡量的变量,并可以将处理与结果联系起来 - 换句话说,验证政策假设并测试有关创新及其动态的理论。
创新映射可以在政策流程的不同阶段(从政策设计到评估)支持和加强这种实验。第一种情况的示例是使用基于社交媒体数据的网络结构信息来设计新的经纪或协作干预措施,并可以使用相同的数据进行监控;第二种情况的示例是使用创新映射变量来代理政策干预中的创新结果。创新映射工具本身可以成为实验场所,通过向用户展示不同类型的信息并分析其行为和结果的变化。这种 AB 测试模型已被证明在互联网行业和受行为经济学和“助推”影响的政策领域非常有用。创新政策制定者可以从中学到很多东西。Nesta 的创新增长实验室专门研究这些方法的使用,我们正在积极探索将它们与创新映射数据集成的选项。
与此相关的是,持续收集的高详细程度的良好创新映射数据可用于为准实验环境中的理论提供信息,在这种环境中,我们可以从这些数据中追踪“冲击”对系统的影响。我们正在寻求在即将发表的论文中沿着这个思路探索的机会,该论文分析了人工智能 (AI) 研究的新范式深度学习 (DL) 对该领域活动地理的影响。我们将 DL 的到来概念化为一种冲击,这使我们能够比较快速采用该方法的“处理”学科与尚未采用该方法的学科(对照)的情况。到目前为止,我们的研究结果表明,快速采用 DL 的领域在地理分布上的波动性远远大于未采用 DL 的领域,这与颠覆性技术冲击可以改变国家创新命运的想法一致。