整理了一下SODA2016比赛的前十队伍工作和决赛表现,看看大数据和开放数据如何启发智慧城市的创新应用。

个人比较感兴趣的几个项目（跟智慧城市、环境、食品安全最相关和有启发的）：

e图商圈，环境安全可视分析系统，评安食客，智慧防霾

以下是决赛队伍的工作概述和简单评论。

基于大数据分析的上海地区犯罪指数预控与警力配调优化

  • 队伍：老和山极客

  • 摘要：针对城市犯罪热点鱼预测问题，开发了一个面向警方使用的综合监控平台，以实现可视化的历史案件回溯，精准的犯罪热点预测，短／中／长期的经历部署与调度优化。 在开发时，“老和山极客”团队主要使用了SODA开放的犯罪数据、派出所数据等资源，此外他们还融合了百度API的地理信息数据、上海天气数据、交通卡数据、网络舆情数据等，打造了一个基于数据挖掘和机器学习技术，通过自学习实现犯罪监控、热点预测和警力调配的智能警务系统。

  • 点评：故事清晰，可视化有特色。
  • 问题：预测部分有些强行了，不过鉴于现在的思路都是事前-事中-事后，也可以理解。

决赛视频

未来战警

城市金融安全侠

  • 队伍：电信银策联队

  • 摘要：对于目前城市生活中愈加严重的金融诈骗问题，形成大数据反金融诈骗数据库和分析引擎，简历金融诈骗的“事前-事中-事后“解决方案。

  • 实现：以真实诈骗数据为样本，结合了手机的通讯数据和银行卡消费数据两部分来源，分析了基于通话时长、频次、生命周期、交互维度的用户通讯行为以及基于转账、消费、取现时间、额度等用户资金行为后，用机器学习的方法描摹出诈骗人的画像。之后，通过决策树的分类算法不断迭代优化，提高数据辨认的准确度。最终，模型对大量的用户进行分类，构建“诈骗人号码库”和“骚扰人号码库”两个数据库，方便电信运营商、公安机关、普通民众对诈骗信息进行快速、准确的甄别。

  • 点评：故事有，但是数据不够，产品也没做出来。没有可视化展示

决赛视频

城市金融安全

深度学习下的城市影像分析

  • 队伍：StreeTalk

  • 摘要：基于soda提供的街道整治数据，准备的街景照片数据，依托深度学习神经网络进行图片特征提取以及寄去学习分类预测算法实现城市街边“非正规摊贩”地图，以及街道安全感地图。

  • 实现方法：利用人工标定的街道安全感数据做训练，通过对城市影像的数据库的深度学习，对街道图片安全感打分，并关联到地图中。

  • 点评：出发点有特色，深度学习和图像识别技术成熟。

决赛视频

streettalk

street2

公共场所人群风险管理与疏散优化系统

  • 队伍： Innotech

  • 摘要：公共场所人群预警与应急疏散系统，目标是基于大数据和人工智能技术，提供上海公共场所人群疏散设计评估、日常运行、应急突发智慧的完整解决方案。

  • 实现方法：乘客在站时间的缺失，是Innotech团队在算法上遇到的第一个困难。在这次比赛中，虽然SODA提供的交通卡数据量很大，但内容记录上只有进出站的时间，并没有明确的乘客上车时间和换乘时间，这也就意味着无法准确得知乘客的在站时间，从而估算车站内的人流情况。于是，他们使用了基于神经网络和路径优化的算法，逐条分解了上亿条乘客行程记录，以平均误差最小化为目标，估算出乘客在站时间和地铁站的在站人数。接下来，要实现对地铁人流的有效管理，还需要对实际人数进行分级评估。Innotech团队通过时间序列模型和机器学习算法，实现对人流量的预测，并制作了可视化查询页面。这样就可以直观地检测各个站点和线路的人数，及时对大客流情况作出预警。

  • 点评：依托SODA给出的数据进行了比较实在的分析、处理、和可视化。故事比较清晰。

决赛视频

地铁图

人流变化

e图商圈

  • 队伍：比特猎人

  • 摘要：聚焦商圈安全和食品安全，提出基于用户喜好、商铺流量、食品安全综合考量的商圈内店铺推荐模型及购物路线生成策略，最终产品为移动APP

  • 实现方法：系统通过交叉分析多个维度的大数据，针对消费者不同的购物偏好、商圈热度以及客户流量，给他们推荐不同的逛街路线，从而做到人群分流，实现“导购驱动导流”。在实际操作中，比特猎人用到了上面提到的SODA开放的10个数据库，包括商圈客流数据、联通用户信息、用户电信类标签、餐饮检查数据、强生出租车数据、公交卡数据、气象数据等等。融合了交通卡、出租车、商圈、气象、地理位置等诸多数据后，比特猎人设计了一套独特的流量预测算法。所有店铺都会有一个流量信息，当流量达到一定程度时，系统会停止推荐，以防安全隐患。当你下次再逛商场时，这个App不仅知道你喜欢什么店铺，还能告诉你什么时间逛、怎么逛用户体验最佳。

  • 点评：中规中矩，数据维度多，但是目测数据量不足以支撑出有意义的分析结果。

决赛视频

商圈图

环境安全可视分析系统

  • 摘要：从环境、交通、治安、视频、人流五个方面，为人们租房、买房、商业投资等决策行为提供安全方面的综合分析服务。

  • 实现方法：使用的环境数据，包括中国天气网的天气数据、环保局的企业监测站点数据以及上海一家非政府环保组织——青悦提供的污染监测数据。项目组将这些环境相关数据集，与地理位置数据、城市GDP数据等其他数据进行交叉分析，为用户提供环境信息服务。为了更直观地让用户知晓自己正身处一个怎样的环境，团队结合用户GPS定位、实时风向数据及污染企业地理位置信息制作出一个可视化界面，将用户所处的“污染环境”还原出来。

  • 点评：环境安全问题热点抓的不错。可视化有特色，大小图追溯方式值得借鉴。

决赛视频

污染图

城市污染图

评安食客

  • 队伍：吃货俱乐部

  • 摘要：一款利用用户评论、天启、食品检测等数据，针对食品安全问题，满足政府的监察监管、食客的获取安全食品保障与商家彰显信用价值需求的一体化解决方案。

  • 实现方法：“吃货俱乐部”主要采用了情感分析的方法对数据进行了分析和处理。作为一种特殊的数据类型，计算机是无法主动识别文本数据的。团队首先使用深度学习的算法将文本数据转化成了数值向量，同时还包括了文字之间的信息。这个转化过程主要通过一个三层的神经网络来完成。在计算词语的频率时，优化采用了Huffman编码，有效降低了计算的复杂度，使大规模的文本分析变得更加高效。接下来，他们使用了无监督机器学习的方法对文本进行了词语聚类。然后根据词类的群体特征，主要将这些词分为了环境（地理位置、地铁、闹市区等）、卫生（服务员、盘在、木筷等）、综合（服务、口味等）三大类。以此为基础，他们再对文本进行了情感分析，将不同的情感进行打分。

  • 点评：食品安全切入点不错，天气数据可以说是强行揉进来了。如果能够结合食品供应链的数据，效果会上一个台阶。

决赛视频

词云

排名

map

智慧防霾

  • 摘要：通过自主研发的智能评估系统和智能口罩，使用户可以更高效、准确的保护生命安全，减少呼吸系统疾病与死亡率。

  • 实现方法：除了机器学习，还使用了土地利用回归模型（Land Use Regression）。这种模型可以用来研究多种因素影响下空气污染物的暴露浓度及空间分布情况。在公共健康、空气质量管理以及城市规划等领域都有应用。在这个模型中，涉及的影响因素包括空间上的距离、密度、土地利用、人口统计特征和地形特征等等。而本次SODA大赛正是开放了这些数据中的一部分，SUSMART GROUP尝试用这些开放的数据集，来建立一套更加高效的防霾方法。他们用到的大量政府开放数据中，包含气象数据（风速、风向、湿度、降雨量等）、基于联通基站数据判断的人口数据、上海规划局提供的用地数据和部分交通数据，当然也包括了PM2.5站点监测数据和环境监测中心提供的空气质量数据。

  • 点评：出发点很好，有产品规划。目前缺少出行GPS数据，如果能够结合摩拜单车GPS，可以形成一个更好的防雾霾方案。

决赛视频

pm25

app

Changify

  • 摘要：一套结合自顶向下的城市监控与投诉，和自底向上的市民众包城市问题，帮助城市完善治理，及时响应城市问题的数字化平台。该项目已在英国Plymouth等城市试点，目前有神州数码等合作方共同计划落地中国。

  • 实现方法：D4SC将Changify设计成了一款使用API接口的应用程式，通过这个接口，微信、微博、脸书等社交媒体用户就能够通过登录传统社交网络，连接Changify的服务了。当用户拍摄上传照片时，需要开启地理信息验证服务，只有在被认证地理位置拍摄的照片才会被系统上传到社群。照片上传后，如果某些用户上传的照片常常被大家认为有用，并解决了一些城市街道的实际问题，那么这些用户在社群中的声誉就会变好，他们的照片就会有更高的推荐级别。

  • 点评：已经开始成型的产品，众包的公众参与是特色和亮点，可以关注其后续发展。

决赛视频

app

视频分析

优尼克(Unique)：智能感知城市安全宜居服务系统

  • 提供城市监控、突发预警、资源调派等服务，为管理者提供更好的决策辅助支持。我们提供智能感知、智能推送、宜居评估等服务，通过信息透明化让居住者拥有更好的居住环境知晓力。

  • 实现：通过21个维度的城市大数据、7个基本信息标签和5个城市分析角度等，将上海这座城市的各类民生安全相关的信息，都掠影浓缩在了一整张交互式的地图里，打造了一个上海的“城市安全宜居服务系统”。

  • 点评：来融资的，没讲产品细节，没有实际的内容。

决赛视频