预习 03 大数据应用领域：数据驱动一切
大数据出现的时间只有十几年，被人们广泛接受并应用只有几年的时间，但就是这短短几年的时间，大数据呈现出爆炸式增长的态势。在各个领域，大数据的身影几乎无处不在。今天我们通过一些大数据典型的应用场景分析，一起来看看大数据到底能做些什么，我们学大数据究竟有什么用，应该关注大数据的哪些方面。
大数据在医疗健康领域的应用
健康医疗领域是最近几年获得最多创业者和投资人青睐的大数据领域。为什么这么说呢？首先，医疗健康领域会产生大量的数据；其次，医疗健康领域有一个万亿级的市场规模；最关键的是，医疗健康领域里很多工作依赖人的经验，而这正是机器学习的强项。
1.医学影像智能识别
图像识别是机器学习获得的重大突破之一，使用大量的图片数据进行深度机器学习训练，机器可以识别出特定的图像元素，比如猫或者人脸，当然也可以识别出病理特征。
比如X光片里的异常病灶位置，是可以通过机器学习智能识别出来的。甚至可以说医学影像智能识别在某些方面已经比一般医生拥有更高的读图和识别能力，但是鉴于医疗的严肃性，现在还很少有临床方面的实践。
虽然在临床实践方面应用有限，但是医疗影像AI还是在一些领域取得一定的进展。医学影像智能识别，一方面可以帮助医生进行辅助诊疗，另一方面对于皮肤病等有外部表现的病症，病人可以自己拍照然后使用AI智能识别做一个初步诊断。
2.病历大数据智能诊疗
病历，特别是专家写的病历，本身就是一笔巨大的知识财富，利用大数据技术将这些知识进行处理、分析、统计、 挖掘，可以构成一个病历知识库，可以分享给更多人，即构成一个智能辅助诊疗系统。下面这张图是我曾经参与设计过的一个医疗辅助诊疗系统的架构。
针对同类疾病和其他上下文信息（化验结果、病史、年龄性别、病人回访信息等）可以挖掘出针对同样的疾病情况，哪种治疗手段可以用更低的治疗成本、更少的病人痛苦，获得更好的治疗效果。从上面的架构图你能看到，将这些病历知识和循证医学知识、科研文献知识、用药知识共同构成一个辅助诊疗知识库，通过知识匹配搜索引擎可以对外提供服务。患者或者医生录入病史、检查结果等信息，系统匹配初步诊断结果，搜索诊疗计划，产生多个辅助诊疗建议，供患者和医生进行参考。
大数据在教育领域的应用
教育倡导“因人施教”，但是在传统教育过程中要做到因人施教，需要老师本身能力很强才能把握好。但是大数据在线教育利用大数据技术进行分析统计，完全可以做到根据学生能力和学习节奏，及时调整学习大纲和学习进度，提供个性化和自适应的学习体验。除此之外，人工智能在教育的其他方面也取得很好的进展。
1. AI外语老师
得益于语音识别和语音合成技术的成熟（语音识别与合成技术同样是利用大数据技术进行机器学习与训练），一些在线教育网站尝试用人工智能外语老师进行外语教学。这里面的原理其实并不复杂，聊天机器人技术已经普遍应用，只要将学习的知识点设计进聊天的过程中，就可以实现一个简单的AI外语老师了。
2.智能解题
比较简单的智能解题系统其实是利用搜索引擎技术，在收集大量的试题以及答案的基础上，进行试题匹配，将匹配成功的答案返回。这个过程看起来就像智能做题一样，表面看给个题目就能解出答案，而实际上只是找到答案。
进阶一点的智能解题系统，通过图像识别与自然语言处理（这两项技术依然使用大数据技术实现），进行相似性匹配。更改试题的部分数字、文字表述，但是不影响实质性解答思路，依然可以解答。
高阶的智能解题系统，利用神经网络机器学习技术，将试题的自然语言描述转化成形式语言，然后分析知识点和解题策略，进行自动推导，从而完成实质性的解题。
大数据在社交媒体领域的应用
大数据有一个重要的、和我们大多数人密切相关，但是又不太引人注目的一个应用领域是舆情监控与分析。我们日常在各种互联网应用和社交媒体上发表各种言论，这些言论事实上反映了最准确的民情舆论。一个个体的言论基本没有意义，但是大量的、全国乃至全球的言论数据表现出的统计特性，就有了非常重要的意义。
编写数据爬虫，实时爬取各个社交新媒体上的各种用户内容和媒体信息，然后通过自然语言处理，就可以进行情感分析、热点事件追踪等。舆情实时监控可用于商业领域，引导智能广告投放；可用于金融领域，辅助执行自动化股票、期权、数字货币交易；可用于社会管理，及时发现可能引发社会问题的舆论倾向。
在美国总统大选期间，候选人就曾雇佣大数据公司利用社交媒体的数据进行分析，发现选票可能摇摆的地区，有针对性前去进行竞选演讲。并利用大数据分析选民关注的话题，包装自己的竞选主张。Facebook也因为授权大数据公司滥用自己用户的数据而遭到调查和谴责，市值蒸发了数百亿美元。
大数据在金融领域的应用
大数据在金融领域应用比较成熟的是大数据风控。在金融借贷中，如何识别出高风险用户，要求其提供更多抵押、支付更高利息、调整更低的额度，甚至拒绝贷款，从而降低金融机构的风险？事实上，金融行业已经沉淀了大量的历史数据，利用这些数据进行计算，可以得到用户特征和风险指数的曲线（即风控模型）。当新用户申请贷款的时候，将该用户特征带入曲线进行计算，就可以得到该用户的风险指数，进而自动给出该用户的贷款策略。
利用股票、外汇等历史交易记录，分析交易规律，结合当前的新闻热点、舆论倾向、财经数据构建交易模型，进行自动化交易，这就是金融领域的量化交易。这些数据量特别巨大，交易涉及金额也同样巨大，所以金融机构在大数据领域常常不惜血本，大手笔投入。
大数据在新零售领域的应用
区别于传统零售，新零售使用大数据进行全链路管理。从生产、物流、购物体验，使用大数据进行分析和预判，实现精准生产、零库存、全新的购物体验。
亚马逊Go无人店使用大量的摄像头，实时捕捉用户行为，判断用户取出还是放回商品、取了何种商品等。这实际上是大数据流计算与机器学习的结合，最终实现的购物效果是，无需排队买单，进去就拿东西，拿好了就走，超级科幻有没有。
虽然无人店现在看起来噱头的意味更多一点，但是利用大数据技术提升购物体验、节省商家人力成本一定是正确的方向。
大数据在交通领域的应用
交通也是一个对大数据实时采集与处理应用比较广的领域。现在几乎所有的城市路段、交通要点都有不止一个监控摄像头在实时监控，一线城市大约有百万计的摄像头在不停地采集数据。这些数据一方面可以用于公共安全，比如近年来一些警匪片里会有一些场景：犯罪嫌疑人驾车出逃，警方只要定位了车辆，不管它到哪里，系统都可以自动调出相应的摄像头，实时看到现场画面。应该说这项技术已经成熟，大数据流计算可以对百万计的流数据实时处理计算，电影里的场景计算其实并不复杂。
此外，各种导航软件也在不停采集数据，通过分析用户当前位置和移动速度，判断道路拥堵状态，并实时修改推荐的导航路径。你如果经常开车或者打车，对这些技术一定深有体会。
还有就是无人驾驶技术，无人驾驶就是在人的驾驶过程中实时采集车辆周边数据和驾驶控制信息，然后通过机器学习，获得周边信息与驾驶方式的对应关系（自动驾驶模型）。然后将这个模型应用到无人驾驶汽车上，传感器获得车辆周边数据后，就可以通过自动驾驶模型计算出车辆控制信息（转向、刹车等）。计算自动驾驶模型需要大量的数据，所以我们看到，这些无人驾驶创业公司都在不断攀比自己的训练数据有几十万公里、几百万公里，因为训练数据的量意味着模型的完善程度。
小结
正如我前面所说，利用大数据和机器学习，发掘数据中的规律，进而对当前的事情做出预测和判断，使机器表现出智能的特性，正变得越来越普及。
大数据主要来自企业自身所产生，还有一些数据来自互联网，通过网络爬虫可以获取；再有就是公共数据，比如气象数据等。所有这些数据汇聚在一起，计算其内在的关系，可以发现很多肉眼和思维无法得到的知识。然后进一步计算其内在的模型，可以使系统获得智能的特性。当系统具备智能的特性，可以使机器对当前的事情做出预测和判断，正如我今天和你聊的，大数据技术应用正变得越来越普及。
但是，这些数据通常非常巨大，存储、计算、应用都需要一套不同以往的技术方案。通过前面3期内容，我带你了解了大数据技术和应用的发展史，以及当今大数据典型的应用领域。从第4期开始，我将会从大数据主要产品的架构原理、大数据分析与应用、数据挖掘与机器学习算法等几个维度，全面讲解大数据的方方面面，相信你一定有所收获。
思考题
除了我今天聊的这几个领域应用了大数据技术，你还能举出其他典型的大数据应用吗？你知道它实现的原理吗？
欢迎你写下自己的思考或疑问，与我和其他同学一起讨论。
- 凯恩-格吉塔斯 👍（225） 💬（18）
一家快餐披萨店，外卖电话响了，店长拿起电话。 店长：您好，这里是××披萨店。请问有什么需要我为您服务？ 顾客：你好，我想要订一份披萨。 店长：请问您是陈先生吗？ 顾客：你怎么知道我姓陈？ 店长：陈先生，因为我们的CRM（客户关系管理）系统对接了三大通讯服务商，看到您的来电号码，我就知道您贵姓了。 顾客：哦，那我想要一份海鲜至尊披萨。 店长：陈先生，海鲜披萨不适合您，建议您另选一份。 顾客：为什么？ 店长：根据您的医疗记录，您的血尿酸值偏高，有痛风的症状，建议您不要食用高嘌呤的食物。您可以试试我们店最经典的田园蔬菜披萨，低脂、健康，符合您现阶段的饮食要求。 顾客：你怎么知道我会喜欢这种披萨？ 店长：您上周在一家网上书店买了一本《低脂健康食谱》，其中就有这款披萨的菜谱。 顾客：那好吧。我要一个家庭特大号披萨，多少钱？ 店长：99元。这个足够您一家六口吃了。但您的母亲应该少吃，她上个月刚做了心脏搭桥手术，还处于恢复期。 顾客：好的，知道了。我可以刷卡吗？ 店长：抱歉，陈先生。请您付现吧，因为您的信用卡已经刷爆了，您现在还欠银行5000元，而且还不包括住房贷款利息。 顾客：那我先去附近的提款机取现金。 店长：陈先生，根据银行记录，您今天已经超过了日提款限额。 顾客：算了，那你们直接把披萨送到我家里吧，家里有现金，你们多久能送到？ 店长：大约30分钟。如果您不想等，可以自己来取。 顾客：为什么？ 合理建议顾客上门自取。 店长：我这边看到您家的地址是某某路东段22号，距离我们店开车只有5分钟路程，您名下登记有一辆车号为×××××××的轿车，这辆车目前正在距离您家不到两分钟车程的地方。如果您等不及，可以回家拿了现金就开车来店里取，这大概要花您10分钟的时间，正好是一个披萨出炉的时间。这样，您总共只需花15至20分钟就可以将披萨拿回家，比我们送货上门要快。 这就是 大数据
2018-11-03 - lyshrine 👍（20） 💬（2）
我想到的还有体育领域，可以利用大数据制定球队战略，利用实时数据及时调整比赛中的战术。还可以对体育训练有帮助，可以分析和总结优秀选手的动作姿势，纠正其它他运动员的动作。未来体育仅仅靠天赋和苦练不足以取得最好的成绩，必须依赖大数据。
2018-11-03 - ming 👍（11） 💬（1）
抖音、头条的智能推荐也是基于大数据
2018-11-05 - S.H. 👍（10） 💬（1）
对我们这门课程学习来说，可以通过获取用户的学习时长，学习时间，页面停留时间，反复阅读次数，评论交互等数据信息，分析用户的学习需求，平台可以用来做课程推荐，讲师可以优化课程。
2018-11-06 - Austin 👍（7） 💬（1）
城市摄像头收集行为数据，可以根据行为，比如说站姿，走路方式，等人类无法发现的细节，对指定人进行追踪，无论他是否露脸，永远逃不掉。
2018-11-13 - 张相荣 👍（7） 💬（1）
现代化智慧农业也是大数据技术服务的一个场景
2018-11-03 - 一一 👍（7） 💬（1）
我想到两点，1 公交车通过大数据技术分析计算每辆公交车每天的用电或用油量，不断优化驾驶员驾驶习惯，从而达到节省城市公交成本的目的。 2 外卖平台通过大数据技术实时定位每位外卖员的位置和其手头的接单数量，不断优化接单速度和订单完成速度。
2018-11-03 - 小老鼠 👍（3） 💬（1）
学习大数据与学习人工智能有什么区别和关系？
2018-11-06 - 落叶飞逝的恋 👍（3） 💬（1）
购物猜你喜欢，新闻、段子都是大数据的应用
2018-11-05 - MavenTalker 👍（3） 💬（1）
天气预报，海量天气因素数据采集，结合同期过往的大量数据，进行预测分析未来N天的天气走势。实时采集实时计算可以显示当前级未来N小时的天气情况。
2018-11-04 - 张苗 👍（2） 💬（1）
我们每天都会接触到的电商app，新闻app中的商品推荐，资讯推荐功能都会用到大数据技术。后台系统会统计我们的购买习惯，资讯偏好来给我们推荐想要的东西。
2018-11-03 - 探索无止境 👍（2） 💬（1）
大数据还可以结合人脸识别，帮助警方尽快定位到嫌疑人，加快破案速度
2018-11-03 - 李铁牛 👍（2） 💬（1）
我觉得环境方面应用大数据也比较广，像是天气预报，空气质量预测等等，而且还可以和很多行业结合，比如交通，医疗
2018-11-03 - 杰之7 👍（1） 💬（1）
回过头来复习，能发现老师的文章越来越有价值。在这一节中，老师写出了大数据应用的方方面面，并对每一方面的技术原理进行的分析。 在健康医疗领域，首先人满足了基本的生活保障之后，对健康会越来越重视，就出现了一个价值万亿的市场，并且健康需要专业人的经验和已沉淀的大量数据，通过机器学习，可以得出更精准的建议来供参考。 在互联网教育领域，今天能和老师一起学习，多少有互联网教育的因素走到了一起。对在AI外语课程中，通过对大量的语句进行语音识别和合成技术，来达到我们可以和智能机器对话。对在解题方面，通过自然语言和图像技术来可以对解题做出大致的模型和思路，进一步通过神经网络机器学习技术，来做出实际的解题。 在社交媒体中，通过爬虫获取来得数据进行自然语言处理，可以得到所有人对于某一事件的观点，这比调查的效率和准确率都会高出很多。然后把得到的结果用在商业，金融领域等。 对于金融领域，通过对社会热点，舆论倾向，财经数据综合分析，得到了量化分析。另外对用户各方面贴标签对起分险判断，得到分析控制模型。金融这块老师前天给了我建议和补充，非常高兴和感谢。 在互联网的背景之下，提出了新零售，新零售我觉得是新的一种购物体验和方式，是传统零售和互联网的补充，通过大数据技术来降低采购库存，针对性销售和好的购物体验，这块我自身也挺喜好。 另外交通和无人驾驶也是通过大数据和机器学习训练海量的数据，我们应该怀有乐观的心态看待无人驾驶技术，因为技术总会前进，好比汽车取代了马车，无人驾驶取代人的驾驶，安全系数肯定会更高。 理解了这些实际应用后，对我之后看待大数据和机器学习技术会更释然和接受，也会更用心的学习这项技术融入到生活实际的场景中来。
2019-01-16 - 杰之7 👍（1） 💬（1）
数据驱动一切绝不是噱头，今天的今日头条，最核心的技术就是基于之前个人所浏览的内容进行机器学习和大数据算法，来推出个人感兴趣的内容。滴滴出行同样也是如此，高峰人流量的出行，出行费用的增加也是利用大数据算法进行计算。所以今天，技术已经成熟，大数据技术可以做到人想不到的事和需求，这也会是我们这代不一样的生活体验吧。
2018-11-22