终于有人把AI、BI分析、大数据、数据科学讲明白了
发布时间：2022-09-30 11:53:42 所属栏目：大数据 来源：
导读： 01 数据
数据几乎渗透到我们生活的每一个角落，从我们在手机中留下的数字足迹，到健康记录，再到购物历史，以及对资源（如能源）的使用情况。在当今这个数字世界里，脱离数字的生活虽然不是不可接受的，
数据几乎渗透到我们生活的每一个角落，从我们在手机中留下的数字足迹，到健康记录，再到购物历史，以及对资源（如能源）的使用情况。在当今这个数字世界里，脱离数字的生活虽然不是不可接受的，
|
01 数据 数据几乎渗透到我们生活的每一个角落，从我们在手机中留下的数字足迹，到健康记录，再到购物历史，以及对资源（如能源）的使用情况。在当今这个数字世界里，脱离数字的生活虽然不是不可接受的，但也需要巨大的牺牲精神和不可思议的毅力才能忍受。 我们不仅是数据制造者，同时也是活跃的数据消费者，例如我们时常检查自己的在线消费习惯，监测健身程序，或者查看自己的常旅客积分是否够去加勒比度假，这些行为都是在消费数据。 但数据到底是什么？按最通用的形式来理解，数据就是被储存起来以备日后使用的信息。最早记录信息的方式可能是在动物骨头上刻蚀符号。到了20世纪50年代，人们开始在磁带上记录数字信息，然后是打孔卡片，再后来是使用磁盘。现代数据处理开始的时间并不长，但已经奠定了我们如何收集、存储、管理、使用信息的基础。 直到最近，我们对那些无法计算的信息（例如，视频和图像信息）还只能进行分类处理。但近几年来，通过大量的技术变革，无法存储的数据类型变得越来越少了。事实上，存储的信息，或者数据，就是以一种可用的编码方式，为了我们可计算的目的而建立的真实世界的模型。 数据是真实世界中所发生事情的持续记录或“模型”，这一事实是分析学的一个重要特征。被公认为“20世纪最伟大的统计学家之一”的乔治·鲍克斯（George Box）曾经说过：“所有的模型都是错误的，但有些模型是有用的。” 很多时候，我们在数据中发现一些没有意义或者完全错误的东西。请记住，数据是从真实的物理世界转化并抽象为代表真实世界的东西，即乔治所说的“模型”。就像机械速度计是测量速度的标准一样（也是衡量速率的一个很好的替代物），这个模型（指机械速度计）实际上是测量轮胎的转速，而不是速度。 总之，数据是存储的信息，是所有分析的基础。例如，在可视化分析中，我们利用可视化技术和交互界面对数据进行解析和推理，找出数据本身存在的规律。 传感网络大数据智能感知_大数据智能分析_数据智能分析 02 分析 分析（analytics）可能是商业中使用得最多但却最难理解的术语之一。对一些人来说，它是一种用来“把数据屈打成招”（找出数据中潜藏规律）的技术或技巧，或者仅仅是商业智能与数据仓库的延伸；而对另外一些人来说，分析则是用于开发模型的统计、数学或定量方法。 Merriam-Webster字典称分析是“一种逻辑分析的方法”。Dictionary.com字典将分析定义为“逻辑分析的科学”。不幸的是，两种定义都直接使用了分析（analysis）这个词的词根，似乎存在循环解释的逻辑错误。 分析（analysis）这个词的起源可以追溯到16世纪80年代的中世纪拉丁语（anal-yticus）和希腊语（anal-ytiks），意思是“分解”（break up）或者“放松”（loosen）。我把分析（analytics）定义为一种解决数据驱动问题的结构化方法：通过对事实（数据）的仔细推敲，帮助我们解决问题的一套方法论。 关于分析的定义有很多争论。就当前讨论的问题而言，我将分析定义为： 一种全面的、基于数据驱动的解决问题的策略与方法。 我有意避免将分析定义为某个“过程”、某种“科学”或“学科”。相反，我将分析定义为一种全面的策略，正如读者将在本书第二部分中看到的那样，它是包含过程、规则、可交付物的最佳实践。 分析通过使用逻辑、归纳推理、演绎推理、批判思维、定量方法（结合数据）等手段，来检验和分析现象，从而确定其本质特征。分析植根于科学方法，包括问题的识别和理解、理论生成、假设检验和结果交流。 当积累的证据被用来支持一个结论，但结论仍带有一些不确定性的时候，就会用到归纳推理方法。也就是说大数据智能分析，最终的结论有可能（存在一定概率）与给定前提不一致。通过归纳推理，我们基于具体的观测或数据能够做出广泛的、一般意义上的概括和总结。 演绎推理基于某些一般案例提出论断，然后依靠数据，使用统计推断或实验手段证明或证伪提出的论断。例如，按照演绎推理方法，我们提出一个关于世界运动方式的基本理论，然后（应用数据）去检验我们提出的假设的正确性。 分析可以用来解决各种各样的问题。例如，UPS公司应用分析结果而采取优化货物运输措施，节省了150多万加仑（1加仑=3.785 41立方分米）的燃油，减少了14 000吨的二氧化碳排放量 ；克利夫兰诊所利用分析结果优化了手术室的运营时间安排。 有了这些成功案例，对于技术供应商（硬件和软件）和其他不同支持者来说，“分析”毫无疑问都是极具吸引力的。当然，“分析”这个词当前存在过度使用危险，这可以从人们把这个术语与其他词的各种组合中看出。诸如： 虽然以上这些组合与搭配在分析应用的类型和描述上具有独特性，但也经常造成理解上的混乱，特别是对企业高管（如CXO层次高管）而言，技术供应商总是热衷于提供最新的分析解决方案，试图能解决他们的每一个业务痛点。 我的观点（许多志同道合、理性思考的人也有与我相同的观点）是，分析并不是一种技术，技术只是在分析活动中起到了推动和赋能作用的策略和方法。 分析通常也指能够识别数据之间有业务意义的模式和关系的任何解决方案。分析被用于解析不同规模的、不同复杂程度的、结构化和非结构化的、定量或定性的数据，以便从中实现对特定问题的理解、预测或优化的明确目的。 所谓高级分析也是分析的子集，它使用复杂的分析技术来支持基于事实的决策过程，而且这种分析通常是以自动化或半自动化的方式开展的。 高级分析通常包括数据挖掘、计量经济建模、预测、优化、预测建模、模拟、统计和文本挖掘等技术。 大数据智能分析_传感网络大数据智能感知_数据智能分析 03 商业智能和报表 关于分析与商业智能的区别，几乎没有形成过共识。有些人将分析归类为商业智能的一个子集，而另一些人则把它归为完全不同的类别。我把商业智能（BI）定义为： 一种管理策略，用来建立一种更有结构性和更有效的决策方法……BI包括报表、查询、联机分析处理（OLAP）、仪表盘、记分卡甚至分析等常见要素。综合性术语BI也可以指获取、清理、集成和存储数据的过程。 有些人会将分析和商业智能之间的区别归纳为两个方面的不同： 所使用量化方法（即算法、数学、统计）的复杂度；所产生结果是针对历史已发生的还是未来将发生的。 也就是说，商业智能的重点是使用相对简单的数学方法来对历史数据进行展示和呈现，而分析则被认为是采用更复杂的计算逻辑，并且能够预测一些特定问题、识别因果关系、确定最优解决方案的方法，有时也被用于指明需要采取的行动与措施。 大多数商业智能应用的局限性并不在于技术的限制，而在于分析的深度和为行动提供依据的真正洞察力。例如，告诉我已经发生了什么事情并不能帮助我决定如何行动以改变未来，这样的结果往往是通过离线分析（offline analysis）得到的。 BI分析的真正责任是形成可行动的、可操作的洞察力，从而能够帮助我们了解已经发生的事情（在什么地点发生，为什么会发生，在什么条件下发生），预测出未来可能发生什么，以及我们可以做什么来影响和优化未来的结果。 请注意，图1-1中描述的BI仪表盘描述了有关过去的事实，如销售、呼叫量、产品和账户，使你很容易获得组织当前销售状态或活动情况的快照。 传感网络大数据智能感知_大数据智能分析_数据智能分析 ▲图1-1 商业智能仪表盘，来源：QlikTech International AB 商业智能和它的近邻“报表”，都是用来描述有关现象的信息展示技术，通常位于数据传递管道的尾部，在那里可以直观地访问数据和结果。而另一方面，分析则超越了对数据的描述，它真正理解了这个现象的内在规律，从而来预测、优化和预判未来应采取的适当行动。 从传统上看，商业智能一直存在两个缺点，这源于它们与这样的事实有关： BI通常专注于建立对过去已经发生事实的认识，因为它侧重于度量和监视，而不是预测和优化；其计量分析往往不够复杂，无法建立足以产生精确洞察力的有意义的改变（虽然正确的报表或可视化展现也可以对改变产生影响，但还不够精确）。 如果把商业智能与深入的“分析”恰当地结合在一起，而不仅仅停留在对事实的认识，它就更接近分析，但它又往往缺乏高级分析解决方案中经常用到的复杂统计、数学或者“机器学习”方法。 因此，我认为分析是商业智能总体框架内所包含的概念的一种自然演变。它更加强调充分开展必要的各种活动，以形成能促进行动的真知灼见。分析远远不止于在自助操作仪表盘或报表界面中所使用的、预先定义的可视化元素。 04 大数据 大数据（big data）是一种描述不和谐信息的方法，在将数据转化为洞察力的过程中，组织必须处理这些难以处理的信息。1997年，Michael Cox和David Ellsworth首次使用了大数据这一表述，他们当时提到的“问题”如下： 可视化为计算机系统提供了一个有趣的挑战：数据集通常相当大，占用了大量主内存、本地磁盘甚至远程磁盘的容量。我们称之为大数据问题。当数据集大到无法存放在主内存（核心存储器），或者甚至无法存储在本地磁盘上时，最常见的解决方案是扩充并获取更多的资源。 将大数据视为一个概念，它突出了这样一种挑战：数据的规模和复杂性超出了传统数据分析方法能够处理的范围。我们将大数据与传统的“小”数据进行对比，包括其容量（我们拥有多少数据）、速度（产生与获得数据的快慢）和多样性（包括数字、文本、图像、视频等多种数据形态）。 如果大数据是用来描述当今信息复杂性的概念，那么分析就可以帮助我们以主动的方式（预测性和规范性）来分析复杂性，而不是以被动的方式（即商业智能的范畴）来应对。 （编辑：草根网_马鞍山站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
浙公网安备 33038102330472号