关闭

关闭

关闭

封号提示

内容

北京pk10是国家彩票吗 a编导论-第10章-数据库、数据仓库和数据挖掘

北京pk10计划免费软件:a编导论-第10章-数据库、数据仓库和数据挖掘.ppt

a编导论-第10章-数据库、数据仓库和数据挖掘

晨辞叶
2018-11-14 0人阅读 0 0 0 暂无简介 举报

北京pk10是国家彩票吗 www.qdpo.net 简介:本文档为《a编导论-第10章-数据库、数据仓库和数据挖掘ppt》,可适用于综合领域

周苏教授QQ:ZSmailhzzjcn第章数据库、数据仓库和数据挖掘根据工作环境的不同“数据文件”可能有不同的含义。例如可以把数据文件当作是包含任何类型数据的文件例如文本、数字、图形、声音甚至是软件??榈韧部梢园咽菸募弊魅魏尾豢芍葱谢蛘卟皇浅绦虻奈募庑┒ㄒ宥际怯行У?。当然数据文件也可能指的是某个结构化文件或者数据库比如电子邮件地址簿其中包含了按照固定格式组织的信息。第章数据库、数据仓库和数据挖掘由于数据文件有多种定义因此当阅读计算机专业杂志或者文档时也许应该根据文本的上下文来决定该术语的具体含义是什么。例如在这一章中“数据文件”指的是以统一格式组织信息的文件这种数据文件可以保存简单地址簿、库存列表、学生花名册、航班时刻表等信息。与维护和访问数据文件中数据相关的任务称为数据管理。第章数据库、数据仓库和数据挖掘数据库基础数据库管理系统数据库检索数据仓库数据挖掘>>第章数据库、数据仓库和数据挖掘数据库基础数据库的基本结构数据库的特点数据模型数据库的发展>第章数据库、数据仓库和数据挖掘数据库基础数据库(DBdatabase)是依照某种数据模型组织并存储的数据集合。这种数据集合具有如下特点:尽可能不重复以最优方式为某个特定组织的多种应用服务其数据结构独立于使用它的应用程序对数据的增、删、改和检索由统一的软件进行管理和控制等。第章数据库、数据仓库和数据挖掘从发展历史看数据管理技术大致经历了三个阶段:)自由管理阶段:用户以文件形式将数据组织起来并附属在各自的应用程序下。)文件管理阶段:操作系统中的文件系统给出了统一的文件结构和共同存取的方法用户可以把数据和信息作为文件长期地保存在计算机系统中并可以方便地进行查询和处理。)数据库管理阶段:为了适应大量数据的集中存储并提供给多个用户共享的要求使数据与程序完全独立最大限度地减少数据的冗余度出现了数据库管理系统(DBMS)。第章数据库、数据仓库和数据挖掘数据库的基本结构在数据文件中字段是有意义数据的最小单元称为数据文件的基本组成???。字段有字段名用来描述字段中的内容。例如字段Name可能描述了一组职工姓名数据。字段可以设置为可变长度或者固定长度。第章数据库、数据仓库和数据挖掘输入在字段中的数据依赖于字段的数据类型。从技术上讲数据类型定义了数据在磁盘和内存中表示的方式从用户的角度来说数据类型决定了操作数据的方式。文件中的每个字段都分配有数据类型最常用的数据类型是字符和数字。数值类型的字段可以进行数学运算字符类型的字段包含了那些不需要进行数学操作的数据例如名字、描述、城市、缩写、电话号码和学号等?;褂幸恍┢渌堇嘈腿缛掌?、逻辑和备注类型等。实体是人、地方、物品或事件等用来存储数据的对象而记录包括了描述实体的字段。第章数据库、数据仓库和数据挖掘记录长度表示记录可以存储的最大字节数计算文件的记录长度是很重要的因为它有助于确定存储需求。一般情况下创建数据文件中文件结构的人定义了它所应该包含的字段这类似于设计手工记录系统或卡片文件的空白格式。记录中字段的个数和字段名依赖于记录所包含的数据不同的数据需要不同的记录类型商业或组织机构通常需要许多不同的记录类型来存储数据。第章数据库、数据仓库和数据挖掘数据库的基本结构分三个层次反映了观察数据库的三种不同角度(视图):)物理数据层。是数据库的最内层是物理存贮设备上实际存储的数据的集合。这些数据是原始数据是用户加工的对象由内部模式描述的指令操作处理的位串、字符和字组成。第章数据库、数据仓库和数据挖掘)概念数据层。是数据库的中间层是数据库的整体逻辑表示。指出了每个数据的逻辑定义及数据间的逻辑联系是存贮记录的集合。它所涉及的是数据库所有对象的逻辑关系而非物理情况是数据库管理员(DBA)概念下的数据库。)逻辑数据层。它是用户所看到和使用的数据库表示了一个或一些特定用户使用的数据集合即逻辑记录的集合。第章数据库、数据仓库和数据挖掘数据库的特点数据库不同层次之间的联系是通过映射进行转换的。数据库具有以下主要特点:)实现数据共享。数据共享包含所有用户可同时存取数据库中的数据也包括用户可以用各种方式通过接口使用数据库并提供数据共享。)减少数据的冗余度。由于数据库实现了数据共享从而避免了用户各自建立应用文件减少了大量重复数据减少了数据冗余维护了数据的一致性。第章数据库、数据仓库和数据挖掘)数据的独立性。包括数据库中数据库的逻辑结构和应用程序相互独立也包括数据物理结构的变化不影响数据的逻辑结构。)数据实现集中控制。利用数据库可以对数据进行集中控制和管理并通过数据模型表示各种数据的组织以及数据间的联系。)数据一致性和可维护性以确保数据的安全性和可靠性。包括:安全性控制:以防止数据丢失、错误更新和越权使用完整性控制:保证数据的正确性、有效性和相容性并发控制:使在同一时间周期内允许对数据实现多路存取又能防止用户之间的不正常交互作用故障的发现和恢复:由DBMS提供一套方法可及时发现和修复故障从而防止数据被破坏。第章数据库、数据仓库和数据挖掘数据模型数据模型用来描述数据库中数据存储的方式。当使用有效的数据模型创建数据库时就可以按照能够为公司或者组织机构提供有用信息的方式来输入、定位和操作数据。设计数据库结构时数据模型可以帮助理解实体之间的关系创建最有效的结构来存储数据。第章数据库、数据仓库和数据挖掘()实体关系记录代表着一个实体并且由一系列字段组成关系是实体之间的联系关系。数据模型用来描述实体之间的关系并且在创建数据库结构时把这些定义作为记录类型之间的关系。数据库设计者使用如实体关系表等技术来图形化表示数据模型。例如图中的图表表示了职工和考勤卡之间的关系。第章数据库、数据仓库和数据挖掘图实体关系图表示??Employee?Timecard?hasa?第章数据库、数据仓库和数据挖掘数据图表可用来显示基数即两个记录类型之间存在的对应关系。有三种可能的基数:一对一、一对多和多对多。第章数据库、数据仓库和数据挖掘图表示基数图表示?Employee????SocialSecurityCard?Employee??Timecard??Department?Job?一对一关系用单线连接表示记录类型的方框一对多关系用一端加“凤爪”的单线连接表示具有多个出现的记录类型多对多关系用两端加“凤爪”的线连接两个表示具有多个出现的记录类型第章数据库、数据仓库和数据挖掘一对多关系意味着一个特定记录类型中的一个记录可以和另外一个记录类型中的多个记录相关联。例如一个职工可以有多个考勤卡一个工作需要多个员工等。多对多关系意味着一个特定记录类型中的多个记录可以和另外一个记录类型中的多个记录相关联反之亦然。例如一个部门可以提供许多不同的工作如护士、技术人员等但同时某个特定的工作也可能出现在多个部门中例如急救中心和门诊都需要护士。第章数据库、数据仓库和数据挖掘数据模型可以帮助数据库设计者为数据库创建最高效的结构并且可以决定哪一种数据模型能提供最高效的数据库环境。有四种主要的数据库模型即层次、网状、关系和面向对象数据库模型它们采用不同的方式末表示实体之间的关系。对于理解所有的模型来说记录类型、字段和关系等概念都是很重要的。第章数据库、数据仓库和数据挖掘()关系数据库模型过去大型机数据库通常使用层次或网状数据库。世纪年代中关系数据库逐渐流行在微机上使用的数据库大多是关系模型并且面向对象模型也越来越流行。对于关系数据库的用户来说关系数据库就像一个表的集合它大致上等价于记录类型集合。表的一行被称作一个元组(记录)表的列被称作属性(字段)。第章数据库、数据仓库和数据挖掘在关系模型中记录是通过字段之间的关系而关联的。关系数据库模型的价值在于表实际上看起来是独立的但是却可以多种灵活的方式相关联。而且因为表只是一个概念性的东西用户不需要处理数据的物理存储方案。第章数据库、数据仓库和数据挖掘()面向对象数据库模型面向对象数据库(OODB)可以替代层次、网状和关系模型。面向对象数据库模型把实体看作根据属性定义的对象其中属性等价于数据字段。对象可以用方法进行操作具有类似属性的对象可以分组为类??梢允褂美啾壤唇馐屠?、对象、属性和方法的含义。第章数据库、数据仓库和数据挖掘假设有一个类称为“固定某物的装置”(或称为扣件、紧固件)的东西包括螺钉和钉子等对象。每个对象都有属性钉子有一个尖尖的点并且有一个平平的头螺钉也有一个尖尖的点还有一个有凹槽的头并且有螺纹。有什么方法可以应用到钉子上呢?可以用锤子敲打。又有什么方法可以应用到螺钉上呢?可以用螺丝刀拧。面向对象数据库提供了定义复杂数据关系的结构能力同时它也提供了灵活创建单个数据类型的变种的能力。第章数据库、数据仓库和数据挖掘数据库的发展数据库技术是计算机科学中发展最快的领域之一。第章数据库、数据仓库和数据挖掘()分布式数据库系统随着世纪年代后期分布计算机系统的发展相应地研究成功了分布式数据库系统。分布式数据库系统结构复杂是一个在逻辑上完整而物理上分散在若干台互相连接的结点机上的数据库系统它既具有分布性又具有数据库的综合性是数据库系统发展的一个重要方向。第章数据库、数据仓库和数据挖掘()数据库机器所谓“数据库机器”是一种新的计算机系统的体系结构它把由中央处理器包办的数据库操作分散给一些局部的部件来执行或转移到一个与主计算机相连的专用计算机去执行以提高并行性。数据库机器的发展包括了智能控制器和存储器专用处理机和数据库计算机。第章数据库、数据仓库和数据挖掘()数据库语义模型一般数据库的数据模型基本上属于语法模型语义体现很不完备不能明显地含有现实世界的意义。因此用户只能按照DBMS所提供的数据操纵语言访问数据库。而语义数据模型能准确描述现实世界中某个部门的信息集合及其意义使用户能基于对现实世界的认识或用类似于自然语言的形式来访问数据库。这方面的研究已发展为数据语义学。第章数据库、数据仓库和数据挖掘()数据库智能检索数据库技术和人工智能相结合根据数据库中的事实和知识进行推理演绎出正确答案这就是数据库的智能检索。这涉及到自然语言用户接口、逻辑演绎功能和数据库语义模型等问题例如世纪年代末开始的知识库管理系统和演绎数据库的研究等。()办公室自动化系统中的数据库研究在办公室自动化系统中数据库技术的应用其中主要研究对各种非格式化数据如图像、声音、正文的处理以及面向端点用户的高级语言接口等。第章数据库、数据仓库和数据挖掘数据库管理系统数据库管理系统功能面向对象数据库基于Web的数据库工具主流的数据库管理系统>第章数据库、数据仓库和数据挖掘数据库管理系统数据库管理系统(DBMS)是一种操纵和管理数据库的大型软件用于建立、使用和维护数据库以适应信息化社会对数据管理技术的需求是十多年来迅速发展起来的一门学科。DBMS对数据库进行统一的管理和控制以保证数据库的安全性和完整性。用户通过DBMS访问数据库中的数据数据库管理员也通过DBMS进行数据库的维护工作。DBMS提供多种功能可使多个应用程序和用户用不同的方法在同时或不同时刻去建立修改和询问数据库。第章数据库、数据仓库和数据挖掘数据库管理系统功能数据库管理系统是从图书馆的管理方法改进而来的。人们将越来越多的资料存入计算机中并通过一些编制好的计算机程序对这些资料进行管理这些程序后来就被称为“数据库管理系统”它可以帮助管理输入到计算机中的大量数据就像图书馆的管理员。第章数据库、数据仓库和数据挖掘按功能划分DBMS大致分为个部分:)模式翻译。提供数据定义语言(DDL)。用它书写的数据库模式被翻译为内部表示。数据库的逻辑结构、完整性约束和物理储存结构保存在内部的数据字典中。数据库的各种数据操作(如查找、修改、插入和删除等)和数据库的维护管理都是以数据库模式为依据的。)应用程序的编译。把包含着访问数据库语句的应用程序编译成在DBMS支持下可运行的目标程序。第章数据库、数据仓库和数据挖掘)交互式查询。提供易使用的交互式查询语言例如SQL。DBMS负责执行查询命令并将查询结果显示在屏幕上。)数据的组织与存取。提供数据在外围储存设备上的物理组织与存取方法。)事务运行管理。提供事务运行管理及运行日志事务运行的安全性监控和数据完整性检查事务的并发控制及系统恢复等功能。)数据库的维护。为DBA提供软件支持包括数据安全控制、完整性保障、数据库备份、数据库重组以及性能监控等维护工具。第章数据库、数据仓库和数据挖掘基于关系模型的数据库管理系统已日臻完善并已作为商品化软件广泛应用于各行各业。它在客户服务器结构的分布式多用户环境中的应用使数据库系统的应用进一步扩展。随着新型数据模型及数据管理的实现技术的推进可以预期DBMS软件的性能还将更新和完善应用领域也将被进一步拓宽。第章数据库、数据仓库和数据挖掘面向对象数据库文件管理系统和数据库管理系统是对被动数据集进行操作在这个集合中数据只是简单地等待程序来处理它。然而面向对象数据库通常包含在数据上执行动作的方法。要创建一个面向对象数据库需要使用面向对象管理系统(OODBMS)或者可以用定义操作对象和定义方法的编程语言如Smalltalk等。在面向对象数据库的情况下从外部操作数据库的程序只有那些用于定义数据库对象、方法和类的程序。尽管这些程序并不是数据库的一部分但是它们通常包含在面向对象数据库软件中。第章数据库、数据仓库和数据挖掘图面向对象方法示例ENIAC?面向对象数据库管理系统?定义对象定义方法指定类Class:EmployeesRegisteredNurse方法:计算每周薪水Clerk方法:计算每周薪水StaffPhysician方法:计算每周薪水Class:Timecard?数据库第章数据库、数据仓库和数据挖掘基于Web的数据库工具基于Web的数据库允许通过因特网用标准的Web浏览器来访问数据库。要和基于Web的数据库交互必须将请求从浏览器送到数据库然后将结果送回浏览器。CGI(网关接口)程序能满足这个要求。这些程序可以用编程语言如Perl、C、VlsualBasic等来编写和CGI功能相似且性能较高的有专用接口ISAPI(因特网服务器应用编程接口)和NSAPI(网景服务器应用编程接口)等。第章数据库、数据仓库和数据挖掘高速度但是非专用的工具是活动服务器页面(ASPActiveServerPage)该页面包含与数据库进行交互的编程代码。Web数据库开发工具都包括在许多流行的数据库包中例如MicrosoftAccess。第章数据库、数据仓库和数据挖掘主流的数据库管理系统目前有许多数据库产品如IBMDB、Oracle、Sybase、MicrosoftSQLServer、MicrosoftAccess和MySQL等各以自己特有的功能在数据库市场上占有一席之地。第章数据库、数据仓库和数据挖掘()OracleOracle是一个最早商品化的关系型DBMS应用广泛、功能强大。作为一个通用的数据库管理系统Oracle不仅具有完整的数据管理功能还是一个分布式数据库系统支持各种分布式功能支持因特网应用。作为一个应用开发环境Oracle提供了一套界面友好、功能齐全的数据库开发工具。Oracle使用PLSQL语言执行各种操作具有可开放性、可移植性、可伸缩性等功能。特别是在Oraclei中支持面向对象的功能如支持类、方法、属性等使得Oracle产品成为一种对象关系型数据库管理系统。第章数据库、数据仓库和数据挖掘()MicrosoftSQLServerMSSQLServer是一种典型的关系型DBMS它使用TransactSQL语言完成数据操作。由于MSSQLServer是开放式的系统其它系统可以与它进行完好的交互操作具有可靠性、可伸缩性、可用性、可管理性等特点为用户提供完整的数据库解决方案。第章数据库、数据仓库和数据挖掘()MicrosoftOfficeAccess作为MSOffice组件之一的Access是在Windows环境下非常流行的桌面型数据库管理系统。使用Access无需编写任何代码只需通过直观的可视化操作就可以完成大部分数据管理任务。在Access数据库中包括许多组成数据库的基本要素如存储信息的表、显示人机交互界面的窗体、有效检索数据的查询、信息输出载体的报表、提高应用效率的宏、功能强大的??楣ぞ叩?。它不仅可以通过ODBC与其它数据库相连实现数据交换和共享还可以与其他办公软件进行数据交换和共享并且通过对象链接与嵌入技术(OLE)在数据库中嵌入和链接声音、图像等多媒体数据。第章数据库、数据仓库和数据挖掘数据库检索结构化和非结构化数据库信息检索菜单和超文本索引关键字搜索实例查询>第章数据库、数据仓库和数据挖掘数据库检索从广义上讲数据库就是存储在一台或多台计算机上信息的集合。在实际应用中使用数据库%都是为了查找信息而不是创建和增加信息。第章数据库、数据仓库和数据挖掘结构化和非结构化数据库有许多数据库技术应用的例子例如图书卡分类、包含账号信息的银行账户、光盘百科全书、公司计算机的文件系统以及电子邮件地址簿等等。在通过因特网访问股市、人才市场或旅游网站时本质上也是在访问一个巨大的数据库。数据库可以分成两种:结构化数据库和非结构化数据库。第章数据库、数据仓库和数据挖掘结构化数据库(又称为结构化数据文件)是使用统一格式的记录和域来组织信息的文件存储的数据通常描述的是相似实体的集合。比如医疗数据库存储的数据一般是病人的信息库存数据库的数据则是存储在仓库的货物和货架信息。第章数据库、数据仓库和数据挖掘图结构化数据库示意年第期一个记录域数据数据库第章数据库、数据仓库和数据挖掘非结构化数据库是信息的松散结构化组合一般是按照文档而不是记录来存储的。比如可以把使用字处理软件生成的文档看成是一个个人作品的非结构化数据库。万维网在世界范围中存储了数以百万计的各式各样的文档它也是一种非结构化数据库。无论存储在硬盘、光盘还是因特网上非结构化数据库能够为人们存储各种各样的信息。第章数据库、数据仓库和数据挖掘信息检索当在数据库中检索信息(而不是创建和维护数据库)的时候通常不需要知道目前访问的数据库是结构化的还是非结构化的相关的数据访问软件会隐含这些信息。数据访问软件提供了在数据库中检索信息的界面只需要告诉它所需要的信息它就去进行检索。数据访问软件了解数据库的结构因此用户不需要考虑技术细节。第章数据库、数据仓库和数据挖掘不同的数据库通常使用不同的访问软件。因此要在信息时代有效地获取信息就必须掌握不同数据访问软件的检索过程。根据所使用的访问软件可能使用菜单、超文本索引、关键字搜索引擎、实例查询、查询语言或自然语言进行检索。第章数据库、数据仓库和数据挖掘菜单和超文本索引在银行自动账户信息系统中系统会问你“查询信息请按获得帮助请按”等等。这个系统就是用户与银行数据库的界面。由于许多人要使用这个系统因此访问过程必须简单。银行客户系统的大多数数据访问软件都是基于菜单的。数据库菜单类似于大多数其他软件中的菜单。访问数据库信息的菜单可以是基于屏幕的或基于语音提示的。菜单通常是层次化排列的选择了第一级菜单第二级菜单才会出来。第章数据库、数据仓库和数据挖掘使用语音菜单时要时刻准备着按下自己希望的选项当听到所需要的选项就立刻按下按钮这样就不需要记住该选项的号码了。当语音完成菜单选项的解释后无须回忆这个希望按下的号码。相比之下基于屏幕的菜单更容易使用因为所有的选项都可以一目了然。因此它们可能更加复杂使用多级菜单显示更多选项。如果经常使用同一个基于菜单的数据访问软件就会非常熟练地从菜单中找到需要的选项。第章数据库、数据仓库和数据挖掘基于屏幕的菜单在因特网上成为访问信息的流行格式。许多流行的提供因特网信息检索的网点使用的是称为超文本索引的方法。将信息按照教育、娱乐和商业等分类方便信息检索。使用这样的超文本索引首先要选择所需信息所在的分类系统会给出关于这部分的主题列表从表中选择后将会显示另外一个选择列表。这样当浏览完这个列表后就会找到包含所需信息的文档了。第章数据库、数据仓库和数据挖掘图Yahoo的超文本索引第章数据库、数据仓库和数据挖掘关键字搜索传统上由于习惯我们会觉得分类存放信息易于查找但有些事物不好分类再加上计算机功能和处理速度的提高现在还可以按照关键字而不是分类主题进行搜索。关键字搜索引擎使我们避免了检索数据时在主题分类菜单中浪费时间。关键字搜索引擎在类似于万维网这样的非结构化数据库中得到了广泛应用。使用关键字搜索引擎检索数据只需要输入像“数据挖掘”这样的词搜索引擎就会定位相关信息。通常它会显示出包含该关键字的文档摘要可以从中选择认为最有用的文档。搜索引擎还允许使用更加详细的搜索条件来生成“高级”搜索。第章数据库、数据仓库和数据挖掘图Google(谷歌)搜索引擎第章数据库、数据仓库和数据挖掘实例查询如果要迅速访问数据库中的信息最好是把信息存储在结构化数据库中。由于结构规整计算机的定位速度要比在非结构化数据库中定位的速度快许多。但是结构会引起一些问题例如用户可能不知道数据库的记录格式。因此为了帮助用户搜索结构化数据库有一种称为实例查询(缩写为QBE)的方法。第章数据库、数据仓库和数据挖掘图互动出版网的实例查询第章数据库、数据仓库和数据挖掘数据仓库数据仓库的特点数据仓库的组成数据仓库的意义数据仓库与数据库>第章数据库、数据仓库和数据挖掘数据仓库数据仓库(DWDataWarehouse)是一个面向主题(SubjectOriented)、集成(Integrate)、相对稳定(NonVolatile)和反映历史变化(TimeVariant)的数据集合。数据仓库是一个环境而不是一件单一产品它提供了用户用于决策支持的当前和历史数据这些数据在传统的操作型数据库中很难或不能得到。数据仓库技术是为了把操作型数据有效地集成到统一环境中以提供决策型数据访问的各种技术和??榈淖艹破淠康木褪俏巳糜没Ц?、更方便查询所需要的信息提供决策支持。第章数据库、数据仓库和数据挖掘数据仓库的特点数据仓库有如下一些特点:)面向主题。操作型数据库的数据组织面向事务处理任务各个业务系统之间各自分离而数据仓库中的数据是按照一定的主题域进行组织的。主题是一个抽象的概念是指用户使用数据仓库进行决策时所关心的重点方面一个主题通常与多个操作型信息系统相关。第章数据库、数据仓库和数据挖掘)集成的。面向事务处理的操作型数据库通常与某些特定的应用相关数据库之间相互独立并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的。必须消除源数据中的不一致性以保证数据仓库内的信息是关于整个企业的一致的全局信息。)相对稳定。操作型数据库中的数据通常实时更新数据根据需要及时发生变化。数据仓库的数据主要供企业决策分析用所涉及的数据操作主要是数据查询。某个数据一旦进入数据仓库一般情况下将被长期保留亦即数据仓库中一般有大量的查询操作但修改和删除操作很少通常只需要定期的加载、刷新。第章数据库、数据仓库和数据挖掘)反映历史变化。操作型数据库主要关心当前某一个时间段内的数据而数据仓库中的数据通常包含历史信息系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息通过这些信息可以对企业的发展历程和未来趋势做出定量分析和预测。第章数据库、数据仓库和数据挖掘数据仓库的组成数据仓库由数据仓库数据库、数据抽取工具、元数据等内容组成。)数据仓库数据库。这是整个数据仓库环境的核心是数据存放的地方提供对数据检索的支持。相对于操纵型数据库来说其突出特点是对海量数据的支持和快速的检索技术。第章数据库、数据仓库和数据挖掘)数据抽取工具。把数据从各种各样的存储方式中拿出来进行必要的转化、整理再存放到数据仓库内。对各种不同数据存储方式的访问能力是数据抽取工具的关键以访问不同的数据。数据转换包括:删除对决策应用没有意义的数据段转换到统一的数据名称和定义计算统计和衍生数据给缺值数据赋以缺省值把不同的数据定义方式统一等。第章数据库、数据仓库和数据挖掘)元数据。是指描述数据仓库内数据的结构和建立方法的数据??山浒从猛静煌治嚼嗉醇际踉莺蜕桃翟?。技术元数据是数据仓库的设计和管理人员用于开发和日常管理数据仓库时用的数据。包括数据源信息、数据转换的描述、数据仓库内对象和数据结构的定义、数据清理和数据更新的规则、源数据到目的数据的映射、用户访问权限、数据备份历史记录、数据导入历史记录、信息发布历史记录等。商业元数据从商业业务的角度描述了数据仓库中的数据。包括业务主题的描述、包含的数据、查询、报表等。第章数据库、数据仓库和数据挖掘元数据为访问数据仓库提供了一个信息目录这个目录全面描述了数据仓库中有什么数据、这些数据是怎么得到的和怎么访问这些数据它是数据仓库运行和维护的中心数据仓库服务器利用它来存贮和更新数据用户通过它来了解和访问数据。)访问工具。为用户访问数据仓库提供手段。有数据查询和报表工具、应用开发工具、管理信息系统(EIS)工具、在线分析(OLAP)工具、数据挖掘工具等。第章数据库、数据仓库和数据挖掘)数据集市(DataMarts)。是指为了特定的应用目的或应用范围而从数据仓库中独立出来的一部分数据也可称为部门数据或主题数据。在数据仓库的实施过程中往往可以从一个部门的数据集市着手以后再用几个数据集市组成一个完整的数据仓库。需要注意的是在实施不同的数据集市时同一含义的字段定义一定要相容这样再以后实施数据仓库时才不会造成大麻烦。第章数据库、数据仓库和数据挖掘有关决策支持型数据库的数据集市是面向企业中的某个部门或是项目小组的。一些专家顾问将数据集市的建造描述为建立数据仓库全过程中的一步。首先一个储存企业全部信息的数据仓库被创建其中数据均具备有组织的、一致的、不变的格式。数据集市随后被创立其目的是为不同部门提供他们所需要的那部分信息。数据仓库聚集了所有详细的信息而数据集市中的数据则针对用户的特定需求。第章数据库、数据仓库和数据挖掘而另外一些专家则认为数据集市的建立并不需要首先建立一个数据仓库。在这个模型中数据直接由事务型数据库转入数据集市中。一个公司可能建立有多个数据集市而彼此之间毫无联系。这种不在建立数据仓库的基础上创建数据集市的方式会更便宜、更快速因为它的规模更加易于管理。第章数据库、数据仓库和数据挖掘第二种观点的缺陷在于无法实现最初创建数据仓库的最主要的目的将企业所有的数据统一为一致的格式。现有的事务处理系统的数据往往是不一致、冗余的。如果首先建立起一个全公司范围的数据仓库组织就能够获得一个统一关于企业的活动和客户的知识库。如果先建立起一个个独立的数据集市那么数据仓库的诸多优势都能够得以实现但是企业远远无法做到对数据的一致的储存。第章数据库、数据仓库和数据挖掘)数据仓库管理。包括安全和特权管理、跟踪数据的更新、数据质量检查、管理和更新元数据、审计和报告数据仓库的使用和状态、删除数据、复制分割和分发数据、备份和恢复、存储管理等。)信息发布系统。把数据仓库中的数据或其他相关的数据发送给不同的地点或用户?;赪eb的信息发布系统是对付多用户访问的最有效方法。第章数据库、数据仓库和数据挖掘数据仓库的意义还是在计算机发展的早期人们就已经提出了建立数据仓库的构想当时的描述是:数据仓库是为支持企业决策而特别设计和建立的数据集合。许多公司在计算机系统中储存有大量的数据记录着企业购买、销售、生产过程中的大量信息和客户的信息。通常这些数据都储存在许多不同的地方。使用数据仓库后企业将所有收集来的信息存放在一个唯一的地方数据仓库仓库中的数据按照一定的方式组织从而使得信息容易存取并且有使用价值。第章数据库、数据仓库和数据挖掘数据仓库为企业带来了一些“以数据为基础的知识”它们主要应用于对市场战略的评价和为企业发现新的市场商机同时也用来控制库存、检查生产方法和定义客户群。数据仓库将企业的数据按照特定的方式组织从而产生新的商业知识并为企业的运作带来新的视角。数据仓库的解决方案包括:将决策支持型数据处理从事务型数据处理中分离出来。数据按照一定的周期(通常在每晚或者每周末)从事务型数据库中导入决策支持型数据库(数据仓库)。数据仓库按回答企业某方面的问题来分“主题”组织数据这是有效的数据组织方式。第章数据库、数据仓库和数据挖掘数据仓库与数据库作为数据管理手段传统的数据库技术是单一的数据资源主要用于事务处理也称为操作型处理。它以数据库为中心进行从事务处理、批处理到决策分析的各种类型的数据处理工作。用户关心的是响应时间、数据的安全性和完整性。第章数据库、数据仓库和数据挖掘数据仓库用于决策支持也称分析型处理它是建立决策支持系统(DSS)的基础。数据仓库对关系数据库的联机分析能力提出了更高的要求采用普通关系型数据库作为数据仓库在功能和性能上都是不够的它们必须有专门的改进。因此数据仓库与数据库的区别不仅仅表现在应用的方法和目的方面同时也涉及到产品和配置上的不同。因此数据仓库是一种新的数据处理体系结构和信息管理技术它是企业内部各部门业务数据进行统一和综合的中央数据仓库。它为企业决策支持系统和行政信息系统提供所需的信息为预测利润、风险分析、市场分析以及加强客户服务与营销活动等管理决策提供支持。第章数据库、数据仓库和数据挖掘要提高分析与决策的效率和有效性分析型处理及其数据必须与操作型处理及其数据相分离必须把分析型数据从事务处理环境中提取出来按照DSS处理的需要进行重新组织建立单独的分析处理环境。数据仓库正是为了构建这种新的分析处理环境而出现的一种数据存储和组织技术。第章数据库、数据仓库和数据挖掘数据挖掘作为决策支持新技术数据挖掘也和数据仓库一样近年来得到了迅速发展。数据挖掘(DMDataMining也称数据开采)是从大型数据库或数据仓库中发现并提取隐藏在其中的有用信息或知识信息的一种技术它主要是利用某些特定的知识发现(KDDKnowledgeDiscoveryinDatabase)算法在一定的运算效率的限制内从数据对象(例如数据库或数据仓库也可以是文件系统或其他任何组织在一起的数据集合)中发现有关的知识。>第章数据库、数据仓库和数据挖掘因此数据挖掘可以定义为:应用一系列技术从大型数据库或数据仓库的数据中提取人们感兴趣的信息和知识这些知识或信息是隐含的、事先未知而潜在有用的提取的知识表示为概念、规则、规律、模式等形式。作为知识发现过程的一个特定步骤数据挖掘是一系列技术及应用或者说是对大容量数据及数据间关系进行考察和建模的方法集。它的目标是将大容量数据转化为有用的知识和信息。第章数据库、数据仓库和数据挖掘知识发现是一个多步骤的对大量数据进行分析的过程包括数据预处理、模式提取、知识评估及过程优化。知识获取往往需要经过多次的反复通过对相关数据的再处理及知识发现算法的优化不断提高学习效率。如在分析影响信用风险的因素时可能先假设几种可能的因素然后通过不断反复的实验不断增加或删除因素最终得到对信用风险最具影响的因素。第章数据库、数据仓库和数据挖掘数据仓库是一种存储技术它的数据存储量是一般数据库的倍它包含大量的历史数据、当前的详细数据以及综合数据它能为不同用户的不同决策需要提供所需的数据和信息。而数据挖掘是从人工智能机器学习中发展起来的它研究各种方法和技术从大量的数据中挖掘出有用的信息和知识。第章数据库、数据仓库和数据挖掘数据仓库完成数据的收集、集成、存储、管理等工作数据挖掘面对的是经初步加工的数据使得数据挖掘能更专注于知识的发现。又由于数据仓库所具有的新特点对数据挖掘技术提出了更高的要求。另一方面数据挖掘为数据仓库提供了更好的决策支持同时促进了数据仓库技术的发展??梢运凳萃诰蚝褪莶挚饧际跻浞址⒒忧绷捅匦虢岷掀鹄?。第章数据库、数据仓库和数据挖掘作为数据挖掘对象数据仓库技术的产生和发展为数据挖掘技术开辟了新的战场也提出了新的要求和挑战。数据挖掘和数据仓库的联系可以概括为:)数据仓库为数据挖掘提供了更好的、更广泛的数据源。数据仓库中集成和存储着来自异构信息源的数据而这些信息源本身就可能是一个规模庞大的数据库。同时数据仓库存储了大量长时间的历史数据这使得我们可以进行数据长期趋势的分析为决策者的长期决策行为提供支持。第章数据库、数据仓库和数据挖掘)数据仓库为数据挖掘提供了新的支持平台。数据仓库的发展不仅仅是为数据挖掘开辟了新的空间更对数据挖掘技术提出了更高的要求。数据仓库的体系结构努力保证查询和分析的实时性。数据仓库一般设计成只读方式数据仓库的更新由专门的一套机制保证。数据仓库对查询的强大支持使数据挖掘效率更高开采过程可以做到实时交互使决策者的思维保持连续有可能开采出更深入、更有价值的知识。第章数据库、数据仓库和数据挖掘)数据仓库为更好地使用数据挖掘工具提供了方便。数据仓库的建立充分考虑数据挖掘的要求。用户可以通过数据仓库服务器得到所需的数据形成开采中间数据库利用数据挖掘方法进行开采获得知识。数据仓库为数据挖掘集成了企业内各部门的全面的、综合的数据数据挖掘要面对的是关系更复杂的企业全局模式的知识发现。而且数据仓库机制大大降低了数据挖掘的障碍一般进行数据挖掘要花大量的精力在数据准备阶段。数据仓库中的数据已经被充分收集起来进行了整理、合并并且有些还进行了初步的分析处理。这样数据挖掘的注意力能够更集中于核心处理阶段。另外数据仓库中对数据不同粒度的集成和综合更有效地支持了多层次、多种知识的开采。第章数据库、数据仓库和数据挖掘)数据挖掘为数据仓库提供了更好的决策支持。企业领导的决策要求系统能够提供更高层次的决策辅助信息从这一点上讲基于数据仓库的数据挖掘能更好地满足高层战略决策的要求。数据挖掘对数据仓库中的数据进行模式抽取和发现知识这些正是数据仓库所不能提供的。)数据挖掘对数据仓库的数据组织提出了更高的要求。数据仓库作为数据挖掘的对象要为数据挖掘提供更多、更好的数据。其数据的设计、组织都要考虑到数据挖掘的一些要求。)数据挖掘还为数据仓库提供了广泛的技术支持。数据挖掘的可视化技术、统计分析技术等都为数据挖掘提供了强有力的技术支持。第章数据库、数据仓库和数据挖掘阅读与思考:事件中的摩根斯坦利证券公司第章数据库、数据仓库和数据挖掘练习与实验:ACCESS)熟悉数据库的基本概念理解“数据独立性”的含义及其在数据库管理系统中的应用。)区分记录类型了解关系型数据库的基本组成描述用于在数据库中查找数据的技术。)描述四种主要数据库模型的不同特性。)区分结构化和非结构化数据库熟悉数据库检索技术及其应用。)熟悉数据库的基本应用领域了解数据仓库和数据挖掘技术的基本概念及其应用领域。)了解桌面数据库软件Access的基本操作及其应用领域。<<

用户评价(0)

关闭

新课改视野下建构高中语文教学实验成果报告(32KB)

抱歉,积分不足下载失败,请稍后再试!

提示

试读已结束,如需要继续阅读或者下载,敬请购买!

评分:

/90

¥30.0

立即购买

意见
反馈

立即扫码关注

爱问共享资料微信公众号

北京pk10是国家彩票吗

举报
资料