| 作者 |
| (美)Willian H.Inmon(美)克里什·克里希南(Krish Krishnan) |
| 丛书名 |
| 计算机科学丛书 |
| 出版社 |
| 机械工业出版社 |
| ISBN |
| 9782002279323 |
| 简要 |
| 简介 |
| 内容简介书籍计算机书籍 ---------------------------数据仓库(原书第4版)--------------------------- 本书系统讲述数据仓库的基本概念、基本原理以及建立数据仓库的方法和过程。主要内容包括:决策支持系统的发展、数据仓库环境结构、数据仓库设计、数据仓库粒度划分、数据仓库技术、分布式数据仓库、EIS系统和数据仓库的关系、外部和非结构化数据与数据仓库的关系、数据装载问题、数据仓库与Web、ERP与数据仓库以及数据仓库设计的复查要目。. 本书是数据仓库之父撰写的关于数据仓库的最权威著作,既可作为相关专业的研究生教材,也是数据仓库的研究、开发和管理人员的必备指南。 数据仓库为企业和组织提供了收集、存储和分析海量业务数据的必要策略。随着业务活动的日益增长,数据仓库领域变得越来越重要。本书被誉为数据仓库的“圣经”,从1990年第1版出版起,不仅带动了数据仓库行业的发展,而且至今仍然是数据仓库方面的优秀入门读物。第4版涵盖了数据仓库最新技术,保持了在这一领域的先锋地位。.. 纵观数据仓库系统的基本组成部分,读者会体验到数据仓库设计方法的更新;各种数据仓库的迁移策略以及应用在装载、索引和数据管理方面的技术。本书为读者提供了数据仓库领域的最新进展。 本书新增的内容: 在数据仓库中处理非结构化数据的方法 在各种不同的存储介质上存储数据的方法 . 关系型数据库设计和多维数据库设计的对比 在规划数据仓库项目时如何度量投资回报 探索更高级的研究主题,包括数据的监控与测试... ---------------------------大数据与数据仓库:集成、架构与管理--------------------------- 数据仓库专家Krish Krishnan以清晰和简明的讲述,帮助我们理解如何将大数据纳入数据仓库领域。《大数据与数据仓库:集成、架构与管理》的讲述分为三部分。第一部分讨论大数据技术以及用例。第二部分讲述数据仓库技术,包括数据仓库的新架构选择、工作负载和集成技术。第三部分处理大数据和数据仓库的集成,包括数据治理、数据可视化、信息生命周期管理、数据科学家角色变迁等。 |
| 目录 |
---------------------------数据仓库(原书第4版)--------------------------- 出版者的话 专家指导委员会 译者序 第2版前言 第3版前言 第4版前言 第1章 决策支持系统的发展 1 1.1 演化 1 1.1.1 直接存取存储设备的出现 2 1.1.2 个人计算机/第四代编程语言技术 3 1.1.3 进入抽取程序 3 1.1.4 蜘蛛网 4 1.2 自然演化式体系结构的问题 4 1.2.1 数据缺乏可信性 5 1.2.2 生产率问题 6 1.2.3 从数据到信息 8 1.2.4 方法的变迁 9 1.2.5 体系结构化环境 11 1.2.6 体系结构化环境中的数据集成 12 1.2.7 用户是谁 13 1.3 开发生命周期 14 1.4 硬件利用模式 15 1.5 为重建工程创造条件 15 1.6 监控数据仓库环境 17 1.7 小结 19 第2章 数据仓库环境 20 2.1 数据仓库的结构 23 2.2 面向主题 23 2.3 第1天到第n天的现象 26 2.4 粒度 28 2.4.1 粒度带来的好处 29 2.4.2 粒度的一个例子 29 2.4.3 双重粒度 31 2.5 探查与数据挖掘 34 2.6 活样本数据库 34 2.7 分区设计方法 35 2.8 数据仓库中的数据组织 38 2.9 审计与数据仓库 41 2.10 数据的同构/异构 41 2.11 数据仓库中的数据清理 42 2.12 报表与体系结构化环境 43 2.13 各种环境中的操作型窗口 43 2.14 数据仓库中的错误数据 45 2.15 小结 45 第3章 设计数据仓库 47 3.1 从操作型数据开始 47 3.2 数据/过程模型与体系结构化环境 51 3.3 数据仓库与数据模型 52 3.3.1 数据仓库的数据模 ?54 3.3.2 中间层数据模型 54 3.3.3 物理数据模型 59 3.4 数据模型与迭代式开发 60 3.5 规范化/反向规范化 61 3.6 元数据 67 3.7 数据周期—时间间隔 69 3.8 转换和集成的复杂性 70 3.9 数据仓库记录的触发 73 3.9.1 事件 73 3.9.2 快照的构成 73 3.9.3 一些例子 74 3.10 概要记录 74 3.11 管理大量数据 75 3.12 创建多个概要记录 76 3.13 从数据仓库环境到操作型环境 76 3.14 数据仓库数据的直接操作型访问 77 3.15 数据仓库数据的间接访问 77 3.15.1 航空公司的佣金计算系统 78 3.15.2 零售个性化系统 79 3.15.3 信用审核 80 3.16 数据仓库数据的间接使用 81 3.17 星形连接 82 3.18 支持操作型数据存储 86 3.19 需求和Zachman框架 87 3.20 小结 88 第4章 数据仓库中的粒度 90 4.1 粗略估算 90 4.2 规划过程的输入 91 4.3 溢出存储器中的数据 92 4.4 确定粒度级别 95 4.5 一些反馈循环技巧 96 4.6 确定粒度级别的几个例子 97 4.6.1 银行环境中的粒度级别 97 4.6.2 制造业环境中的粒度级别 99 4.6.3 保险业环境中的粒度级别 100 4.7 填充数据集市 102 4.8 小结 102 第5章 数据仓库和技术 103 5.1 管理大量数据 103 5.2 管理多种介质 104 5.3 索引和监控数据 104 5.4 多种技术的接口 105 5.5 程序员/设计者对数据存放位置的控制 105 5.6 数据的并行存储和管理 105 5.7 语言接口 107 5.8 数据的有效装载 107 5.9 有效利用索引 108 5.10 数据压缩 108 5.11 复合主键 109 5.12 变长数据 109 5.13 加锁管理 110 5.14 只涉及索引的处理 110 5.15 快速恢复 110 5.16 其他的技术特征 110 5.17 DBMS类型和数据仓库 111 5.18 改变DBMS技术 112 5.19 多维DBMS和数据仓库 112 5.20 在多种存储介质上构建数据仓库 117 5.21 数据仓库环境中元数据的角色 117 5.22 上下文和内容 119 5.22.1 上下文信息的三种类型 119 5.22.2 捕获和管理上下文信息 120 5.22.3 回顾上下文信息管理历史 121 5.23 刷新数据仓库 121 5.24 测试问题 122 5.25 小结 123 第6章 分布式数据仓库 124 6.1 分布式数据仓库的类型 124 6.1.1 局部数据仓库和全局数据仓库 124 6.1.2 技术分布式数据仓库 135 6.1.3 独立开发的分布式数据仓库 136 6.2 开发项目的本质特征 136 6.3 分布式数据仓库的开发 139 6.3.1 在分布的地理位置间协调开发 140 6.3.2 企业数据的分布式模型 141 6.3.3 分布式数据仓库中的元数据 142 6.4 在多种层次上构建数据仓库 142 6.5 多个小组建立当前细节级 144 6.5.1 不同层的不同需求 146 6.5.2 其他类型的细节数据 148 6.5.3 元数据 148 6.6 公共细节数据采用多种平台 150 6.7 小结 150 第7章 主管信息系统和数据仓库 152 7.1 EIS概述 152 7.2 一个简单例子 152 7.3 向下钻取分析 154 7.4 支持向下钻取处理 156 7.5 作为EIS基础的数据仓库 156 7.6 到哪里取数据 158 7.7 事件映射 159 7.8 细节数据和EIS 160 7.9 在EIS中只保存汇总数据 161 7.10 小结 162 第8章 外部数据与数据仓库 163 8.1 数据仓库中的外部数据 164 8.2 元数据和外部数据 165 8.3 存储外部数据 167 8.4 外部数据的不同部件 167 8.5 建模与外部数据 168 8.6 辅助报告 168 8.7 外部数据存档 169 8.8 内部数据与外部数据的比较 169 8.9 小结 169 第9章 迁移到体系结构化环境 171 9.1 一种迁移方案 171 9.2 反馈循环 176 9.3 策略方面的考虑 177 9.4 方法和迁移 179 9.5 数据驱动的开发方法 180 9.5.1 概念 181 9.5.2 系统开发生命周期 181 9.5.3 智者观点 182 9.6 小结 182 第10章 数据仓库和Web 183 10.1 支持电子商务环境 189 10.2 将数据从Web移动到数据仓库 190 10.3 将数据从数据仓库移动到Web 190 10.4 对Web的支持 190 10.5 小结 191 第11章 非结构化数据和数据仓库 192 11.1 两个领域的集成 193 11.1.1 文本—公共联接 193 11.1.2 基本错误匹配 195 11.1.3 环境间文本匹配 195 11.1.4 概率匹配 195 11.1.5 匹配所有信息 196 11.2 主题匹配 197 11.2.1 产业特征主题 197 11.2.2 自然事件主题 199 11.2.3 通过主题和主题词关联 200 11.2.4 通过抽象和元数据关联 200 11.3 两层数据仓库 201 11.3.1 非结构化数据仓库分类 202 11.3.2 非结构化数据仓库中的文档 203 11.3.3 非结构化数据可视化 203 11.4 自组织图(SOM) 204 11.4.1 非结构化数据仓库 205 11.4.2 数据量和非结构化数据仓库 205 11.5 适用于两个环境 206 11.6 小结 207 第12章 大型数据仓库 208 12.1 快速增长的原因 208 12.2 庞大数据量的影响 209 12.2.1 基本数据管理活动 209 12.2.2 存储费用 210 12.2.3 实际存储费用 210 12.2.4 大型数据量中的数据使用模式 211 12.2.5 一个简单计算 211 12.2.6 两类数据 212 12.2.7 数据分类涉及的问题 212 12.3 数据在不同介质的存储 213 12.3.1 近线存储 213 12.3.2 访问速度和磁盘存储 214 12.3.3 存档存储 215 12.3.4 透明的意义 216 12.4 环境间数据转移 216 12.4.1 CMSM方法 217 12.4.2 数据仓库使用监控器 218 12.4.3 不同存储介质下数据仓库的扩展 218 12.5 数据仓库转换 219 12.6 总费用 219 12.7 最大容量 219 12.8 小结 220 第13章 关系模型和多维模型数据库 设计基础 222 13.1 关系模型 222 13.2 多维模型 223 13.3 雪花结构 224 13.4 两种模型的区别 224 13.4.1 区别的起源 225 13.4.2 重建关系型数据 225 13.4.3 数据的直接访问和间接访问 226 13.4.4 支持将来未知的需求 227 13.4.5 支持适度变化的需求 227 13.5 独立数据集市 229 13.6 建立独立数据集市 230 13.7 小结 232 第14章 数据仓库高级话题 233 14.1 最终用户的需求和数据仓库 233 14.1.1 数据仓库和数据模型 233 14.1.2 关系型的基础 233 14.1.3 数据仓库和统计处理 234 14.2 数据仓库内的资源竞争 234 14.2.1 探查型数据仓库 235 14.2.2 数据挖掘型数据仓库 236 14.2.3 冻结探查型数据仓库 236 14.2.4 外部数据和探查型数据仓库 237 14.3 同一个处理器处理数据集市和 数据仓库 237 14.4 数据的生命周期 238 14.5 测试和数据仓库 239 14.6 追踪数据仓库中的数据流 240 14.6.1 数据仓库中的数据速率 241 14.6.2 “推”和“拉”数据 242 14.7 数据仓库和基于网络的电子商务环境 242 14.7.1 两种环境之间的界面 242 14.7.2 粒度管理器 243 14.7.3 概要记录 244 14.7.4 ODS,概要记录以及性能 244 14.8 财务数据仓库 245 14.9 记录系统 246 14.10 结构体系的概要历史—演化 为公司信息工厂 247 14.10.1 CIF的进化 249 14.10.2 障碍 249 14.11 CIF的未来 250 14.11.1 分析 250 14.11.2 ERP/SAP 250 14.11.3 非结构化数据 251 14.11.4 数据量 251 14.12 小结 252 第15章 数据仓库的成本论证和 投资回报 254 15.1 应对竞争 254 15.2 宏观上的成本论证 254 15.3 微观上的成本论证 255 15.4 来自遗留环境的信息 256 15.4.1 新信息的成本 257 15.4.2 用数据仓库收集信息 257 15.4.3 成本比较 257 15.4.4 建立数据仓库 257 15.4.5 完整的情况图 258 15.4.6 得到数据的障碍 258 15.5 数据的时间价值 259 15.6 集成的信息 260 15.6.1 历史数据的价值 261 15.6.2 历史数据和客户关系模型 261 15.7 小结 261 第16章 数据仓库和ODS 263 16.1 互补的结构 263 16.1.1 ODS中的升级 264 16.1.2 历史数据与ODS 264 16.1.3 概要记录 264 16.2 不同种类的ODS 265 16.3 数据库设计—一种混合的方式 266 16.4 按比例画图 266 16.5 ODS中的事务集成 267 16.6 对ODS处理日进行分片 267 16.7 多个ODS 267 16.8 ODS和网络环境 268 16.9 ODS的一个例子 268 16.10 小结 269 第17章 企业信息依从准则和数据仓库 270 17.1 两个基本行为 270 17.2 财务依从准则 270 17.2.1 “是什么” 272 17.2.2 “为什么” 273 17.3 审计公司的交流信息 274 17.4 小结 276 第18章 最终用户社区 277 18.1 农民 277 18.2 探险者 277 18.3 矿工 277 18.4 旅行者 278 18.5 整个社区 278 18.6 不同的数据类型 278 18.7 成本论证和ROI分析 278 18.8 小结 279 第19章 数据仓库设计的复查要目 280 19.1 何时进行设计复查 280 19.2 谁负责设计复查 281 19.3 有哪些议事日程 281 19.4 结果 281 19.5 复查管理 281 19.6 典型的数据仓库设计复查 282 19.7 小结 295 术语表 296 参考文献 305 ---------------------------大数据与数据仓库:集成、架构与管理--------------------------- 译者序 前言 致谢 作者简介 第一部分 大数据 第1章 大数据简介2 1.1 引言2 1.2 大数据2 1.3 大数据的定义4 1.4 为什么需要大数据?为什么是现在4 1.5 大数据示例5 1.5.1 社交媒体的文章5 1.5.2 调查数据分析6 1.5.3 调查数据7 1.5.4 气象数据8 1.5.5 Twitter数据8 1.5.6 集成和分析8 1.5.7 附加数据的类型10 1.6 总结11 延伸阅读11 第2章 使用大数据12 2.1 引言12 2.2 数据爆炸12 2.3 数据体量13 2.3.1 机器数据14 2.3.2 应用日志14 2.3.3 点击流日志14 2.3.4 外部或第三方数据15 2.3.5 电子邮件15 2.3.6 合同15 2.3.7 地理信息系统和地理空间数据16 2.3.8 示例:Funshots公司17 2.4 数据速度19 2.4.1 Amazon、Facebook、Yahoo和Google19 2.4.2 传感器数据19 2.4.3 移动网络20 2.4.4 社交媒体20 2.5 数据多样性21 2.6 总结22 第3章 大数据处理架构23 3.1 引言23 3.2 再论数据处理23 3.3 数据处理技术24 3.4 数据处理基础设施的挑战25 3.4.1 存储25 3.4.2 传输25 3.4.3 处理26 3.4.4 速度或吞吐量26 3.5 全共享架构与无共享架构的比较26 3.5.1 全共享架构27 3.5.2 无共享架构27 3.5.3 OLTP与数据仓库28 3.6 大数据处理28 3.6.1 基础设施方面31 3.6.2 数据处理方面32 3.7 电信大数据研究32 3.7.1 基础设施34 3.7.2 数据处理34 第4章 大数据技术简介35 4.1 引言35 4.2 分布式数据处理36 4.3 大数据处理需求38 4.4 大数据处理技术39 4.5 Hadoop42 4.5.1 Hadoop核心组件43 4.5.2 Hadoop总结69 4.6 NoSQL69 4.6.1 CAP定理69 4.6.2 键-值对:Voldemort70 4.6.3 列簇存储:Cassandra70 4.6.4 文档数据库:Riak76 4.6.5 图数据库77 4.6.6 NoSQL小结78 4.7 文本ETL处理78 延伸阅读79 第5章 大数据驱动的商业价值80 5.1 引言80 5.2 案例研究1:传感器数据81 5.2.1 摘要81 5.2.2 Vestas81 5.2.3 概述81 5.2.4 利用风力发电81 5.2.5 把气候变成资本82 5.2.6 跟踪大数据的挑战83 5.2.7 维持数据中心的能源效率83 5.3 案例研究2:流数据84 5.3.1 摘要84 5.3.2 监控和安全:TerraEchos84 5.3.3 需求84 5.3.4 解决方案84 5.3.5 效益84 5.3.6 先进的光纤网结合实时流数据85 5.3.7 解决方案组件85 5.3.8 扩展安全边界创建战略优势85 5.3.9 关联传感器数据使得假阳性率为零86 5.4 案例研究3:通过大数据分析改善患者预后86 5.4.1 摘要86 5.4.2 业务目标87 5.4.3 挑战87 5.4.4 概述:给从业人员新的洞察以指导患者护理87 5.4.5 挑战:将传统数据仓库生态系统与大数据融合87 5.4.6 解决方案:为大数据分析做好准备88 5.4.7 结果:消除“数据陷阱”88 5.4.8 为什么是aster88 5.4.9 关于Aurora89 5.5 案例研究4:安大略大学技术学院—利用关键数据,提供积极的患者护理89 5.5.1 摘要89 5.5.2 概述89 5.5.3 商业上的收益90 5.5.4 更好地利用数据资源90 5.5.5 智慧医疗保健91 5.5.6 解决方案组件91 5.5.7 融合人类知识与技术92 5.5.8 扩大Artemis的影响92 5.6 案例研究5:微软SQL Server客户解决方案93 5.6.1 客户画像93 5.6.2 解决方案的亮点93 5.6.3 业务需求93 5.6.4 解决方案94 5.6.5 好处94 5.7 案例研究6:以客户为中心的数据集成95 5.7.1 概述95 5.7.2 解决方案设计98 5.7.3 促成更好的交叉销售和追加销售的机会99 5.8 总结100 第二部分 数据仓库 第6章 再论数据仓库102 6.1 引言102 6.2 传统的数据仓库或DW 1.0103 6.2.1 数据架构103 6.2.2 基础设施104 6.2.3 数据仓库的陷阱106 6.2.4 建立数据仓库的架构方法111 6.3 DW 2.0113 6.3.1 Inmon的DW 2.0概述114 6.3.2 DSS 2.0概述115 6.4 总结116 延伸阅读116 第7章 数据仓库的再造118 7.1 引言118 7.2 企业数据仓库平台118 7.2.1 事务型系统119 7.2.2 运营数据存储区119 7.2.3 分段区120 7.2.4 数据仓库120 7.2.5 数据集市120 7.2.6 分析型数据库121 7.2.7 数据仓库的问题121 7.3 再造数据仓库的选择122 7.3.1 平台再造122 7.3.2 平台工程123 7.3.3 数据工程124 7.4 使数据仓库现代化125 7.5 使数据仓库现代化的案例研究127 7.5.1 当前状态分析127 7.5.2 推荐127 7.5.3 现代化的业务收益128 7.5.4 一体机的选择过程128 7.6 总结132 第8章 数据仓库中的工作负载管理133 8.1 引言133 8.2 当前状态133 8.3 工作负载的定义134 8.4 了解工作负载135 8.4.1 数据仓库输出136 8.4.2 数据仓库输入137 8.5 查询分类138 8.5.1 宽/宽138 8.5.2 宽/窄139 8.5.3 窄/宽139 8.5.4 窄/窄139 8.5.5 非结构化/半结构化数据140 8.6 ETL和CDC的工作负载140 8.7 度量141 8.8 当前系统设计的局限142 8.9 新工作负载和大数据143 8.10 技术选择144 8.11 总结144 第9章 应用到数据仓库的新技术145 9.1 引言145 9.2 重新检查数据仓库挑战145 9.2.1 数据加载145 9.2.2 可用性146 9.2.3 数据体量146 9.2.4 存储性能147 9.2.5 查询性能147 9.2.6 数据传输147 9.3 数据仓库一体机147 9.3.1 一体机架构148 9.3.2 一体机中的数据分布149 9.3.3 部署数据仓库一体机最佳实践150 9.3.4 大数据一体机152 9.4 云计算152 9.4.1 基础设施即服务152 9.4.2 平台即服务152 9.4.3 软件即服务153 9.4.4 云基础架构153 9.4.5 云计算给数据仓库带来的好处154 9.4.6 将云计算用于数据仓库所面临的问题154 9.5 数据虚拟化154 9.5.1 数据虚拟化是什么155 9.5.2 提高商务智能性能156 9.5.3 工作负载分布156 9.5.4 实施数据虚拟化项目156 9.5.5 使用数据虚拟化时应避免的误区157 9.5.6 内存技术157 9.5.7 内存架构的好处157 9.6 总结158 延伸阅读158 第三部分 构建大数据-数据仓库 第10章 大数据和数据仓库的集成160 10.1 引言160 10.2 新数据仓库的组件160 10.2.1 数据层161 10.2.2 算法162 10.2.3 技术层163 10.3集成策略164 10.3.1 数据驱动的集成164 10.3.2 物理组件集成和架构167 10.3.3 外部数据集成168 10.4Hadoop与RDBMS169 10.5大数据一体机171 10.6数据虚拟化172 10.7语义框架173 10.7.1 词法处理174 10.7.2 聚类174 10.7.3语义知识处理174 10.7.4信息抽取175 10.7.5可视化175 10.8总结175 第11章 大数据的数据驱动架构176 11.1引言176 11.2元数据177 11.2.1技术元数据177 11.2.2业务元数据178 11.2.3上下文元数据178 11.2.4过程设计级元数据178 11.2.5程序级元数据178 11.2.6基础设施元数据179 11.2.7核心业务元数据179 11.2.8运营元数据179 11.2.9商务智能型元数据180 11.3主数据管理180 11.4处理数据仓库中的数据181 11.5处理大数据的复杂性184 11.5.1处理能力的限制184 11.5.2处理大数据184 11.6机器学习190 11.7总结193 第12章 大数据的信息管理和生命周期195 12.1引言195 12.2信息生命周期管理195 12.2.1目标196 12.2.2信息管理策略196 12.2.3治理196 12.2.4信息生命周期管理的优点200 12.3大数据的信息生命周期管理200 12.3.1示例:信息生命周期管理和社交媒体数据200 12.3.2测量信息生命周期管理的影响202 12.4总结203 第13章 大数据分析、可视化和数据科学家204 13.1引言204 13.2大数据分析204 13.3数据发现206 13.4可视化206 13.5数据科学家的角色变迁207 13.6总结208 第14章 实施大数据-数据仓库的现实情况209 14.1引言:构建大数据-数据仓库209 14.2以客户为中心的业务转型209 14.3Hadoop和MySQL驱动创新212 14.4将大数据集成到数据仓库中214 14.4.1增强决策制订215 14.4.2成果216 14.5总结216 附录A 客户案例研究217 附录B 建设医疗保健信息工厂237 结束语269 |