TechTarget中国网站推荐

使用导出和导出方法复制到数据仓库

2008-8-21  选择字号:  | |
打印本文章
【TechTarget中国原创】我现在为一所大学工作,我们已经为存档数据建立了数据仓库和两个数据集市。目前我们在使用导入和导出程序将联机系统复制到我们的测试数据仓库。下面是有关系统信息:数据库是Oracle9i、操作系统是Sun Solaris上运行的Unix。2007年将会换成ODS。

【TechTarget中国原创】问:我现在为一所大学工作,我们已经为存档数据建立了数据仓库和两个数据集市。目前我们在使用导入和导出程序将联机系统复制到我们的测试数据仓库。下面是有关系统信息:数据库是Oracle9i、操作系统是Sun Solaris上运行的Unix。2007年将会换成ODS。

  我们想决定是否每晚都该进行增量更新和插入而不是复制产品系统。我知道增量表更新速度要快得多,但是有没有对该程序持反对意见的呢?有没有可能让文件脱离sync?

  你使用导出/导入方法更新你的数据仓库吗?

  你每天都执行增量更新吗?

  更新你的数据仓库/数据集市需要多长时间?

  你创建任何概要数据/物化示图了吗?

  进行备份需要多长的时间?

  如何进行注册?

  增长率如何?它怎样影响你的系统?

  你是在什么平台上运行的?

  谢谢。

  答:哇,这是一个很长的问题,涉及到架构决策类型的多个方面。通常在创立和维护数据仓库时,我们会考虑到这些问题还有是否将导入/导出作为复制方法的基本问题。

  我们从把导入和导出当作复制方法说起吧。首先我可以告诉你那样做可行,和你的目标是相符的。然而,在不知道你的数据库有多大的情况下,这种方法不可取。考虑到一个仓库有一到两个千兆字节,那么导入/导出方法就不可取。我们使用的方法取决于必备的条件。例如,一个企业的数据仓库,我们就用一个系统层级上的方法。我们使用Oracle便携式的表空间或者使用EMC快速拷贝磁盘。这两种方法都行之有效,因为它们能减少对数据库的影响,但是更适合更大型的数据仓库。另外一种方法就是复制,但我一般不会将它用在test数据库上。因为你表示你关注记录更新,我对此表示理解,现在你需要建立一个ETL架构用于更新你的test数据库。通常我会认为我们没有必要复制。

  至于我运行数据仓库的类型,目前有一种将多个业务流程融合在一起的企业仓库。仓库是目前有多个TB,并在过去已看到显着的增长,然而它还属于有EMC的阵列的惠普12-way Itanium。我们通过Informatica执行了所有的下载程序,所以我们用直接的数据库访问和批量下载的方法,这取决于我们需要处理的事情。我们所有的处理都是三角形式的处理。从原始资料中我们了解到了数据变化,然后将它们传送给数据仓库,现在我们的下载窗口根据日常工作量大约要花5-8个小时下载。至于备份,我没有时间花在它上面因为我已经把它留给操作系统了。至于更新开发和test数据库,首先我们进行导入/导出,这一过程序要花费三天的时间。然后将它移入简单的Informatica解决方案,这一过程也需要12小时。

  我希望这能对你有所帮助。如果你还有其他问题,请你告诉我,很高兴为您解答。

还没有登录? 阅读全文请先登录或注册
用户名:(请填写您的E-mail做为登录账号)
  • 获取最新的IT业界资讯、市场动态、行业趋势等独家原创内容。
  • 分享国内外技术专业人士提供的技巧经验。
  • 利用专注IT的技术资源中心,不断更新专业知识。
  • 享受白皮书、Webcast等系列特色增值服务。
  • 免费参加TT中国举办的各种会员活动。
  • 更多的精彩服务,在不断开发中……
用户名:(请填写您的E-mail)
密 码:
 永久登录
请输入您的登录email:
相关的新闻
我的两个Oracle很相似,一个在我的医院,一个在我家里。在空余时间里对所有的工作都进行了data.dmp处理。请问我能用什么命令来导入并写入我医院那个Oracle库里的表?
迄今为止,导出/导入工具集仍是跨多个平台转移数据所需劳动强度最小的首选实用工具,尽管人们常常抱怨它速度太慢。导入只是将每条记录从导出转储文件中读出来……
本文主要介绍在Oracle数据库中高速导出/导入技巧之数据库监控、Data Pump导入、处理特定对象等等。
Oracle11g的数据泵新增了一个DATA_OPTIONS选项,目前只有一个参数SKIP_CONSTRAINT_ERRORS。利用这个参数可以在导入数据的时候,忽略掉违反约束的数据,而使得其他正常的数据顺利的导入。
上一篇描述了主键约束的情况,今天突然想到,如果说Oracle在检查约束的时候不看约束条件,而检查索引的情况,那么肯定也会影响到其他的约束信息,比如CHECK和外键等。
本篇文章主要介绍SQL Server数据存储的物理对象和原理,包括SQL Server 2005和2008里的物理数据存储、SQL Server 2008数据类型(即Datetime、字符串、自定义及等)、在SQL Server数据库中加强数据的完整性……
本文为SQL Server 2008初学者指南,主要介绍SQL Server2008 T-SQL支持的基本元素和基本操作。
本篇技术专题主要内容包括SQL Server整合、SQL Server数据库设计灾难、SQL Server数据库查询设计以及SQL Server数据库同步、复制、报告显示。
最新更新
专家答疑
技巧
Brian Peasland
我在使用这个工具的时候就出现了以上的错误。由于出现了这个错误,我就没有顺利地完成备份。你能告诉我是什么原因吗?
Rudy Limeback
我想把这些日期按照月份聚集在一起,这样我们就能查看每个售货员每个月的销售量了。我怎么才能将这些月份的日期聚集在一起呢?
Maria Anderson
我得到了一个错误信息,如“DIM-00019:创建服务错误。”我用你寄给我的解决方案解决这一问题,即:“手动创建和启动服务。”你能告诉我如何手动安装该服务吗?