Oracle数据库快速生成大量的相关数据实操

以下的文章主要介绍的是Oracle数据库,sql loader快速的生成大量的相关数据的实际操作步骤,以下就是对其生成大量相关测试数据的具体思路的详细描述。以下就是对其相关内容的具体描述。

创新互联建站坚持“要么做到,要么别承诺”的工作理念,服务领域包括:成都做网站、成都网站设计、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的江干网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!

一,用plsql developer 生成csv 文件

二,用>>输出重定向,追加到一个cvs 文件里。

三,再用sql loader 快速载入。

在plsql developer 执行

Sql代码

SELECT object_id,object_name FROM dba_objects;

右键plsql developer 导出csv 格式 1.csv。在linux 上执行下面的脚本

C代码

#!/bin/bash

for((i=1;i<200;i=i+1))

do

cat 1.csv >> 2.csv;

echo $i;

done

这样 50000 * 200 差不到就有一千万的数据了。我测试的 11047500 392M

可以用:

Linux代码

wc -l 2.csv

查看csv 里有多少条数据。现在测试数据有了。我们来试一下sql loader 的载入效果吧。

创建sqlloader 控制文件如下,保存为1.ctl

Sqlldr ctl代码

load data

infile '2.csv'

into table my_objects

fields terminated by ','optionally enclosed by '"'

(object_id,

object_name

);

控制文件简要说明:

-- INFILE 'n.csv' 导入多个文件

-- INFILE * 要导入的内容就在control文件里 下面的BEGINDATA后面就是导入的内容

--BADFILE '1.bad' 指定坏文件地址

--apend into table my_objects 追加

-- INSERT 装载空表 如果原先的表有数据 sqlloader会停止 默认值

-- REPLACE 原先的表有数据 原先的数据会全部删除

-- TRUNCATE 指定的内容和replace的相同 会用truncate语句删除现存数据

--可以指定位置加载

--(object_id position(1:3) char,object_name position(5:7) char)

--分别指定分隔符

--(object_id char terminated by ",", object_name char terminated by ",")

--执行sqlldr userid=scott/a123 control=1.ctl log=1.out direct=true

--30秒可以载入200万的测试数据 79MB

--sqlldr userid=/ control=result1.ctl direct=true parallel=true

--sqlldr userid=/ control=result2.ctl direct=true parallel=true

--sqlldr userid=/ control=result2.ctl direct=true parallel=true

--当加载大量数据时(大约超过10GB),最好抑制日志的产生:

--SQLALTER TABLE RESULTXT nologging;

--这样不产生REDO LOG,可以提高效率。然后在CONTROL文件中load data上面加一行:unrecoverable

--此选项必须要与DIRECT共同应用。

--在并发操作时,Oracle数据库声称可以达到每小时处理100GB数据的能力!其实,估计能到1-10G就算不错了,开始可用结构

--相同的文件,但只有少量数据,成功后开始加载大量数据,这样可以避免时间的浪费

下面就是执行了

Shell代码

sqlldr userid=scott/a123 control=1.ctl log=1.out direct=true

结果:30秒可以载入200万的测试数据 79MB

226秒载入1100万的测试数据 392Mb

我的环境是在虚拟机,测得的结果

MemTotal: 949948 kB

model name : Intel(R) Pentium(R) D CPU 2.80GHz

stepping : 8

cpu MHz : 2799.560

cache size : 1024 KB

还是挺快的:)

以上的相关内容就是对Oracle数据库,sql loader及快速生成大量数据的介绍,望你能有所收获。

【编辑推荐】

  1. Oracle密码文件的实际操作方案介绍
  2. Oracle数据库的性能完全保护的4个项目
  3. 提高Oracle SQL的执行效率的3个方案
  4. Oracle存储过程定时执行2种方法
  5. Oracle多表关联中的update语句实际应用

名称栏目:Oracle数据库快速生成大量的相关数据实操
URL网址:http://www.gawzjz.com/qtweb2/news32/1182.html

网站建设、网络推广公司-创新互联,是专注品牌与效果的网站制作,网络营销seo公司;服务项目有等

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联