位置: IT常识 - 正文

【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)(大数据实时数仓)

编辑:rootadmin
【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上) 系列文章目录

推荐整理分享【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)(大数据实时数仓),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:大数据在线实时分析,大数据实时查询引擎,大数据实时查询引擎,大数据实时报告,大数据在线实时分析,大数据中实时数据,实时大数据平台,大数据实时查询引擎,内容如对您有帮助,希望把文章链接给更多的朋友!

【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上) 【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(中) 【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(下)

文章目录系列文章目录前言一、数据库配置信息二、下载OGG12C三、上传安装包到主备库并解压四、配置环境变量五、创建安装目录六、数据库配置源端库配置1、开启数据库归档2、开启强制使用日志模式3、开启日志追加4、创建ogg管理用户5、授予ogg账户权限6、修改数据库参数目标端库配置1、创建ogg管理用户2、授予ogg账户权限3、修改数据库参数总结前言

博主所在单位目前使用Oracle GoldenGate将各个业务生产库汇聚到一起做数仓实时ODS平台,源端库可能涉及Oracle、Mysql、达梦、Guassdb库。 之前写过一系列关于GoldenGate异构同步Mysql、Kafka、Kylin、Flink做实时计算的场景文章。但是突然发现,卧槽最最最应该第一个做的Oracle->Oracle的实时异构同步文档竟然没写! 来弥补一下这个空白!!! 好了,扯远了,回归技术! 下面是我给大家的生产环境下,如何部署GoldenGate12C及异构实时同步数据的解决方案。本文主要介绍如何实现实时异构的进行Oracle->Oracle的数据同步,这种数据同步适用于灾备、升级、实时ODS等场景使用。我这里给大家了三个GoldenGate部署方式,看大家喜欢用哪种吧!! 注意:本部署方案分为三章节,三章节的重点分别是:

GoldenGate12C安装前,数据库层面的准备工作!!! 给你GoldenGate12C的三种部署方式,看你喜欢哪种部署方式!!! 配置支持DDL操作的实时数据同步!!!一、数据库配置信息

此架构为ALO模式的数据同步,系统均为:OracleLinux6.8,数据库安装可以参考另一篇数据库安装文档: 【大数据开发运维解决方案】linux5 安装 oracle 11g(11.2.0.4)实验。 源端数据库配置信息: 主机名:source IP:192.168.1.6 归档位置:/u01/arch 字符集:AMERICAN_AMERICA.AL32UTF8 目的端数据库配置信息: 主机名:ogg IP:192.168.1.10 归档位置:/u01/arch 字符集:AMERICAN_AMERICA.ZHS16GBK UTF8是GBK的超集,有可能有些utf8中有但是gbk没有的字符,就会报错,比如之前生产遇到的不间断空格(c2a0),文章连接: 【大数据实时数据同步】GoldenGate实时同步异常:OGG-03533:character ‘c2 a0‘ at offset 0 that is not available报错解决

二、下载OGG12C

GoldenGate公司成立于1995年的美国加州旧金山, 它的名称源自旧金山闻名于世的金门大桥。 该公司于2009年9月被Oracle公司收购,在此之前Oracle和GoldGate公司就有了长达超过10年的合作关系。 GoldenGate几乎支持市面上流行的所有主流的操作系统平台和数据库。 点击此处跳转Oracle官网下载

三、上传安装包到主备库并解压

我是通过xmanager的ftp上传的,解压命令

[oracle@source u01]$ unzip V861007-01.zip

四、配置环境变量

源端环境变量设置如下:

# .bash_profile# Get the aliases and functionsif [ -f ~/.bashrc ]; then. ~/.bashrcfi# User specific environment and startup programsPATH=$PATH:$HOME/binexport PATHexport ORACLE_BASE=/u01/app/oracleexport GGHOME=$ORACLE_BASE/ogg12export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1export ORACLE_SID=orclexport PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_BASE/ogg12:$ORACLE_HOME/OPatchexport NLS_LANG=AMERICAN_AMERICA.AL32UTF8export LD_LIBRARY_PATH=$ORACLE_HOME/lib--如果不配置这个,会爆缺少libnnz11.so等库文件的错。所以这里制定这些库文件,可以和后面安装过程用ldd命令验证的步骤搭配看alias sqlplus='rlwrap sqlplus'alias rman='rlwrap rman'alias ss='sqlplus / as sysdba'alias sc='sqlplus scott/tiger'alias c='cd $GGHOME'alias g='rlwrap ./ggsci'

目的端环境变量配置:

# .bash_profile# Get the aliases and functionsif [ -f ~/.bashrc ]; then. ~/.bashrcfi# User specific environment and startup programsPATH=$PATH:$HOME/binexport PATHexport ORACLE_BASE=/u01/app/oracleexport GGHOME=$ORACLE_BASE/ogg12export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1export ORACLE_SID=oggexport PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_BASE/ogg12:$ORACLE_HOME/OPatchexport NLS_LANG=AMERICAN_AMERICA.ZHS16GBKexport LD_LIBRARY_PATH=$ORACLE_HOME/libalias sqlplus='rlwrap sqlplus'alias rman='rlwrap rman'alias ss='sqlplus / as sysdba'alias sc='sqlplus scott/tiger'alias c='cd $GGHOME'alias g='rlwrap ./ggsci'【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)(大数据实时数仓)

环境变量配置完要source .bash_profile一下生效

五、创建安装目录

因为两端都指定ogg安装目录为/u01/app/oracle/ogg12,所以两边都做下面操作:

mkdir /u01/app/oracle/ogg12六、数据库配置源端库配置1、开启数据库归档

验证是否开启

SQL> archive log list2、开启强制使用日志模式alter database force logging;

验证是否开启

select force_logging from v$database;3、开启日志追加alter database add supplemental log data;

验证是否开启

select supplemental_log_data_min,supplemental_log_data_pk,supplemental_log_data_ui,supplemental_log_data_fkfrom v$database;4、创建ogg管理用户

创建表空间oggdata,用来存放ogg账户的相关数据

CREATE TABLESPACE OGGDATA DATAFILE '/u01/app/oracle/oradata/orcl/ogg.dbf' SIZE 200M AUTOEXTEND ON NEXT 100M MAXSIZE 1024M;create user ogg identified by ogg default tablespace oggdata;5、授予ogg账户权限GRANT CREATE TABLE,CREATE SEQUENCE TO OGG;grant connect, resource, dba to ogg;6、修改数据库参数

查看数据库版本:

select*from v$version;

Oracle 11.2.0.4需要配置参数,之前的版本不需要配置 修改参数:

alter system set enable_goldengate_replication=true scope=both;目标端库配置1、创建ogg管理用户

创建表空间oggdata,用来存放ogg账户的相关数据

CREATE TABLESPACE OGGDATA DATAFILE '/u01/app/oracle/oradata/orcl/ogg.dbf' SIZE 200M AUTOEXTEND ON NEXT 100M MAXSIZE 1024M;create user ogg identified by ogg default tablespace oggdata;2、授予ogg账户权限GRANT CREATE TABLE,CREATE SEQUENCE TO OGG;grant connect, resource, dba to ogg;3、修改数据库参数

查看数据库版本:

select*from v$version;

Oracle 11.2.0.4需要配置参数,之前的版本不需要配置 修改参数:

alter system set enable_goldengate_replication=true scope=both;总结

本篇博客主要介绍了在安装OGG12C之前,数据库层面应该做哪些变化!

本文链接地址:https://www.jiuchutong.com/zhishi/298803.html 转载请保留说明!

上一篇:ghostnet(ghostnet改进)

下一篇:Win11装了VMware后找不到wifi网络的解决方法(虚拟机安装win11提示无法运行)

  • 手机b站如何发动态(手机b站如何发布多个视频合集)

    手机b站如何发动态(手机b站如何发布多个视频合集)

  • iphone11怎么设置微信锁(iphone11怎么设置指纹解锁)

    iphone11怎么设置微信锁(iphone11怎么设置指纹解锁)

  • y7000键盘灯怎么关(y7000键盘灯怎么变色)

    y7000键盘灯怎么关(y7000键盘灯怎么变色)

  • 安宽带家里需要什么(安宽带家里需要用电脑吗)

    安宽带家里需要什么(安宽带家里需要用电脑吗)

  • 笔记本有几种充电方法(笔记本电脑充电是什么样的)

    笔记本有几种充电方法(笔记本电脑充电是什么样的)

  • 平板可以下载ps吗(平板可以下载ps哪个版本)

    平板可以下载ps吗(平板可以下载ps哪个版本)

  • 拼多多砍价可以砍几次(拼多多砍价可以用钱买吗)

    拼多多砍价可以砍几次(拼多多砍价可以用钱买吗)

  • 小红书有浏览痕迹的吗(小红书浏览记录可以看到吗)

    小红书有浏览痕迹的吗(小红书浏览记录可以看到吗)

  • 锐化和清晰度区别(锐化高好还是低好)

    锐化和清晰度区别(锐化高好还是低好)

  • 微信号提示请注意核实对方身份(微信号提示请注意核实对方身份怎么办)

    微信号提示请注意核实对方身份(微信号提示请注意核实对方身份怎么办)

  • 微信文件发送不出去怎么回事(微信文件发送不过去)

    微信文件发送不出去怎么回事(微信文件发送不过去)

  • tas-an00是什么手机(tas–an00)

    tas-an00是什么手机(tas–an00)

  • 华为手机看抖音屏幕显示不全(华为手机看抖音的时候微信没有提示)

    华为手机看抖音屏幕显示不全(华为手机看抖音的时候微信没有提示)

  • 微信表情合十是什么意思(微信里面表情合十是什么意思)

    微信表情合十是什么意思(微信里面表情合十是什么意思)

  • word页面设置在哪(word页面设置在哪个菜单栏)

    word页面设置在哪(word页面设置在哪个菜单栏)

  • 拼多多要换货怎么办(拼多多换货怎样上门取件)

    拼多多要换货怎么办(拼多多换货怎样上门取件)

  • 抖音怎么录超过15秒的(抖音怎么录超过三分钟)

    抖音怎么录超过15秒的(抖音怎么录超过三分钟)

  • 拼多多满返的钱在哪里(拼多多满返的钱怎么提现)

    拼多多满返的钱在哪里(拼多多满返的钱怎么提现)

  • 电脑集成显卡在哪(电脑集成显卡在设备管理器找不到)

    电脑集成显卡在哪(电脑集成显卡在设备管理器找不到)

  • 电脑如何装usb驱动(电脑如何装usb驱动程序)

    电脑如何装usb驱动(电脑如何装usb驱动程序)

  • 冷风机比空调省电吗(冷风机费电还是空调费电)

    冷风机比空调省电吗(冷风机费电还是空调费电)

  • 蒙特城堡,意大利普利亚大区 (© Toni Spagone/Alamy)(蒙特城堡干红葡萄酒价格)

    蒙特城堡,意大利普利亚大区 (© Toni Spagone/Alamy)(蒙特城堡干红葡萄酒价格)

  • 前端直接生成GIF动态图实践(前端生成docx)

    前端直接生成GIF动态图实践(前端生成docx)

  • WEB核心【会话技术】第十五章(web2.0核心)

    WEB核心【会话技术】第十五章(web2.0核心)

  • 小规模纳税人预缴税款怎么填申报表
  • 卫生清理费计入什么科目
  • 工会基金是扣个人还是扣企业的
  • 主营业务成本明细账图
  • 销售免税的有机食品
  • 税务登记证注销证明
  • 小规模纳税人如何转一般纳税人
  • 有限合伙企业注册资金要求
  • 消费税的应纳税额的计算
  • 自产货物用于在建工程要交增值税吗
  • 支付土地流转费
  • 没有增值税发票怎么出口
  • 退休人员返聘工资怎么缴税
  • 防伪税控发票种类主要有哪些
  • 专用设备抵免企业所得税目录
  • 为员工购买的意外保险账务处理
  • 减免税金需要结转吗
  • 应付票据发生与偿还怎么计算?
  • 电子缴税付款凭证怎么做记账凭证
  • 综合资金成本是
  • 存货损失进项税
  • 基本户里面的钱的用途
  • 联想e430安装win7
  • linux的使用场合
  • 电脑开机弹出网页游戏广告
  • 房产证工本费怎么做账
  • 劳务公司怎么做成本
  • 股票公允价值减值怎么做账
  • 财务管理中成本控制的原则
  • 营改增允许从销售额中扣
  • 房地产开发间接费
  • 关联方核对
  • 汇算清缴补交的所得税怎么记帐
  • php 字符串
  • php javascript
  • 确认收入的五个原则
  • 金税盘怎么设置字体
  • 制造费用月末一般有余额吗
  • 帝国cms移动端
  • 废品销售是否缴纳增值税
  • 融资租入的固定资产视为自有固定资产
  • 结转成本是什么凭证
  • 以前年度损益调整结转到本年利润吗
  • 总资产报酬率的高低直接影响净资产收益率的高低
  • 一般纳税人的招待费会计分录
  • 建设期贷款利息定义是什么
  • 存货周转次数下降的原因
  • 增值税普通发票可以抵扣吗
  • 委托生产产品
  • 委托销售产品如何做账
  • 进项税和销项税月末怎么结转
  • 支付厂房租赁费现金流
  • 或有租金租赁
  • 管理费用是负数怎么处理
  • 银行退票业务
  • 打印机向windows发送消息
  • 如何用命令关机
  • Vista技巧:何在Vista上运行不兼容的旧版本软件
  • centos7怎么查看进程名称吗
  • win8安装win10驱动
  • ds是什么文件
  • xp系统登陆界面切换用户
  • win7记事本可以保存的格式
  • 苹果Mac系统怎么安装
  • 联想y485p升级无线网卡
  • freebsd服务器怎么样
  • js实现下拉框联动
  • 安卓微博评论界面图片
  • 安卓端数据库
  • Linux 中的各项 CPU 利用率是这样算出来的
  • unity3d武器模型
  • jquery跳出方法
  • JQuery绑定事件的函数是
  • 税务局执法不规范整改
  • 河北电子税务局新版登录
  • 广东电子税务局app
  • 支部书记讲党课主题教育
  • 青海的医疗保险费是多少钱
  • 增值税普通发票可以抵扣吗
  • 税务主管机关有哪些
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设