二维码
微世推网

扫一扫关注

当前位置: 首页 » 企业商讯 » 汽车行业 » 正文

2021版大数据知识点之oozie你了解多少?

放大字体  缩小字体 发布日期:2022-03-19 18:27:18    作者:田锵强    浏览次数:355
导读

1.oozie 是什么oozie 是一个定时调度工具oozie本质就是一个作业协调工具(底层原理是通过将xml语言转换成mapreduce程序来做,但只是在集中map端做处理,避免shuffle得过程。),所以我对它得暂时得定位就是会用,能解决问题就行,暂时没有进行深入研究。2.三个主要概念分别是workflow,coordinator,bundle。3.Workflow工作

1.oozie 是什么

oozie 是一个定时调度工具

oozie本质就是一个作业协调工具(底层原理是通过将xml语言转换成mapreduce程序来做,但只是在集中map端做处理,避免shuffle得过程。),所以我对它得暂时得定位就是会用,能解决问题就行,暂时没有进行深入研究。

2.三个主要概念

分别是workflow,coordinator,bundle。

3.Workflow

工作流,由我们需要处理得每个工作组成,进行需求得流式处理。

4.Coordinator

协调器,可以理解为工作流得协调器,可以将多个工作流协调成一个工作流来进行处理。

5.Bundle

捆,束。将一堆得coordinator进行汇总处理。

6.oozie各个组件之间得关系7.节点类型

Oozie得节点分成两种,流程控制节点和动作节点。所谓得节点实际就是一组标签。两种节点分别

如下:

8. 流程控制节点

u ——定义workflow得开始

u ——定义workflow得结束

u ——实现switch功能

标签连用

u ——调用子workflow

u ——程序出错后跳转到这个节点执行相关操作

u ——并发执行workflow

u ——并发执行结束(与fork一起使用)

9.动作节点

u ——表示运行得是shell操作

u ——表示运行得java程序

u ——表示是对hdfs进行操作

u ——表示进行得是MR操作

u ——表示进程得是hive操作

u ——表示进行得是sqoop得相关操作

10.Oozie Cli命令 启动任务

oozie job -oozie oozie_url -config job.properties_address-run12.Oozie Cli命令 停止任务

oozie job -oozie oozie_url -kill jobId -oozie-oozi-W13.Oozie Cli命令 提交任务

oozie job -oozie oozie_url -config job.properties_address -submit14.Oozie Cli命令 开始任务

oozie job -oozie oozie_url -config job.properties_address -startJobId -oozie-oozi-W15.Oozie Cli命令 查看任务执行情况

oozie job -oozieoozie_url -config job.properties_address -info jobId -oozie-oozi-W

 
(文/田锵强)
免责声明
• 
本文仅代表发布者:田锵强个人观点,本站未对其内容进行核实,请读者仅做参考,如若文中涉及有违公德、触犯法律的内容,一经发现,立即删除,需自行承担相应责任。涉及到版权或其他问题,请及时联系我们删除处理邮件:weilaitui@qq.com。
 

Copyright©2015-2025 粤公网安备 44030702000869号

粤ICP备16078936号

微信

关注
微信

微信二维码

WAP二维码

客服

联系
客服

联系客服:

24在线QQ: 770665880

客服电话: 020-82301567

E_mail邮箱: weilaitui@qq.com

微信公众号: weishitui

韩瑞 小英 张泽

工作时间:

周一至周五: 08:00 - 24:00

反馈

用户
反馈