Sqoop --基础介绍与安装

10 阅读 作者:kismetG 2020-04-04

1.sqoop是什么

sqoop是一个导入导出的工具,实现关系型数据库导入到hdfs中,同样的也可以导出。

 

2.sqoop官网(http://sqoop.apache.org/

sendOS6.8-->1.4.6 

sendOS7  -->1.4.7
 

3.sqoop的两个版本

最新的稳定版本是sqoop1:1.4.7)。Sqoop2的最新版本为1.99.7。请注意,1.99.7与1.4.7不兼容且功能不完整,因此不适用于生产部署。

 

4.sqoop原理:

将导入或导出的命令翻译成MapReduce程序来实现

翻译出的MapReduce对inputformat和outputformat 进行定制

 

5.安装:

下载sqoop包,解压

修改配置环境,mv sqoop-env-template.sh   sqoop-env.sh

加入导入导出的家目录

export HADOOP_COMMON_HOME= /路径

export HADOOP_MAPRED_HOME= /路径

export HIVE_HOME=/路径

..........

拷贝jdbc的驱动到sqoop的lib下

              cp /路劲/mysql-connector-java-5.1.32.jar  $SQOOP_HOME/lib/

 

6.验证sqoop

bin/sqoop --help

正常状态,因为有一些目前用不到的依赖没配,后期需要再配,不影响使用

 

7.验证sqoop是否能成功连接数据库

 

bin/sqoop  list-databases \                          --启动命令    

--connect jdbc:mysql://node01:3306/userdb \

--username root \

--password 123456\

原文地址:https://blog.csdn.net/weixin_44036154/article/details/103336196
广告一下
热门教程
PHP7报A non well formed numeric value encountered 0
Linux系统下关闭mongodb的几种命令分享 0
mongodb删除数据、删除集合、删除数据库的命令 0
Git&Github极速入门与攻坚实战课程 0
python爬虫教程使用Django和scrapy实现 0
libnetsnmpmibs.so.31: cannot open shared object file 0
数据结构和算法视频教程 0
redis的hash结构怎么删除数据呢? 0
C++和LUA解析器的数据交互实战视频 0
mongodb errmsg" : "too many users are authenticated 0
C++基础入门视频教程 0
用30个小时精通C++视频教程可能吗? 0
C++分布式多线程游戏服务器开发视频教程socket tcp boost库 0
C++培训教程就业班教程 0
layui的util工具格式时间戳为字符串 0
C++实战教程之远程桌面远程控制实战 1
网络安全培训视频教程 0
LINUX_C++软件工程师视频教程高级项目实战 0
C++高级数据结构与算法视频教程 0
跨域问题很头疼?通过配置nginx轻松解决ajax跨域问题 0
相关文章
【译】JavaScript数据结构(3):单向链表与双向链表 16
10个JavaScript难点 16
【译】苹果拒绝支持PWA,有损Web的未来 16
iView 一周年了,同时发布了 2.0 正式版,但这只是开始... 16
nodejs+mongodb构建一个简单登录注册功能 16
【译】JavaScript数据结构(4):树 16
组件化开发与黑箱 16
TypeScript - 不止稳,而且快 16
webpack3+anujs+ReactCSSTransitionGroup 16
原生js实现图片放大镜效果 16
WEB缓存探究第二弹——实战 16
纯笔记:vfork 的一些使用场景(顺便讲一下 fork 的原理) 16
Android APP 内部捐赠实现(支付宝&微信) 16
WKWebView 的一些小总结 16
模型评价(一) AUC大法 16
开始使用GraphQL 16
Webpack模块化原理简析 16
gulp使用问题记录 16
使用Angular4动画为页面添彩 16
Python27 Matplotlib (win64 python2.7) 安装及简单使用 16