400-650-7353

精品課程

您所在的位置:首頁 > IT干貨資料 > 大數據 > 【大數據基礎知識】Sqoop概述及安裝配置

【大數據基礎知識】Sqoop概述及安裝配置

  • 發布: 大數據培訓
  • 來源:大數據干貨資料
  • 2021-01-06 15:07:25
  • 閱讀()
  • 分享
  • 手機端入口

Sqoop是一款開源的數據傳輸層工具,Sqoop的全稱是sql to Hadoop。通過這個名稱我們可以看出,Sqoop可以完成把關系型數據庫如MySQL,Oracle等數據庫中的信息導入到Hadoop文件存儲體系中,或者把Hadoop文件導入到關系型數據庫中。起到了一個非常好的橋梁作用。

Sqoop最早產生于2012 年 3 月,現在已經是Apache的一個頂級項目。Sqoop能夠提供多種數據傳輸方式并且支持多種數據庫,這也是Sqoop被廣泛應用的原因。

下面,我們來看Sqoop的安裝部署。

首先,我們在Sqoop安裝之前,要確保已經安裝好了Java和Hadoop。這個我們在前面的文章中已有介紹,不太熟悉的朋友可以先參考安裝下哦。

已經安裝過其他大數據組件的朋友應該能夠看到,大數據生態圈組件的安裝不外乎是這樣的幾步:

1. 下載安裝包

2. 解壓縮

3. 修改配置文件

對于Sqoop來說,也不例外。

1. 首先我們下載Sqoop的安裝包,最新的穩定版本是1.4.7。我們可以從官網(http://sqoop.apache.org)下載,也可以從最近的一個鏡像網站下載。我選用的下載地址是:https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/ 。下載 sqoop-1.4.7.tar.gz壓縮包。下載完成后上傳到虛擬機。我上傳目錄是/opt/software。或者直接在虛擬機的客戶端通過wget命令下載:

wget

https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.tar.gz

2.使用tar命令解壓縮

tar –zxvf sqoop-1.4.7.tar.gz –C /opt/

3.修改配置文件

Sqoop的配置文件在Sqoop根目錄下的conf目錄下。配置文件的原有名稱是sqooop-env-template.sh,我們拷貝一份,并將名稱改為sqoop-env.sh。命令如下:

cp sqoop-env-template.sh sqoop-env.sh

在sqoop-env.sh中,修改如下內容:

4. 拷貝JDBC驅動

把JDBC驅動拷貝到Sqoop根目錄下的lib目錄下,命令如下:

cp mysql-connector-java-5.1.27-bin.jar /opt/sqoop-1.4.7/lib

5.因為到Sqoop-1.4.5及以后版本安裝包的lib下就已經沒有了sqoop-1.4.5.jar,Sqoop-1.4.7也沒有sqoop-1.4.7.jar。對于此jar包我們必須單獨下載,將其放到Sqoop根目錄的lib目錄下。

6. 測試Sqoop是否安裝成功,使用Sqoop根目錄的bin目錄下的sqoop命令來測試。如:

如果能出現上面的信息,就說明Sqoop安裝配置成功了。

學習疑問申請解答
您的姓名
您的電話
意向課程
 

中公優就業

IT小助手

掃描上方二維碼添加好友,請備注:599,享學習福利。

>>本文地址:
注:本站稿件未經許可不得轉載,轉載請保留出處及源文件地址。

推薦閱讀

優就業:ujiuye

關注中公優就業官方微信

  • 關注微信回復關鍵詞“大禮包”,享學習福利
QQ交流群
在線疑問解答
(加群備注“網站”)
IT培訓交流群 加入群聊 +
軟件測試 加入群聊 +
全鏈路UI/UE設計 加入群聊 +
Python+人工智能 加入群聊 +
互聯網營銷 加入群聊 +
Java開發 加入群聊 +
PHP開發 加入群聊 +
VR/AR游戲開發 加入群聊 +
大前端 加入群聊 +
大數據 加入群聊 +
Linux云計算 加入群聊 +
優就業官方微信
掃碼回復關鍵詞“大禮包”
享學習福利

測一測
你適合學哪門IT技術?

1 您的年齡

2 您的學歷

3 您更想做哪個方向的工作?

獲取測試結果
 
課程資料、活動優惠 領取通道
 
 
最新上架日本 中文频道,什么网址可以看a片,日韩美女一级毛片,性交的视频,那里有黄色网站