Apache Hive je eden najpomembnejših okvirov v ekosistemu Hadoop, zaradi česar je zelo pomemben za . V tem blogu bomo izvedeli več o namestitvi Apache Hive in Hive v Ubuntu.
Kaj je Apache Hive?
Apache panj je infrastruktura podatkovnega skladišča, ki omogoča poizvedovanje in upravljanje velikih naborov podatkov, ki se nahajajo v porazdeljenem pomnilniškem sistemu. Zgrajena je na vrhu Hadoopa in jo je razvil Facebook. Panj ponuja način za poizvedbo po podatkih z uporabo jezika poizvedb, podobnega SQL-u HiveQL (jezik poizvedbe za panj).
Interno prevajalec prevaja HiveQL izjave v MapReduce delovna mesta, ki se nato predložijo Hadoop okvir za izvršbo.
Razlika med panjem in SQL:
Panj izgleda zelo podobno kot tradicionalna zbirka podatkov z SQL dostop. Vendar, ker Panj temelji na Hadoop in MapReduce obstaja več ključnih razlik:
Ker je Hadoop namenjen dolgim zaporednim pregledovanjem in Panj temelji na Hadoop , pričakovali bi, da imajo poizvedbe zelo visoko zakasnitev. Pomeni to Panj ne bi bilo primerno za tiste aplikacije, ki potrebujejo zelo hiter odzivni čas, kot lahko pričakujete pri tradicionalni bazi podatkov RDBMS.
Končno, Panj temelji na branju in zato ni primeren za obdelavo transakcij, ki običajno vključuje visok odstotek pisalnih operacij.
podniz v primerih strežnika sql
Namestitev panj v Ubuntu:
Za namestitev sledite spodnjim korakom Apache panj na Ubuntu:
Korak 1: Prenesi Katrarski katran.
Ukaz: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
2. korak: Izvlecite katran mapa.
Ukaz: tar -xzf apache-hive-2.1.0-bin.tar.gz
Ukaz: ls
3. korak: Uredite '.Bashrc' datoteko za posodobitev spremenljivk okolja za uporabnika.
Ukaz: sudo gedit .bashrc
Na koncu datoteke dodajte naslednje:
# Nastavite HIVE_HOME
izvoz HIVE_HOME = / home / edureka / apache-hive-2.1.0-bin
izvoz POT = $ PATH: /home/edureka/apache-hive-2.1.0-bin/bin
Prepričajte se tudi, da je nastavljena tudi hadoop pot.
Zaženite spodnji ukaz, da spremembe delujejo v istem terminalu.
Ukaz: vir .bashrc
4. korak: Preverite različico panja.
razlika med hashmap in hashtable v javi
5. korak: Ustvari Panj v imenikih HDFS . Imenik 'skladišče' je mesto za shranjevanje tabele ali podatkov, povezanih s panjem.
Ukaz:
- hdfs dfs -mkdir -p / uporabnik / panj / skladišče
- hdfs dfs -mkdir / tmp
6. korak: Nastavite dovoljenja za branje / pisanje za tabelo.
Ukaz:
V tem ukazu skupini damo dovoljenje za pisanje:
- hdfs dfs -chmod g + w / uporabnik / panj / skladišče
- hdfs dfs -chmod g + w / tmp
7. korak: Nastavite Hadoop pot v h ive-env.sh
Ukaz: cd apache-hive-2.1.0-bin /
Ukaz: gedit conf / hive-env.sh
Nastavite parametre, kot je prikazano na spodnjem posnetku.
8. korak: Uredi hive-site.xml
Ukaz: gedit conf / hive-site.xml
javax.jdo.option.ConnectionURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = true JDBC povezovalni niz za JDBC metastore. Če želite za šifriranje / overjanje povezave uporabiti SSL, v URL povezave navedite zastavico SSL, specifično za bazo podatkov. Na primer, jdbc: postgresql: // myhost / db? Ssl = true za zbirko podatkov postgres. hive.metastore.warehouse.dir / uporabnik / panj / skladišče lokacija privzete baze podatkov za skladišče hive.metastore.uris Varčni URI za oddaljeno metastoro. Uporablja ga odjemalec metastore za povezavo z oddaljeno metastore. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Ime razreda gonilnika za JDBC metastore javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory razred
9. korak: Hive uporablja privzeto Derbi zbirke podatkov. Inicializirajte bazo podatkov Derby.
Ukaz: bin / schematool -initSchema -dbTerbi derbija
10. korak :Kosilo Panj.
Ukaz: panj
11. korak :Zaženite nekaj poizvedb v lupini Hive.
algoritmi strojnega učenja v r
Ukaz: prikaži zbirke podatkov
Ukaz: ustvari tabelo zaposlenega (niz niza, imenski niz, dept niz) polja vrstice ločena s formatom vrstice, ki se končajo z ‘‘ shranjeno kot besedilna datoteka
Ukaz: razstavne tabele
12. korak: Za izhod iz Panj:
Ukaz: izhod
Ko ste končali z namestitvijo Hive, je naslednji korak naprej preizkusiti ukaze Hive v lupini Hive. Zato je naš naslednji spletni dnevnik “ Najboljši ukazi za panj s primeri v HQL ”Vam bo pomagal obvladati ukaze Hive.
Sorodne objave: