Apache Hive Essentials

Author: Dayong Du
Publisher: Packt Publishing Ltd
ISBN: 9781782175056
Release Date: 2015-02-26
Genre: Computers

If you are a data analyst, developer, or simply someone who wants to use Hive to explore and analyze data in Hadoop, this is the book for you. Whether you are new to big data or an expert, with this book, you will be able to master both the basic and the advanced features of Hive. Since Hive is an SQL-like language, some previous experience with the SQL language and databases is useful to have a better understanding of this book.

Instant Apache Hive Essentials How To

Author: Darren Lee
Publisher: Packt Publishing Ltd
ISBN: 9781782169482
Release Date: 2013-06-03
Genre: Computers

Filled with practical, step-by-step instructions and clear explanations for the most important and useful tasks.This book provides quick recipes for using Hive to read data in various formats, efficiently querying this data, and extending Hive with any custom functions you may need to insert your own logic into the data pipeline.This book is written for data analysts and developers who want to use their current knowledge of SQL to be more productive with Hadoop. It assumes that readers are comfortable writing SQL queries and are familiar with Hadoop at the level of the classic WordCount example.

Apache Hive Cookbook

Author: Hanish Bansal
Publisher: Packt Publishing Ltd
ISBN: 9781782161097
Release Date: 2016-04-29
Genre: Computers

Easy, hands-on recipes to help you understand Hive and its integration with frameworks that are used widely in today's big data world About This Book Grasp a complete reference of different Hive topics. Get to know the latest recipes in development in Hive including CRUD operations Understand Hive internals and integration of Hive with different frameworks used in today's world. Who This Book Is For The book is intended for those who want to start in Hive or who have basic understanding of Hive framework. Prior knowledge of basic SQL command is also required What You Will Learn Learn different features and offering on the latest Hive Understand the working and structure of the Hive internals Get an insight on the latest development in Hive framework Grasp the concepts of Hive Data Model Master the key concepts like Partition, Buckets and Statistics Know how to integrate Hive with other frameworks such as Spark, Accumulo, etc In Detail Hive was developed by Facebook and later open sourced in Apache community. Hive provides SQL like interface to run queries on Big Data frameworks. Hive provides SQL like syntax also called as HiveQL that includes all SQL capabilities like analytical functions which are the need of the hour in today's Big Data world. This book provides you easy installation steps with different types of metastores supported by Hive. This book has simple and easy to learn recipes for configuring Hive clients and services. You would also learn different Hive optimizations including Partitions and Bucketing. The book also covers the source code explanation of latest Hive version. Hive Query Language is being used by other frameworks including spark. Towards the end you will cover integration of Hive with these frameworks. Style and approach Starting with the basics and covering the core concepts with the practical usage, this book is a complete guide to learn and explore Hive offerings.

Apache ZooKeeper Essentials

Author: Saurav Haloi
Publisher: Packt Publishing Ltd
ISBN: 9781784398323
Release Date: 2015-01-28
Genre: Computers

Whether you are a novice to ZooKeeper or already have some experience, you will be able to master the concepts of ZooKeeper and its usage with ease. This book assumes you to have some prior knowledge of distributed systems and high-level programming knowledge of C, Java, or Python, but no experience with Apache ZooKeeper is required.

HDInsight Essentials Second Edition

Author: Rajesh Nadipalli
Publisher: Packt Publishing Ltd
ISBN: 9781784396664
Release Date: 2015-01-27
Genre: Computers

If you want to discover one of the latest tools designed to produce stunning Big Data insights, this book features everything you need to get to grips with your data. Whether you are a data architect, developer, or a business strategist, HDInsight adds value in everything from development, administration, and reporting.

YARN Essentials

Author: Amol Fasale
Publisher: Packt Publishing Ltd
ISBN: 9781784397722
Release Date: 2015-02-24
Genre: Computers

If you have a working knowledge of Hadoop 1.x but want to start afresh with YARN, this book is ideal for you. You will be able to install and administer a YARN cluster and also discover the configuration settings to fine-tune your cluster both in terms of performance and scalability. This book will help you develop, deploy, and run multiple applications/frameworks on the same shared YARN cluster.

Hadoop Essentials

Author: Shiva Achari
Publisher: Packt Publishing Ltd
ISBN: 9781784390464
Release Date: 2015-04-29
Genre: Computers

If you are a system or application developer interested in learning how to solve practical problems using the Hadoop framework, then this book is ideal for you. This book is also meant for Hadoop professionals who want to find solutions to the different challenges they come across in their Hadoop projects.

Apache Oozie Essentials

Author: Jagat Jasjit Singh
Publisher: Packt Publishing Ltd
ISBN: 9781785888465
Release Date: 2015-12-11
Genre: Computers

Unleash the power of Apache Oozie to create and manage your big data and machine learning pipelines in one go About This Book Teaches you everything you need to know to get started with Apache Oozie from scratch and manage your data pipelines effortlessly Learn to write data ingestion workflows with the help of real-life examples from the author's own personal experience Embed Spark jobs to run your machine learning models on top of Hadoop Who This Book Is For If you are an expert Hadoop user who wants to use Apache Oozie to handle workflows efficiently, this book is for you. This book will be handy to anyone who is familiar with the basics of Hadoop and wants to automate data and machine learning pipelines. What You Will Learn Install and configure Oozie from source code on your Hadoop cluster Dive into the world of Oozie with Java MapReduce jobs Schedule Hive ETL and data ingestion jobs Import data from a database through Sqoop jobs in HDFS Create and process data pipelines with Pig, hive scripts as per business requirements. Run machine learning Spark jobs on Hadoop Create quick Oozie jobs using Hue Make the most of Oozie's security capabilities by configuring Oozie's security In Detail As more and more organizations are discovering the use of big data analytics, interest in platforms that provide storage, computation, and analytic capabilities is booming exponentially. This calls for data management. Hadoop caters to this need. Oozie fulfils this necessity for a scheduler for a Hadoop job by acting as a cron to better analyze data. Apache Oozie Essentials starts off with the basics right from installing and configuring Oozie from source code on your Hadoop cluster to managing your complex clusters. You will learn how to create data ingestion and machine learning workflows. This book is sprinkled with the examples and exercises to help you take your big data learning to the next level. You will discover how to write workflows to run your MapReduce, Pig ,Hive, and Sqoop scripts and schedule them to run at a specific time or for a specific business requirement using a coordinator. This book has engaging real-life exercises and examples to get you in the thick of things. Lastly, you'll get a grip of how to embed Spark jobs, which can be used to run your machine learning models on Hadoop. By the end of the book, you will have a good knowledge of Apache Oozie. You will be capable of using Oozie to handle large Hadoop workflows and even improve the availability of your Hadoop environment. Style and approach This book is a hands-on guide that explains Oozie using real-world examples. Each chapter is blended beautifully with fundamental concepts sprinkled in-between case study solution algorithms and topped off with self-learning exercises.

Hadoop for Finance Essentials

Author: Rajiv Tiwari
Publisher: Packt Publishing Ltd
ISBN: 9781784396329
Release Date: 2015-04-30
Genre: Computers

This book is perfect for developers, analysts, architects or managers who would like to perform big data analytics with Hadoop for the financial sector. This book is also helpful for technology professionals from other industry sectors who have recently switched or like to switch their business domain to financial sector. Familiarity with big data, Java programming, database and data warehouse, and business intelligence would be beneficial.

The Second Machine Age

Author: Andrew Mcafee
Publisher: Plassen Verlag
ISBN: 9783864702228
Release Date: 2014-10-01
Genre: Business & Economics

Computer sind mittlerweile so intelligent geworden, dass die nächste industrielle Revolution unmittelbar bevorsteht. Wer profitiert, wer verliert? Antworten auf diese Fragen bietet das neue Buch der Technologie-Profis Erik Brynjolfsson und Andrew McAfee. Seit Jahren arbeiten wir mit Computern - und Computer für uns. Mittlerweile sind die Maschinen so intelligent geworden, dass sie zu Leistungen fähig sind, die vor Kurzem noch undenkbar waren: Sie fahren Auto, sie schreiben eigene Texte - und sie besiegen Großmeister im Schach. Dieser Entwicklungssprung ist nur der Anfang. In ihrem neuen Buch zeigen zwei renommierte Professoren, welch atemberaubende Entwicklungen uns noch bevorstehen: Die zweite industrielle Revolution kommt! Welche Auswirkungen wird das haben? Welche Chancen winken, welche Risiken drohen? Was geschieht dabei mit den Menschen, was mit der Umwelt? Und was werden Gesellschaft und Politik tun, um die Auswirkungen dieser "neuen digitalen Intelligenz" für alle bestmöglich zu gestalten? Dieses Buch nimmt Sie mit auf eine Reise in eine Zukunft, die schon längst begonnen hat.

Hadoop 2 Quick Start Guide

Author: Douglas Eadline
Publisher: Addison-Wesley Professional
ISBN: 9780134049991
Release Date: 2015-10-28
Genre: Computers

Get Started Fast with Apache Hadoop® 2, YARN, and Today’s Hadoop Ecosystem With Hadoop 2.x and YARN, Hadoop moves beyond MapReduce to become practical for virtually any type of data processing. Hadoop 2.x and the Data Lake concept represent a radical shift away from conventional approaches to data usage and storage. Hadoop 2.x installations offer unmatched scalability and breakthrough extensibility that supports new and existing Big Data analytics processing methods and models. Hadoop® 2 Quick-Start Guide is the first easy, accessible guide to Apache Hadoop 2.x, YARN, and the modern Hadoop ecosystem. Building on his unsurpassed experience teaching Hadoop and Big Data, author Douglas Eadline covers all the basics you need to know to install and use Hadoop 2 on personal computers or servers, and to navigate the powerful technologies that complement it. Eadline concisely introduces and explains every key Hadoop 2 concept, tool, and service, illustrating each with a simple “beginning-to-end” example and identifying trustworthy, up-to-date resources for learning more. This guide is ideal if you want to learn about Hadoop 2 without getting mired in technical details. Douglas Eadline will bring you up to speed quickly, whether you’re a user, admin, devops specialist, programmer, architect, analyst, or data scientist. Coverage Includes Understanding what Hadoop 2 and YARN do, and how they improve on Hadoop 1 with MapReduce Understanding Hadoop-based Data Lakes versus RDBMS Data Warehouses Installing Hadoop 2 and core services on Linux machines, virtualized sandboxes, or clusters Exploring the Hadoop Distributed File System (HDFS) Understanding the essentials of MapReduce and YARN application programming Simplifying programming and data movement with Apache Pig, Hive, Sqoop, Flume, Oozie, and HBase Observing application progress, controlling jobs, and managing workflows Managing Hadoop efficiently with Apache Ambari–including recipes for HDFS to NFSv3 gateway, HDFS snapshots, and YARN configuration Learning basic Hadoop 2 troubleshooting, and installing Apache Hue and Apache Spark

Spring im Einsatz

Author: Craig Walls
Publisher: Carl Hanser Verlag GmbH Co KG
ISBN: 9783446429468
Release Date: 2012-01-12
Genre: Computers

SPRING IM EINSATZ // - Spring 3.0 auf den Punkt gebracht: Die zentralen Konzepte anschaulich und unterhaltsam erklärt. - Praxis-Know-how für den Projekteinsatz: Lernen Sie Spring mit Hilfe der zahlreichen Codebeispiele aktiv kennen. - Im Internet: Der vollständige Quellcode für die Applikationen dieses Buches Das Spring-Framework gehört zum obligatorischen Grundwissen eines Java-Entwicklers. Spring 3 führt leistungsfähige neue Features wie die Spring Expression Language (SpEL), neue Annotationen für IoC-Container und den lang ersehnten Support für REST ein. Es gibt keinen besseren Weg, um sich Spring anzueignen, als dieses Buch - egal ob Sie Spring gerade erst entdecken oder sich mit den neuen 3.0-Features vertraut machen wollen. Craig Walls setzt in dieser gründlich überarbeiteten 2. Auflage den anschaulichen und praxisorientierten Stil der Vorauflage fort. Er bringt als Autor sein Geschick für treffende und unterhaltsame Beispiele ein, die das Augenmerk direkt auf die Features und Techniken richten, die Sie wirklich brauchen. Diese Auflage hebt die wichtigsten Aspekte von Spring 3.0 hervor: REST, Remote-Services, Messaging, Security, MVC, Web Flow und vieles mehr. Das finden Sie in diesem Buch: - Die Arbeit mit Annotationen, um die Konfiguration zu reduzieren - Die Arbeit mit REST-konformen Ressourcen - Spring Expression Language (SpEL) - Security, Web Flow usw. AUS DEM INHALT: Spring ins kalte Wasser, Verschalten von Beans, Die XML-Konfiguration in Spring minimalisieren, Aspektorientierung, Zugriff auf die Datenbank, Transaktionen verwalten, Webapplikationen mit Spring MVC erstellen, Die Arbeit mit Spring Web Flow, Spring absichern, Die Arbeit mit Remote-Diensten, Spring und REST, Messaging in Spring, Verwalten von Spring-Beans mit JMX

Big Data in der Praxis

Author: Jonas Freiknecht
Publisher:
ISBN: 3446439595
Release Date: 2014-10-01
Genre: Apache Hadoop

- Für Analysten, BI-Verantwortliche, Data-Scientists, Consultants - Auf der DVD finden Sie: 18 fertige Projekte, die im Buch Schritt für Schritt entwickelt werden; Videotutorials u.a. zur Installation von Hadoop, Hive, HBase (Gesamtdauer: 80 Min.); Testdatensätze für die Wissensdatenbank - Dieses Buch bringt Ihnen das Thema Big Data auf sehr praktische Art und Weise nahe. Sie lernen Technologien, Tools und Methoden kennen, entwickeln Beispiel-Lösungen und bekommen aufgezeigt, wie Sie bestehende Systeme vorausschauend auf die mit dem Big Data-Trend einhergehenden Herausforderungen vorbereiten. Dazu werden Sie neben den bekannten Apache-Projekten wie Hadoop, Hive und HBase auch einige weniger bekannte Frameworks wie Apache UIMA oder Apache OpenNLP kennenlernen, um gezielt die Verarbeitung unstrukturierter Daten zu behandeln. Alle hier verwendeten Software-Komponenten stehen im vollen Umfang kostenlos im Internet zur Verfügung. Gemeinsam mit dem Autor werden Sie ganz konkret Schritt für Schritt viele kleinere Projekte aufbauen bis hin zu einer fertigen und funktionstüchtigen Implementierung. Ziel des Buches ist es, Sie auf den Effekt und den Mehrwert der neuen Möglichkeiten aufmerksam zu machen, sodass Sie diese konstruktiv in Ihr Unternehmen tragen können und für sich und Ihre Kollegen somit ein Bewusstsein für den Wert Ihrer Daten schaffen. AUS DEM INHALT // Einführung rund um Big Data // Hadoop installieren, konfigurieren & bedienen // HDFS, Map-Reduce & YARN: Daten speichern und verarbeiten // Hadoop-Ecosystem: Überblick über dessen Komponenten // Einführung in NoSQL // HBase installieren, einrichten & auf Daten zugreifen // Data-Warehousing mit Apache Hive // HiveQL als Abfragesprache, Hive Security, Hive & JDBC // Datenimport aus relationalen Datenbanken mit Sqoop // Big Data-Visualisierung: Diagrammarten, Tipps & Trends // Visualisierungs-Frameworks im Vergleich // D3.js: Entwicklung einiger Beispieldiagramme.

Simulation adaptiver Agenten mittels lernender Klassifizierersysteme

Author: Thorsten Luedtke
Publisher: diplom.de
ISBN: 9783836633031
Release Date: 2009-07-19
Genre: Computers

Inhaltsangabe:Einleitung: Klassifizierersysteme sind lernende Systeme, die eine Menge von internen Strukturen hinsichtlich der Anforderungen des Umsystems zielgerichtet manipulieren. Traditionell wurden Klassifizierersysteme, die maschinelle Lernalgorithmen verwenden, als lernende Klassifizierersysteme (Learning Classifier Systems) bezeichnet, um sie von solchen zu unterscheiden, die ähnlich einem Expertensystem nur durch manuelle Programmierung sinnvolle Ausgaben liefern können. Dieser Konvention wird in der zugrundeliegenden Arbeit nicht gefolgt. Statt dessen wird der Terminus Klassifizierersystem vereinfachend für die Originalbezeichnung Learning Classifier System gebraucht. Die theoretische Grundlage der Klassifizierersysteme bildet die Theorie kognitiver Landkarten (cognitive maps) aus der Psychologie. Nach MICHAEL G. WESSELLS besteht das Organisationsprinzip, nach dem der Mensch seine Begriffswelt ordnet, in der Kategorisierung des eintreffenden Informationsstromes. Dem Prozeß der Kategorienbildung liegen Generalisierungs- und Differenzierungsvorgänge zugrunde. Dabei werden unterschiedliche Objekte als Elemente einer Kategorie erkannt, wenn sie gemeinsame Merkmale aufweisen. Von irrelevanten Unterschieden zwischen den Objekten wird durch Generalisierung abgesehen. In Klassifizierersystemen werden diese Kategorien durch Klassifizierer modelliert. Klassifizierer sind Regeln mit einem Gültigkeitsbereich, der sich mit denen anderer Klassifizierer überlappen kann, so daß im konkreten Fall zwischen allgemeinen und situations-spezifischen Regeln entschieden werden muß. Das Prinzip der Wissensaquisition in Klassifizierersystemen wird als verstärkendes Lernen (reinforcement learning) bezeichnet. Das System benötigt zum Lernen keine Vorgaben im Sinne von korrekten Aktionen als Reaktion auf eine vorliegende Situation. Statt dessen ist lediglich ein Feedback in der Form eines einzelnen Parameters notwendig. Die Klassifizierer werden durch Induktionsmechanismen erlernt und können laufend verändert werden, ohne die Systemleistung zu beeinträchtigen. Jeder Klassifizierer stellt eine situationsabhängige Erwartung hinsichtlich zukünftiger Ereignisse dar. Somit bildet sich im System ein Modell der Umwelt, welches den Änderungen der Umwelt laufend angepaßt wird. Diese Eigenschaften und die Problemunabhängigkeit des Lernmechanismus haben Wirtschaftswissenschaftler dazu veranlaßt, den homo oeconomicus neoklassischer Modelle durch adaptive [...]

Operationsatlas Laparoskopische Chirurgie

Author: Thomas Carus
Publisher: Springer-Verlag
ISBN: 9783642312465
Release Date: 2014-01-02
Genre: Medical

In dem Buch sind alle relevanten Verfahren der laparoskopischen Chirurgie beschrieben: mit detaillierten Anleitungen und Farbfotografien zu jedem Operationsschritt, prägnanten Informationen zu Indikation, Operationsvorbereitung und Nachsorge. Auch Single-Port-Verfahren, Operationsvarianten, technische Besonderheiten sowie spezielle Komplikationen und ihre Therapie werden berücksichtigt. Die 3. Auflage enthält zusätzliche Abbildungen, sie wurde aktualisiert und um Abschnitte zur Versorgung von Narbenhernien und zu neuen OP-Verfahren erweitert.