Hadoop: The Definitive Guide


Author: Tom White
Publisher: "O'Reilly Media, Inc."
ISBN: 1449338771
Category: Computers
Page: 688
View: 5111

Continue Reading →

Ready to unlock the power of your data? With this comprehensive guide, you’ll learn how to build and maintain reliable, scalable, distributed systems with Apache Hadoop. This book is ideal for programmers looking to analyze datasets of any size, and for administrators who want to set up and run Hadoop clusters. You’ll find illuminating case studies that demonstrate how Hadoop is used to solve specific problems. This third edition covers recent changes to Hadoop, including material on the new MapReduce API, as well as MapReduce 2 and its more flexible execution model (YARN). Store large datasets with the Hadoop Distributed File System (HDFS) Run distributed computations with MapReduce Use Hadoop’s data and I/O building blocks for compression, data integrity, serialization (including Avro), and persistence Discover common pitfalls and advanced features for writing real-world MapReduce programs Design, build, and administer a dedicated Hadoop cluster—or run Hadoop in the cloud Load data from relational databases into HDFS, using Sqoop Perform large-scale data processing with the Pig query language Analyze datasets with Hive, Hadoop’s data warehousing system Take advantage of HBase for structured and semi-structured data, and ZooKeeper for building distributed systems

Big Data in der Praxis

Beispiellösungen mit Hadoop und NoSQL. Daten speichern, aufbereiten, visualisieren
Author: Jonas Freiknecht
Publisher: Carl Hanser Verlag GmbH Co KG
ISBN: 3446441778
Category: Computers
Page: 448
View: 6969

Continue Reading →

BIG DATA IN DER PRAXIS // - Für Analysten, BI-Verantwortliche, Data-Scientists, Consultants - Auf der DVD finden Sie: 18 fertige Projekte, die im Buch Schritt für Schritt entwickelt werden; Videotutorials u.a. zur Installation von Hadoop, Hive, HBase (Gesamtdauer: 80 Min.); Testdatensätze für die Wissensdatenbank Dieses Buch bringt Ihnen das Thema Big Data auf sehr praktische Art und Weise nahe. Sie lernen Technologien, Tools und Methoden kennen, entwickeln Beispiel-Lösungen und bekommen aufgezeigt, wie Sie bestehende Systeme vorausschauend auf die mit dem Big Data-Trend einhergehenden Herausforderungen vorbereiten. Dazu werden Sie neben den bekannten Apache-Projekten wie Hadoop, Hive und HBase auch einige weniger bekannte Frameworks wie Apache UIMA oder Apache OpenNLP kennenlernen, um gezielt die Verarbeitung unstrukturierter Daten zu behandeln. Alle hier verwendeten Software-Komponenten stehen im vollen Umfang kostenlos im Internet zur Verfügung. Gemeinsam mit dem Autor werden Sie ganz konkret Schritt für Schritt viele kleinere Projekte aufbauen bis hin zu einer fertigen und funktionstüchtigen Implementierung. Ziel des Buches ist es, Sie auf den Effekt und den Mehrwert der neuen Möglichkeiten aufmerksam zu machen, sodass Sie diese konstruktiv in Ihr Unternehmen tragen können und für sich und Ihre Kollegen somit ein Bewusstsein für den Wert Ihrer Daten schaffen. AUS DEM INHALT // Einführung rund um Big Data // Hadoop installieren, konfigurieren & bedienen // HDFS, Map-Reduce & YARN: Daten speichern und verarbeiten // Hadoop-Ecosystem: Überblick über dessen Komponenten // Einführung in NoSQL // HBase installieren, einrichten & auf Daten zugreifen // Data-Warehousing mit Apache Hive // HiveQL als Abfragesprache, Hive Security, Hive & JDBC // Datenimport aus relationalen Datenbanken mit Sqoop // Big Data-Visualisierung: Diagrammarten, Tipps & Trends // Visualisierungs-Frameworks im Vergleich // D3.js: Entwicklung einiger Beispieldiagramme // Entwicklung einer abschließenden Big Data-Analyse-Lösung // Troubleshooting für die Arbeit mit Hadoop, Hive & HBase

Java EE kurz & gut


Author: Arun Gupta
Publisher: O'Reilly Germany
ISBN: 3868999590
Category: Computers
Page: 208
View: 3201

Continue Reading →

Sie möchten die Schlüsselspezifikationen der Java EE 6-Plattform schnell und unkompliziert kennenlernen? Dann ist dieses Taschenbuch genau das Richtige für Sie. Es bietet einen Überblick über die wichtigsten Technologien, die auf der Plattform eingesetzt werden, sowie leicht verständliche Codebeispiele, die Ihnen demonstrieren, wie Java EE 6 die Entwicklung von Web- und Enterprise-Anwendungen drastisch vereinfacht. - Verstehen, wie die Java EE 6-Features mit Design Patterns in Web- und Enterprise-Anwendungen zusammenhängen - Die nötigen Spezifikationen finden, um die eigene Anwendung Java EE-fähig zu machen - Neuerungen bei Enterprise JavaBeans (EJB), JavaServer Faces (JSF) und anderen Komponenten kennenlernen - Java EE 6-Web Profile entdecken, die den früheren "One Size Fits All"-Ansatz ersetzen - Die Contexts and Dependancy Interjection (CDI) und die Java API für RESTful Webservices einsetzen - Die Java EE-Entwicklung mit Netbeans und GlassFish starten

Big Data

Die Revolution, die unser Leben verändern wird
Author: Viktor Mayer-Schönberger,Viktor; Cukier Mayer-Schönberger
Publisher: Redline Wirtschaft
ISBN: 3864144590
Category: Political Science
Page: 288
View: 7356

Continue Reading →

Ob Kaufverhalten, Grippewellen oder welche Farbe am ehesten verrät, ob ein Gebrauchtwagen in einem guten Zustand ist – noch nie gab es eine solche Menge an Daten und noch nie bot sich die Chance, durch Recherche und Kombination in der Daten¬flut blitzschnell Zusammenhänge zu entschlüsseln. Big Data bedeutet nichts weniger als eine Revolution für Gesellschaft, Wirtschaft und Politik. Es wird die Weise, wie wir über Gesundheit, Erziehung, Innovation und vieles mehr denken, völlig umkrempeln. Und Vorhersagen möglich machen, die bisher undenkbar waren. Die Experten Viktor Mayer-Schönberger und Kenneth Cukier beschreiben in ihrem Buch, was Big Data ist, welche Möglichkeiten sich eröffnen, vor welchen Umwälzungen wir alle stehen – und verschweigen auch die dunkle Seite wie das Ausspähen von persönlichen Daten und den drohenden Verlust der Privatsphäre nicht.

Programmieren mit C# 3.0


Author: Jesse Liberty,Donald Xie,Thomas Demming
Publisher: O'Reilly Germany
ISBN: 3897218593
Category: C# (Computer program language)
Page: 612
View: 9183

Continue Reading →

C - kurz & gut


Author: Peter Prinz,Ulla Kirch-Prinz
Publisher: O'Reilly Germany
ISBN: 9783897212381
Category: C (Computer program language)
Page: 120
View: 9131

Continue Reading →

C - kurz & gut besteht aus zwei Teilen: einer kompakten Beschreibung der Sprache und einer thematisch strukturierten Referenz zur Standardbibliothek. Die Darstellung der Sprache basiert auf dem ANSI-Standard und geht auch auf die Erweiterungen im neuen Standard von 1999 (kurz ANSI C99) ein. Die darin eingefuhrten neuen Datentypen, Funktionen und Makros sind zur besseren Orientierung immer gekennzeichnet, da diese Erweiterungen noch nicht bei allen C-Compilern implementiert sind. Ein knapper Index hilft beim Finden der Funktionen, Typen und anderer Syntax-Elemente. Aus dem Inhalt: Grundlagen Datentypen Ausdrucke und Operatoren Anweisungen Deklarationen Funktionen Praprozessor-Direktiven Die Standardbibliothek"

Data Science für Dummies


Author: Lillian Pierson
Publisher: John Wiley & Sons
ISBN: 352780675X
Category: Mathematics
Page: 382
View: 2273

Continue Reading →

Daten, Daten, Daten ?, Sie haben schon Kenntnisse in Excel und Statistik, wissen aber noch nicht, wie all die Datensï¿1⁄2tze helfen sollen, bessere Entscheidungen zu treffen? Von Lillian Pierson bekommen Sie das dafï¿1⁄2r notwendige Handwerkszeug: Bauen Sie Ihre Kenntnisse in Statistik, Programmierung und Visualisierung aus. Nutzen Sie Python, R, SQL, Excel und KNIME. Zahlreiche Beispiele veranschaulichen die vorgestellten Methoden und Techniken. So kï¿1⁄2nnen Sie die Erkenntnisse dieses Buches auf Ihre Daten ï¿1⁄2bertragen und aus deren Analyse unmittelbare Schlï¿1⁄2sse und Konsequenzen ziehen.

HBase

The Definitive Guide
Author: Lars George
Publisher: "O'Reilly Media, Inc."
ISBN: 1449396100
Category: Computers
Page: 522
View: 6453

Continue Reading →

If your organization is looking for a storage solution to accommodate a virtually endless amount of data, this book will show you how Apache HBase can fulfill your needs. As the open source implementation of Google's BigTable architecture, HBase scales to billions of rows and millions of columns, while ensuring that write and read performance remain constant.HBase: The Definitive Guideprovides the details you require, whether you simply want to evaluate this high-performance, non-relational database, or put it into practice right away. HBase's adoption rate is beginning to climb, and several IT executives are asking pointed questions about this high-capacity database. This is the only book available to give you meaningful answers. Learn how to distribute large datasets across an inexpensive cluster of commodity servers Develop HBase clients in many programming languages, including Java, Python, and Ruby Get details on HBase's primary storage system, HDFS—Hadoop’s distributed and replicated filesystem Learn how HBase's native interface to Hadoop’s MapReduce framework enables easy development and execution of batch jobs that can scan entire tables Discover the integration between HBase and other facets of the Apache Hadoop project

Mehr Hacking mit Python

Eigene Tools entwickeln für Hacker und Pentester
Author: Justin Seitz
Publisher: dpunkt.verlag
ISBN: 3864917530
Category: Computers
Page: 182
View: 5674

Continue Reading →

Wenn es um die Entwicklung leistungsfähiger und effizienter Hacking-Tools geht, ist Python für die meisten Sicherheitsanalytiker die Sprache der Wahl. Doch wie genau funktioniert das? In dem neuesten Buch von Justin Seitz - dem Autor des Bestsellers »Hacking mit Python« - entdecken Sie Pythons dunkle Seite. Sie entwickeln Netzwerk-Sniffer, manipulieren Pakete, infizieren virtuelle Maschinen, schaffen unsichtbare Trojaner und vieles mehr. Sie lernen praktisch, wie man • einen »Command-and-Control«-Trojaner mittels GitHub schafft • Sandboxing erkennt und gängige Malware-Aufgaben wie Keylogging und Screenshotting automatisiert • Windows-Rechte mittels kreativer Prozesskontrolle ausweitet • offensive Speicherforensik-Tricks nutzt, um Passwort-Hashes abzugreifen und Shellcode in virtuelle Maschinen einzuspeisen • das beliebte Web-Hacking-Tool Burp erweitert • die Windows COM-Automatisierung nutzt, um einen Man-in-the-Middle-Angriff durchzuführen • möglichst unbemerkt Daten aus einem Netzwerk abgreift Eine Reihe von Insider-Techniken und kreativen Aufgaben zeigen Ihnen, wie Sie die Hacks erweitern und eigene Exploits entwickeln können.

Practical Hadoop Ecosystem

A Definitive Guide to Hadoop-Related Frameworks and Tools
Author: Deepak Vohra
Publisher: Apress
ISBN: 1484221990
Category: Computers
Page: 421
View: 2120

Continue Reading →

Learn how to use the Apache Hadoop projects, including MapReduce, HDFS, Apache Hive, Apache HBase, Apache Kafka, Apache Mahout, and Apache Solr. From setting up the environment to running sample applications each chapter in this book is a practical tutorial on using an Apache Hadoop ecosystem project. While several books on Apache Hadoop are available, most are based on the main projects, MapReduce and HDFS, and none discusses the other Apache Hadoop ecosystem projects and how they all work together as a cohesive big data development platform. What You Will Learn: Set up the environment in Linux for Hadoop projects using Cloudera Hadoop Distribution CDH 5 Run a MapReduce job Store data with Apache Hive, and Apache HBase Index data in HDFS with Apache Solr Develop a Kafka messaging system Stream Logs to HDFS with Apache Flume Transfer data from MySQL database to Hive, HDFS, and HBase with Sqoop Create a Hive table over Apache Solr Develop a Mahout User Recommender System Who This Book Is For: Apache Hadoop developers. Pre-requisite knowledge of Linux and some knowledge of Hadoop is required.

Die Berechnung der Zukunft

Warum die meisten Prognosen falsch sind und manche trotzdem zutreffen - Der New York Times Bestseller
Author: Nate Silver
Publisher: Heyne Verlag
ISBN: 3641112702
Category: Business & Economics
Page: 656
View: 5433

Continue Reading →

Zuverlässige Vorhersagen sind doch möglich! Nate Silver ist der heimliche Gewinner der amerikanischen Präsidentschaftswahlen 2012: ein begnadeter Statistiker, als »Prognose-Popstar« und »Wundernerd« weltberühmt geworden. Er hat die Wahlergebnisse aller 50 amerikanischen Bundesstaaten absolut exakt vorausgesagt – doch damit nicht genug: Jetzt zeigt Nate Silver, wie seine Prognosen in Zukunft Terroranschläge, Umweltkatastrophen und Finanzkrisen verhindern sollen. Gelingt ihm die Abschaffung des Zufalls? Warum werden Wettervorhersagen immer besser, während die Terrorattacken vom 11.09.2001 niemand kommen sah? Warum erkennen Ökonomen eine globale Finanzkrise nicht einmal dann, wenn diese bereits begonnen hat? Das Problem ist nicht der Mangel an Informationen, sondern dass wir die verfügbaren Daten nicht richtig deuten. Zuverlässige Prognosen aber würden uns helfen, Zufälle und Ungewissheiten abzuwehren und unser Schicksal selbst zu bestimmen. Nate Silver zeigt, dass und wie das geht. Erstmals wendet er seine Wahrscheinlichkeitsrechnung nicht nur auf Wahlprognosen an, sondern auf die großen Probleme unserer Zeit: die Finanzmärkte, Ratingagenturen, Epidemien, Erdbeben, den Klimawandel, den Terrorismus. In all diesen Fällen gibt es zahlreiche Prognosen von Experten, die er überprüft – und erklärt, warum sie meist falsch sind. Gleichzeitig schildert er, wie es gelingen kann, im Rauschen der Daten die wesentlichen Informationen herauszufiltern. Ein unterhaltsamer und spannender Augenöffner!

Spark: The Definitive Guide

Big Data Processing Made Simple
Author: Bill Chambers,Matei Zaharia
Publisher: "O'Reilly Media, Inc."
ISBN: 1491912294
Category: Computers
Page: 606
View: 1367

Continue Reading →

Learn how to use, deploy, and maintain Apache Spark with this comprehensive guide, written by the creators of the open-source cluster-computing framework. With an emphasis on improvements and new features in Spark 2.0, authors Bill Chambers and Matei Zaharia break down Spark topics into distinct sections, each with unique goals. You’ll explore the basic operations and common functions of Spark’s structured APIs, as well as Structured Streaming, a new high-level API for building end-to-end streaming applications. Developers and system administrators will learn the fundamentals of monitoring, tuning, and debugging Spark, and explore machine learning techniques and scenarios for employing MLlib, Spark’s scalable machine-learning library. Get a gentle overview of big data and Spark Learn about DataFrames, SQL, and Datasets—Spark’s core APIs—through worked examples Dive into Spark’s low-level APIs, RDDs, and execution of SQL and DataFrames Understand how Spark runs on a cluster Debug, monitor, and tune Spark clusters and applications Learn the power of Structured Streaming, Spark’s stream-processing engine Learn how you can apply MLlib to a variety of problems, including classification or recommendation

Android-Programmierung


Author: Zigurd Mednieks,Laird Dornin,G. Blake Meike,Masumi Nakamura
Publisher: O'Reilly Germany
ISBN: 3955611418
Category:
Page: 624
View: 4712

Continue Reading →

Android hat hierzulande die einstige Vorreiterstellung von Apple langst geknackt. Bei den Smartphones liegt das Betriebssystem von Google weit vorn, und auch bei den Tablets holt Android zugig auf. Zeit also, sich mit der App-Entwicklung fur Android zu beschaftigen! Dieses Buch wendet sich an Leser, die die Programmierung von Android-Apps von Grund auf lernen und auf professionellem Niveau betreiben mochten. Es richtet sich an Java-Entwickler und Leser mit Kenntnissen in einer anderen objektorientierten Sprache.

HBase: The Definitive Guide

Random Access to Your Planet-Size Data
Author: Lars George
Publisher: "O'Reilly Media, Inc."
ISBN: 1449315224
Category: Computers
Page: 556
View: 8406

Continue Reading →

If you're looking for a scalable storage solution to accommodate a virtually endless amount of data, this book shows you how Apache HBase can fulfill your needs. As the open source implementation of Google's BigTable architecture, HBase scales to billions of rows and millions of columns, while ensuring that write and read performance remain constant. Many IT executives are asking pointed questions about HBase. This book provides meaningful answers, whether you’re evaluating this non-relational database or planning to put it into practice right away. Discover how tight integration with Hadoop makes scalability with HBase easier Distribute large datasets across an inexpensive cluster of commodity servers Access HBase with native Java clients, or with gateway servers providing REST, Avro, or Thrift APIs Get details on HBase’s architecture, including the storage format, write-ahead log, background processes, and more Integrate HBase with Hadoop's MapReduce framework for massively parallelized data processing jobs Learn how to tune clusters, design schemas, copy tables, import bulk data, decommission nodes, and many other tasks

MapReduce Design Patterns

Building Effective Algorithms and Analytics for Hadoop and Other Systems
Author: Donald Miner,Adam Shook
Publisher: "O'Reilly Media, Inc."
ISBN: 1449341985
Category: Computers
Page: 250
View: 3555

Continue Reading →

Until now, design patterns for the MapReduce framework have been scattered among various research papers, blogs, and books. This handy guide brings together a unique collection of valuable MapReduce patterns that will save you time and effort regardless of the domain, language, or development framework you’re using. Each pattern is explained in context, with pitfalls and caveats clearly identified to help you avoid common design mistakes when modeling your big data architecture. This book also provides a complete overview of MapReduce that explains its origins and implementations, and why design patterns are so important. All code examples are written for Hadoop. Summarization patterns: get a top-level view by summarizing and grouping data Filtering patterns: view data subsets such as records generated from one user Data organization patterns: reorganize data to work with other systems, or to make MapReduce analysis easier Join patterns: analyze different datasets together to discover interesting relationships Metapatterns: piece together several patterns to solve multi-stage problems, or to perform several analytics in the same job Input and output patterns: customize the way you use Hadoop to load or store data "A clear exposition of MapReduce programs for common data processing patterns—this book is indespensible for anyone using Hadoop." --Tom White, author of Hadoop: The Definitive Guide

MongoDB

Der praktischer Einstieg
Author: Tobias Trelle
Publisher: N.A
ISBN: 9783864901539
Category: Electronic books
Page: 278
View: 4644

Continue Reading →

MongoDB ist die derzeit populärste dokumentenorientierte Datenbank im NoSQL-Bereich. Während klassische Datenbankmanagementsysteme bei großen Datenmengen an Skalierungs- und Leistungsgrenzen stoßen, kann MongoDB auch im Petabyte-Bereich und darüber noch effizient arbeiten und bietet viele Features, die die Verarbeitung von Big Data erleichtern. Kompakt und anhand von zahlreichen Beispielen führt Sie dieses Buch in die Nutzung von MongoDB ein. Es beginnt mit einem Schnellstart, in dem Sie MongoDB installieren und erste Erfahrungen im Umgang mit semistrukturierten Daten und den Vorteilen der S...

Professional Hadoop Solutions


Author: Boris Lublinsky,Kevin T. Smith,Alexey Yakubovich
Publisher: John Wiley & Sons
ISBN: 1118824180
Category: Computers
Page: 504
View: 4390

Continue Reading →

The go-to guidebook for deploying Big Data solutions with Hadoop Today's enterprise architects need to understand how the Hadoop frameworks and APIs fit together, and how they can be integrated to deliver real-world solutions. This book is a practical, detailed guide to building and implementing those solutions, with code-level instruction in the popular Wrox tradition. It covers storing data with HDFS and Hbase, processing data with MapReduce, and automating data processing with Oozie. Hadoop security, running Hadoop with Amazon Web Services, best practices, and automating Hadoop processes in real time are also covered in depth. With in-depth code examples in Java and XML and the latest on recent additions to the Hadoop ecosystem, this complete resource also covers the use of APIs, exposing their inner workings and allowing architects and developers to better leverage and customize them. The ultimate guide for developers, designers, and architects who need to build and deploy Hadoop applications Covers storing and processing data with various technologies, automating data processing, Hadoop security, and delivering real-time solutions Includes detailed, real-world examples and code-level guidelines Explains when, why, and how to use these tools effectively Written by a team of Hadoop experts in the programmer-to-programmer Wrox style Professional Hadoop Solutions is the reference enterprise architects and developers need to maximize the power of Hadoop.