Apache Hadoop YARN

Author: Arun Murthy
Publisher: Addison-Wesley Professional
ISBN: 9780133441918
Release Date: 2014-03-14
Genre: Computers

“This book is a critically needed resource for the newly released Apache Hadoop 2.0, highlighting YARN as the significant breakthrough that broadens Hadoop beyond the MapReduce paradigm.” —From the Foreword by Raymie Stata, CEO of Altiscale The Insider’s Guide to Building Distributed, Big Data Applications with Apache Hadoop™ YARN Apache Hadoop is helping drive the Big Data revolution. Now, its data processing has been completely overhauled: Apache Hadoop YARN provides resource management at data center scale and easier ways to create distributed applications that process petabytes of data. And now in Apache Hadoop™ YARN, two Hadoop technical leaders show you how to develop new applications and adapt existing code to fully leverage these revolutionary advances. YARN project founder Arun Murthy and project lead Vinod Kumar Vavilapalli demonstrate how YARN increases scalability and cluster utilization, enables new programming models and services, and opens new options beyond Java and batch processing. They walk you through the entire YARN project lifecycle, from installation through deployment. You’ll find many examples drawn from the authors’ cutting-edge experience—first as Hadoop’s earliest developers and implementers at Yahoo! and now as Hortonworks developers moving the platform forward and helping customers succeed with it. Coverage includes YARN’s goals, design, architecture, and components—how it expands the Apache Hadoop ecosystem Exploring YARN on a single node Administering YARN clusters and Capacity Scheduler Running existing MapReduce applications Developing a large-scale clustered YARN application Discovering new open source frameworks that run under YARN

Big Data and High Performance Computing

Author: L. Grandinetti
Publisher: IOS Press
ISBN: 9781614995838
Release Date: 2015-10-20
Genre: Computers

Big Data has been much in the news in recent years, and the advantages conferred by the collection and analysis of large datasets in fields such as marketing, medicine and finance have led to claims that almost any real world problem could be solved if sufficient data were available. This is of course a very simplistic view, and the usefulness of collecting, processing and storing large datasets must always be seen in terms of the communication, processing and storage capabilities of the computing platforms available. This book presents papers from the International Research Workshop, Advanced High Performance Computing Systems, held in Cetraro, Italy, in July 2014. The papers selected for publication here discuss fundamental aspects of the definition of Big Data, as well as considerations from practice where complex datasets are collected, processed and stored. The concepts, problems, methodologies and solutions presented are of much more general applicability than may be suggested by the particular application areas considered. As a result the book will be of interest to all those whose work involves the processing of very large data sets, exascale computing and the emerging fields of data science

Big Data Processing With Hadoop

Author: Revathi, T.
Publisher: IGI Global
ISBN: 9781522537915
Release Date: 2018-11-16
Genre: Computers

Due to the increasing availability of affordable internet services, the number of users, and the need for a wider range of multimedia-based applications, internet usage is on the rise. With so many users and such a large amount of data, the requirements of analyzing large data sets leads to the need for further advancements to information processing. Big Data Processing With Hadoop is an essential reference source that discusses possible solutions for millions of users working with a variety of data applications, who expect fast turnaround responses, but encounter issues with processing data at the rate it comes in. Featuring research on topics such as market basket analytics, scheduler load simulator, and writing YARN applications, this book is ideally designed for IoT professionals, students, and engineers seeking coverage on many of the real-world challenges regarding big data.

Machine Learning

Author: Jason Bell
Publisher: John Wiley & Sons
ISBN: 9781118889060
Release Date: 2014-11-03
Genre: Mathematics


Practical Data Science with Hadoop and Spark

Author: Ofer Mendelevitch
Publisher: Addison-Wesley Professional
ISBN: 9780134029726
Release Date: 2016-12-08
Genre: Computers

The Complete Guide to Data Science with Hadoop—For Technical Professionals, Businesspeople, and Students Demand is soaring for professionals who can solve real data science problems with Hadoop and Spark. Practical Data Science with Hadoop® and Spark is your complete guide to doing just that. Drawing on immense experience with Hadoop and big data, three leading experts bring together everything you need: high-level concepts, deep-dive techniques, real-world use cases, practical applications, and hands-on tutorials. The authors introduce the essentials of data science and the modern Hadoop ecosystem, explaining how Hadoop and Spark have evolved into an effective platform for solving data science problems at scale. In addition to comprehensive application coverage, the authors also provide useful guidance on the important steps of data ingestion, data munging, and visualization. Once the groundwork is in place, the authors focus on specific applications, including machine learning, predictive modeling for sentiment analysis, clustering for document analysis, anomaly detection, and natural language processing (NLP). This guide provides a strong technical foundation for those who want to do practical data science, and also presents business-driven guidance on how to apply Hadoop and Spark to optimize ROI of data science initiatives. Learn What data science is, how it has evolved, and how to plan a data science career How data volume, variety, and velocity shape data science use cases Hadoop and its ecosystem, including HDFS, MapReduce, YARN, and Spark Data importation with Hive and Spark Data quality, preprocessing, preparation, and modeling Visualization: surfacing insights from huge data sets Machine learning: classification, regression, clustering, and anomaly detection Algorithms and Hadoop tools for predictive modeling Cluster analysis and similarity functions Large-scale anomaly detection NLP: applying data science to human language

Programmieren mit Scala

Author: Dean Wampler
Publisher: O'Reilly Germany
ISBN: 9783897216488
Release Date: 2010-10-31
Genre: Computers

Sie ist elegant, schlank, modern und flexibel: Die Rede ist von Scala, der neuen Programmiersprache für die Java Virtual Machine (JVM). Sie vereint die Vorzüge funktionaler und objektorientierter Programmierung, ist typsicherer als Java, lässt sich nahtlos in die Java-Welt integrieren – und eine in Scala entwickelte Anwendung benötigt oft nur einen Bruchteil der Codezeilen ihres Java-Pendants. Kein Wunder, dass immer mehr Firmen, deren große, geschäftskritische Anwendungen auf Java basieren, auf Scala umsteigen, um ihre Produktivität und die Skalierbarkeit ihrer Software zu erhöhen. Das wollen Sie auch? Dann lassen Sie sich von den Scala-Profis Dean Wampler und Alex Payne zeigen, wie es geht. Ihre Werkzeugkiste: Schon bevor Sie loslegen, sind Sie weiter, als Sie denken: Sie können Ihre Java-Programme weiter verwenden, Java-Bibliotheken nutzen, Java von Scala aus aufrufen und Scala von Java aus. Auch Ihre bevorzugten Entwicklungswerkzeuge wie NetBeans, IntelliJ IDEA oder Eclipse stehen Ihnen weiter zur Verfügung, dazu Kommandozeilen-Tools, Plugins für Editoren, Werkzeuge von Drittanbietern – und natürlich Ihre Programmiererfahrung. In Programmieren mit Scala erfahren Sie, wie Sie sich all das zunutze machen. Das Hybridmodell: Die Paradigmen "funktional" und "objektorientiert" sind keine Gegensätze, sondern ergänzen sich unter dem Scala-Dach zu einem sehr produktiven Ganzen. Nutzen Sie die Vorteile funktionaler Programmierung, wann immer sich das anbietet – und seien Sie so frei, auf die guten alten Seiteneffekte zu bauen, wenn Sie das für nötig halten. Futter für die Profis: Skalierbare Nebenläufigkeit mit Aktoren, Aufzucht und Pflege von XML mit Scala, Domainspezifische Sprachen, Tipps zum richtigen Anwendungsdesign – das sind nur ein paar der fortgeschrittenen Themen, in die Sie mit den beiden Autoren eintauchen. Danach sind Sie auch Profi im Programmieren mit Scala.

Big Data

Author: Daniel Fasel
Publisher: Springer-Verlag
ISBN: 9783658115890
Release Date: 2016-06-21
Genre: Computers

Dieser Herausgeber-Band bietet eine umfassende Einführung in das Gebiet Big Data. Neben einer Markteinschätzung und grundlegenden Konzepten (semantische Modellbildung, Anfragesprachen, Konsistenzgewährung etc.) werden wichtige NoSQL-Systeme (Key/Value Store, Column Store, Document Store, Graph Database) vorgestellt und erfolgreiche Anwendungen aus unterschiedlichen Perspektiven erläutert. Eine Diskussion rechtlicher Aspekte und ein Vorschlag zum Berufsbild des Data Scientist runden das Buch ab. Damit erhält die Leserschaft Handlungsempfehlungen für die Nutzung von Big-Data-Technologien im Unternehmen.

Analytische Informationssysteme

Author: Peter Gluchowski
Publisher: Springer-Verlag
ISBN: 9783662477632
Release Date: 2015-12-04
Genre: Business & Economics

Informationssysteme für die analytischen Aufgaben von Fach- und Führungskräften treten verstärkt in den Vordergrund. Dieses etablierte Buch diskutiert und evaluiert Begriffe und Konzepte wie Business Intelligence und Big Data. Die aktualisierte und erweiterte fünfte Auflage liefert einen aktuellen Überblick zu Technologien, Produkten und Trends im Bereich analytischer Informationssysteme. Beiträge aus Wirtschaft und Wissenschaft geben einen umfassenden Überblick und eignen sich als fundierte Entscheidungsgrundlage beim Aufbau und Einsatz derartiger Technologien.

SQL NoSQL Datenbanken

Author: Andreas Meier
Publisher: Springer-Verlag
ISBN: 9783662476642
Release Date: 2016-07-01
Genre: Computers

Die Autoren führen in das Gebiet der relationalen (SQL) und nicht-relationalen (NoSQL) Datenbanken ein. Themenschwerpunkte in der 8. Auflage bilden Datenmanagement, Datenmodellierung, Abfrage- und Manipulationssprachen, Konsistenzgewährung, Datenschutz und -Sicherheit, Systemarchitektur, Mehrbenutzerbetrieb. Das Buch bietet außerdem einen Überblick über postrelationale und nicht-relationale Datenbanksysteme. Neben klassischen Konzepten werden wichtige Aspekte für NoSQL-Datenbanken erläutert, wie das Verfahren Map/Reduce, Verteilungsoptionen (Fragmente, Replikation) oder das CAP-Theorem (Consistency, Availability, Partition Tolerance). Eine Webseite ergänzt den Inhalt des Buches durch Tutorien für Abfrage- und Manipulationssprachen (SQL, Cypher), Übungsumgebungen für Datenbanken (MySQL, Neo4j) sowie zwei Fallstudien zu travelblitz (OpenOffice Base, Neo4j). Das Buch richtet sich sowohl an Studierende, die eine Einführung in das Gebiet der SQL- und NoSQL-Datenbanken suchen, wie auch an Praktiker, denen es hilft, Stärken und Schwächen relationaler Ansätze sowie Entwicklungen für Big-Data-Anwendungen besser einschätzen zu können.

Digitale Bildverarbeitung

Author: Wilhelm Burger
Publisher: Springer-Verlag
ISBN: 9783540276531
Release Date: 2006-01-09
Genre: Computers

Die Autoren geben eine fundierte Einführung in die wichtigsten Methoden der digitalen Bildverarbeitung. Dabei steht die praktische Anwendbarkeit im Vordergrund, formale und mathematische Aspekte sind auf das Wesentliche reduziert, ohne dabei auf eine präzise und konsistente Vorgehensweise zu verzichten. Der Text eignet sich für technisch orientierte Studiengänge ab dem 3.Semester und basiert auf der mehrjährigen Lehrerfahrung der Autoren zu diesem Thema. Der Einsatz in der Lehre wird durch zahlreiche praktische Übungsaufgaben unterstützt. Das Buch eignet sich auch als detaillierte Referenz für Praktiker und Anwender gängiger Verfahren der digitalen Bildverarbeitung, z.B. in der Medizin, der Materialprüfung, der Robotik oder der Medientechnik. Softwareseitig basiert das Buch auf der in Java implementierten und frei verfügbaren Bildverarbeitungsumgebung ImageJ.

R in a Nutshell

Author: Joseph Adler
Publisher: O'Reilly Germany
ISBN: 9783897216501
Release Date: 2010-12-31
Genre: Computers

Wozu sollte man R lernen? Da gibt es viele Gründe: Weil man damit natürlich ganz andere Möglichkeiten hat als mit einer Tabellenkalkulation wie Excel, aber auch mehr Spielraum als mit gängiger Statistiksoftware wie SPSS und SAS. Anders als bei diesen Programmen hat man nämlich direkten Zugriff auf dieselbe, vollwertige Programmiersprache, mit der die fertigen Analyse- und Visualisierungsmethoden realisiert sind – so lassen sich nahtlos eigene Algorithmen integrieren und komplexe Arbeitsabläufe realisieren. Und nicht zuletzt, weil R offen gegenüber beliebigen Datenquellen ist, von der einfachen Textdatei über binäre Fremdformate bis hin zu den ganz großen relationalen Datenbanken. Zudem ist R Open Source und erobert momentan von der universitären Welt aus die professionelle Statistik. R kann viel. Und Sie können viel mit R machen – wenn Sie wissen, wie es geht. Willkommen in der R-Welt: Installieren Sie R und stöbern Sie in Ihrem gut bestückten Werkzeugkasten: Sie haben eine Konsole und eine grafische Benutzeroberfläche, unzählige vordefinierte Analyse- und Visualisierungsoperationen – und Pakete, Pakete, Pakete. Für quasi jeden statistischen Anwendungsbereich können Sie sich aus dem reichen Schatz der R-Community bedienen. Sprechen Sie R! Sie müssen Syntax und Grammatik von R nicht lernen – wie im Auslandsurlaub kommen Sie auch hier gut mit ein paar aufgeschnappten Brocken aus. Aber es lohnt sich: Wenn Sie wissen, was es mit R-Objekten auf sich hat, wie Sie eigene Funktionen schreiben und Ihre eigenen Pakete schnüren, sind Sie bei der Analyse Ihrer Daten noch flexibler und effektiver. Datenanalyse und Statistik in der Praxis: Anhand unzähliger Beispiele aus Medizin, Wirtschaft, Sport und Bioinformatik lernen Sie, wie Sie Daten aufbereiten, mithilfe der Grafikfunktionen des lattice-Pakets darstellen, statistische Tests durchführen und Modelle anpassen. Danach werden Ihnen Ihre Daten nichts mehr verheimlichen.

Hacking mit Security Onion

Author: Chris Sanders
Publisher: Franzis Verlag
ISBN: 9783645204965
Release Date: 2016-09-12
Genre: Computers

Sie können noch so viel in Hardware, Software und Abwehrmechanismen investieren, absolute Sicherheit für Ihre IT-Infrastruktur wird es nicht geben. Wenn Hacker sich wirklich anstrengen, werden sie auch in Ihr System gelangen. Sollte das geschehen, müssen Sie sowohl technisch als auch organisatorisch so aufgestellt sein, dass Sie die Gegenwart eines Hackers erkennen und darauf reagieren können. Sie müssen in der Lage sein, einen Zwischenfall zu deklarieren und die Angreifer aus Ihrem Netzwerk zu vertreiben, bevor sie erheblichen Schaden anrichten. Das ist Network Security Monitoring (NSM). Lernen Sie von dem leitenden Sicherheitsanalytiker Sanders die Feinheiten des Network Security Monitoring kennen. Konzepte verstehen und Network Security Monitoring mit Open-Source-Tools durchführen: Lernen Sie die drei NSM-Phasen kennen, um diese in der Praxis anzuwenden. Die praktische Umsetzung der NSM erfolgt mit vielen Open-Source-Werkzeugen wie z. B. Bro, Daemonlogger, Dumpcap, Justniffer, Honeyd, Httpry, Netsniff-NG, Sguil, SiLK, Snorby Snort, Squert, Suricata, TShark und Wireshark. Anhand von ausführlichen Beispielen lernen Sie, die Tools effizient in Ihrem Netzwerk einzusetzen.

Algorithmik

Author: Gilles Brassard
Publisher:
ISBN: 3925328092
Release Date: 1993
Genre: