Learning Scrapy

Author: Dimitrios Kouzis-Loukas
Publisher: Packt Publishing Ltd
ISBN: 9781784390914
Release Date: 2016-01-30
Genre: Computers

Learn the art of efficient web scraping and crawling with Python About This Book Extract data from any source to perform real time analytics. Full of techniques and examples to help you crawl websites and extract data within hours. A hands-on guide to web scraping and crawling with real-life problems and solutions Who This Book Is For If you are a software developer, data scientist, NLP or machine-learning enthusiast or just need to migrate your company's wiki from a legacy platform, then this book is for you. It is perfect for someone , who needs instant access to large amounts of semi-structured data effortlessly. What You Will Learn Understand HTML pages and write XPath to extract the data you need Write Scrapy spiders with simple Python and do web crawls Push your data into any database, search engine or analytics system Configure your spider to download files, images and use proxies Create efficient pipelines that shape data in precisely the form you want Use Twisted Asynchronous API to process hundreds of items concurrently Make your crawler super-fast by learning how to tune Scrapy's performance Perform large scale distributed crawls with scrapyd and scrapinghub In Detail This book covers the long awaited Scrapy v 1.0 that empowers you to extract useful data from virtually any source with very little effort. It starts off by explaining the fundamentals of Scrapy framework, followed by a thorough description of how to extract data from any source, clean it up, shape it as per your requirement using Python and 3rd party APIs. Next you will be familiarised with the process of storing the scrapped data in databases as well as search engines and performing real time analytics on them with Spark Streaming. By the end of this book, you will perfect the art of scarping data for your applications with ease Style and approach It is a hands on guide, with first few chapters written as a tutorial, aiming to motivate you and get you started quickly. As the book progresses, more advanced features are explained with real world examples that can be reffered while developing your own web applications.

Datenanalyse mit Python

Author: Wes McKinney
Publisher: O'Reilly
ISBN: 9783960102144
Release Date: 2018-10-29
Genre: Computers

Erfahren Sie alles über das Manipulieren, Bereinigen, Verarbeiten und Aufbereiten von Datensätzen mit Python: Aktualisiert auf Python 3.6, zeigt Ihnen dieses konsequent praxisbezogene Buch anhand konkreter Fallbeispiele, wie Sie eine Vielzahl von typischen Datenanalyse-Problemen effektiv lösen. Gleichzeitig lernen Sie die neuesten Versionen von pandas, NumPy, IPython und Jupyter kennen.Geschrieben von Wes McKinney, dem Begründer des pandas-Projekts, bietet Datenanalyse mit Python einen praktischen Einstieg in die Data-Science-Tools von Python. Das Buch eignet sich sowohl für Datenanalysten, für die Python Neuland ist, als auch für Python-Programmierer, die sich in Data Science und Scientific Computing einarbeiten wollen. Daten und zugehöriges Material des Buchs sind auf GitHub verfügbar.Aus dem Inhalt:Nutzen Sie die IPython-Shell und Jupyter Notebook für das explorative ComputingLernen Sie Grundfunktionen und fortgeschrittene Features von NumPy kennenSetzen Sie die Datenanalyse-Tools der pandasBibliothek einVerwenden Sie flexible Werkzeuge zum Laden, Bereinigen, Transformieren, Zusammenführen und Umformen von DatenErstellen Sie interformative Visualisierungen mit matplotlibWenden Sie die GroupBy-Mechanismen von pandas an, um Datensätzen zurechtzuschneiden, umzugestalten und zusammenzufassenAnalysieren und manipulieren Sie verschiedenste Zeitreihen-DatenFür diese aktualisierte 2. Auflage wurde der gesamte Code an Python 3.6 und die neuesten Versionen der pandas-Bibliothek angepasst. Neu in dieser Auflage: Informationen zu fortgeschrittenen pandas-Tools sowie eine kurze Einführung in statsmodels und scikit-learn.

Machine Learning and AI for Healthcare

Author: Arjun Panesar
Publisher: Apress
ISBN: 9781484237991
Release Date: 2019-02-04
Genre: Computers

Explore the theory and practical applications of artificial intelligence (AI) and machine learning in healthcare. This book offers a guided tour of machine learning algorithms, architecture design, and applications of learning in healthcare and big data challenges. You’ll discover the ethical implications of healthcare data analytics and the future of AI in population and patient health optimization. You’ll also create a machine learning model, evaluate performance and operationalize its outcomes within your organization. Machine Learning and AI for Healthcare provides techniques on how to apply machine learning within your organization and evaluate the efficacy, suitability, and efficiency of AI applications. These are illustrated through leading case studies, including how chronic disease is being redefined through patient-led data learning and the Internet of Things. What You'll Learn Gain a deeper understanding of key machine learning algorithms and their use and implementation within wider healthcare Implement machine learning systems, such as speech recognition and enhanced deep learning/AI Select learning methods/algorithms and tuning for use in healthcare Recognize and prepare for the future of artificial intelligence in healthcare through best practices, feedback loops and intelligent agents Who This Book Is For Health care professionals interested in how machine learning can be used to develop health intelligence – with the aim of improving patient health, population health and facilitating significant care-payer cost savings.

Web Scraping with Python

Author: Ryan Mitchell
Publisher: "O'Reilly Media, Inc."
ISBN: 9781491985526
Release Date: 2018-03-21
Genre: Computers

If programming is magic then web scraping is surely a form of wizardry. By writing a simple automated program, you can query web servers, request data, and parse it to extract the information you need. The expanded edition of this practical book not only introduces you web scraping, but also serves as a comprehensive guide to scraping almost every type of data from the modern web. Part I focuses on web scraping mechanics: using Python to request information from a web server, performing basic handling of the server’s response, and interacting with sites in an automated fashion. Part II explores a variety of more specific tools and applications to fit any web scraping scenario you’re likely to encounter. Parse complicated HTML pages Develop crawlers with the Scrapy framework Learn methods to store data you scrape Read and extract data from documents Clean and normalize badly formatted data Read and write natural languages Crawl through forms and logins Scrape JavaScript and crawl through APIs Use and write image-to-text software Avoid scraping traps and bot blockers Use scrapers to test your website

Routineaufgaben mit Python automatisieren

Author: Al Sweigart
Publisher: dpunkt.verlag
ISBN: 9783864919930
Release Date: 2016-07-28
Genre: Computers

Wenn Sie jemals Stunden damit verbracht haben, Dateien umzubenennen oder Hunderte von Tabelleneinträgen zu aktualisieren, dann wissen Sie, wie stumpfsinnig manche Tätigkeiten sein können. Wie wäre es, den Computer dazu zu bringen, diese Arbeiten zu übernehmen? In diesem Buch lernen Sie, wie Sie mit Python Aufgaben in Sekundenschnelle erledigen können, die sonst viel Zeit in Anspruch nehmen würden. Programmiererfahrung brauchen Sie dazu nicht: Wenn Sie einmal die Grundlagen gemeistert haben, werden Sie Python-Programme schreiben, die automatisch alle möglichen praktischen Aufgaben für Sie abarbeiten: • eine oder eine Vielzahl von Dateien nach Texten durchsuchen • Dateien und Ordner erzeugen, aktualisieren, verschieben und umbenennen • das Web durchsuchen und Inhalte herunterladen • Excel-Dateien aktualisieren und formatieren • PDF-Dateien teilen, zusammenfügen, mit Wasserzeichen versehen und verschlüsseln • Erinnerungsmails und Textnachrichten verschicken • Online-Formulare ausfüllen Schritt-für-Schritt-Anleitungen führen Sie durch jedes Programm und Übungsaufgaben am Ende jedes Kapitels fordern Sie dazu auf, die Programme zu verbessern und Ihre Fähigkeiten auf ähnliche Problemstellungen zu richten. Verschwenden Sie nicht Ihre Zeit mit Aufgaben, die auch ein gut dressierter Affe erledigen könnte. Bringen Sie Ihren Computer dazu, die langweilige Arbeit zu machen!

Learning Python Web Penetration Testing

Author: Christian Martorella
Publisher: Packt Publishing Ltd
ISBN: 9781789539677
Release Date: 2018-06-27
Genre: Computers

Leverage the simplicity of Python and available libraries to build web security testing tools for your application Key Features Understand the web application penetration testing methodology and toolkit using Python Write a web crawler/spider with the Scrapy library Detect and exploit SQL injection vulnerabilities by creating a script all by yourself Book Description Web penetration testing is the use of tools and code to attack a website or web app in order to assess its vulnerability to external threats. While there are an increasing number of sophisticated, ready-made tools to scan systems for vulnerabilities, the use of Python allows you to write system-specific scripts, or alter and extend existing testing tools to find, exploit, and record as many security weaknesses as possible. Learning Python Web Penetration Testing will walk you through the web application penetration testing methodology, showing you how to write your own tools with Python for each activity throughout the process. The book begins by emphasizing the importance of knowing how to write your own tools with Python for web application penetration testing. You will then learn to interact with a web application using Python, understand the anatomy of an HTTP request, URL, headers and message body, and later create a script to perform a request, and interpret the response and its headers. As you make your way through the book, you will write a web crawler using Python and the Scrappy library. The book will also help you to develop a tool to perform brute force attacks in different parts of the web application. You will then discover more on detecting and exploiting SQL injection vulnerabilities. By the end of this book, you will have successfully created an HTTP proxy based on the mitmproxy tool. What you will learn Interact with a web application using the Python and Requests libraries Create a basic web application crawler and make it recursive Develop a brute force tool to discover and enumerate resources such as files and directories Explore different authentication methods commonly used in web applications Enumerate table names from a database using SQL injection Understand the web application penetration testing methodology and toolkit Who this book is for Learning Python Web Penetration Testing is for web developers who want to step into the world of web application security testing. Basic knowledge of Python is necessary.

Deep Learning Kochbuch

Author: Douwe Osinga
Publisher: O'Reilly
ISBN: 9783960102656
Release Date: 2019-02-11
Genre: Computers

Lassen Sie sich von Deep Learning nicht abschrecken! Dank Frameworks wie Keras und TensorFlow ist der schnelle Einstieg in die Entwicklung von Deep-Learning-Anwendungen nun auch für Softwareentwickler ohne umfassende Machine-Learning-Kenntnisse möglich. Mit den Rezepten aus diesem Buch lernen Sie, typische Aufgabenstellungen des Deep Learning zu lösen, wie etwa die Klassifizierung und Generierung von Texten, Bildern und Musik.Jedes Kapitel behandelt ein Projekt, wie z.B. das Trainieren eines Empfehlungssystems für Musik. Schritt für Schritt wird gezeigt, wie das jeweilige Projekt umgesetzt wird. Darüber hinaus beschreibt der Autor Douwe Osinga zahlreiche Techniken, die Ihnen helfen, wenn Sie einmal nicht mehr weiterwissen. Alle Codebeispiele sind in Python geschrieben und auf GitHub als Python-Notebooks frei verfügbar.Aus dem Inhalt:Entwickeln Sie Deep-Learning-Anwendungen, die Nutzern einen echten Mehrwert bietenBerechnen Sie Ähnlichkeiten von Texten mithilfe von Word-EmbeddingsErstellen Sie ein Empfehlungssystem für Filme basierend auf Wikipedia-LinksVisualisieren Sie die internen Vorgänge einer künstlichen Intelligenz, um nachvollziehen zu können, wie diese arbeitetEntwickeln Sie ein Modell, das passende Emojis für Textpassagen vorschlägtRealisieren Sie einen Reverse-Image-Search-Dienst mithilfe von vortrainierten NetzwerkenVergleichen Sie, wie Generative Adversarial Networks, Autoencoder und LSTM-Netzwerke Icons erzeugenTrainieren Sie ein Klassifikationsmodell für Musikstile und lassen Sie es Musikstücke dementsprechend zuordnen

Mehr Hacking mit Python

Author: Justin Seitz
Publisher: dpunkt.verlag
ISBN: 9783864917530
Release Date: 2015-10-09
Genre: Computers

Wenn es um die Entwicklung leistungsfähiger und effizienter Hacking-Tools geht, ist Python für die meisten Sicherheitsanalytiker die Sprache der Wahl. Doch wie genau funktioniert das? In dem neuesten Buch von Justin Seitz - dem Autor des Bestsellers »Hacking mit Python« - entdecken Sie Pythons dunkle Seite. Sie entwickeln Netzwerk-Sniffer, manipulieren Pakete, infizieren virtuelle Maschinen, schaffen unsichtbare Trojaner und vieles mehr. Sie lernen praktisch, wie man • einen »Command-and-Control«-Trojaner mittels GitHub schafft • Sandboxing erkennt und gängige Malware-Aufgaben wie Keylogging und Screenshotting automatisiert • Windows-Rechte mittels kreativer Prozesskontrolle ausweitet • offensive Speicherforensik-Tricks nutzt, um Passwort-Hashes abzugreifen und Shellcode in virtuelle Maschinen einzuspeisen • das beliebte Web-Hacking-Tool Burp erweitert • die Windows COM-Automatisierung nutzt, um einen Man-in-the-Middle-Angriff durchzuführen • möglichst unbemerkt Daten aus einem Netzwerk abgreift Eine Reihe von Insider-Techniken und kreativen Aufgaben zeigen Ihnen, wie Sie die Hacks erweitern und eigene Exploits entwickeln können.

Programmieren lernen mit Python

Author: Allen B. Downey
Publisher: O'Reilly Germany
ISBN: 9783868999471
Release Date: 2013-01-31
Genre: Computers

Python ist eine moderne, interpretierte, interaktive und objektorientierte Skriptsprache, vielseitig einsetzbar und sehr beliebt. Mit mathematischen Vorkenntnissen ist Python leicht erlernbar und daher die ideale Sprache für den Einstieg in die Welt des Programmierens. Das Buch führt Sie Schritt für Schritt durch die Sprache, beginnend mit grundlegenden Programmierkonzepten, über Funktionen, Syntax und Semantik, Rekursion und Datenstrukturen bis hin zum objektorientierten Design. Jenseits reiner Theorie: Jedes Kapitel enthält passende Übungen und Fallstudien, kurze Verständnistests und kleinere Projekte, an denen Sie die neu erlernten Programmierkonzepte gleich ausprobieren und festigen können. Auf diese Weise können Sie das Gelernte direkt anwenden und die jeweiligen Programmierkonzepte nachvollziehen. Lernen Sie Debugging-Techniken kennen: Am Ende jedes Kapitels finden Sie einen Abschnitt zum Thema Debugging, der Techniken zum Aufspüren und Vermeiden von Bugs sowie Warnungen vor entsprechenden Stolpersteinen in Python enthält. Starten Sie durch: Beginnen Sie mit den Grundlagen der Programmierung und den verschiedenen Programmierkonzepten, und lernen Sie, wie ein Informatiker zu programmieren.

Einf hrung in Python

Author: Mark Lutz
Publisher: O'Reilly Germany
ISBN: 9783897214880
Release Date: 2007
Genre: Python (Computer program language)


Python kurz gut

Author: Mark Lutz
Publisher: O'Reilly Germany
ISBN: 9783955617714
Release Date: 2014-05-01
Genre: Computers

Die objektorientierte Sprache Python eignet sich hervorragend zum Schreiben von Skripten, Programmen und Prototypen. Sie ist frei verfügbar, leicht zu lernen und zwischen allen wichtigen Plattformen portabel, einschließlich Linux, Unix, Windows und Mac OS. Damit Sie im Programmieralltag immer den Überblick behalten, sind die verschiedenen Sprachmerkmale und Elemente in Python – kurz & gut übersichtlich zusammengestellt. Für Auflage 5 wurde die Referenz komplett überarbeitet, erweitert und auf den neuesten Stand gebracht, so dass sie die beiden aktuellen Versionen 2.7 und 3.4 berücksichtigt. Python – kurz & gut behandelt unter anderem: Eingebaute Typen wie Zahlen, Listen, Dictionarys u.v.a.; nweisungen und Syntax für Entwicklung und Ausführung von Objekten; Die objektorientierten Entwicklungstools in Python; Eingebaute Funktionen, Ausnahmen und Attribute; pezielle Methoden zur Operatorenüberladung; Weithin benutzte Standardbibliotheksmodule und Erweiterungen; Kommandozeilenoptionen und Entwicklungswerkzeuge. Mark Lutz stieg 1992 in die Python-Szene ein und ist seitdem als aktiver Pythonista bekannt. Er gibt Kurse, hat zahlreiche Bücher geschrieben und mehrere Python-Systeme programmiert.

HTML CSS

Author: Jon Duckett
Publisher: VCH
ISBN: 3527760539
Release Date: 2014-02-19
Genre:


Visualize This

Author: Nathan Yau
Publisher: John Wiley & Sons
ISBN: 9783527760220
Release Date: 2012-12-01
Genre: Statistics / Graphic methods / Data processing

A guide on how to visualise and tell stories with data, providing practical design tips complemented with step-by-step tutorials.

Neuronale Netze selbst programmieren

Author: Tariq Rashid
Publisher: O'Reilly
ISBN: 9783960101031
Release Date: 2017-05-24
Genre: Computers

Neuronale Netze sind Schlüsselelemente des Deep Learning und der Künstlichen Intelligenz, die heute zu Erstaunlichem in der Lage sind. Sie sind Grundlage vieler Anwendungen im Alltag wie beispielsweise Spracherkennung, Gesichtserkennung auf Fotos oder die Umwandlung von Sprache in Text. Dennoch verstehen nur wenige, wie neuronale Netze tatsächlich funktionieren. Dieses Buch nimmt Sie mit auf eine unterhaltsame Reise, die mit ganz einfachen Ideen beginnt und Ihnen Schritt für Schritt zeigt, wie neuronale Netze arbeiten: - Zunächst lernen Sie die mathematischen Konzepte kennen, die den neuronalen Netzen zugrunde liegen. Dafür brauchen Sie keine tieferen Mathematikkenntnisse, denn alle mathematischen Ideen werden behutsam und mit vielen Illustrationen und Beispielen erläutert. Eine Kurzeinführung in die Analysis unterstützt Sie dabei. - Dann geht es in die Praxis: Nach einer Einführung in die populäre und leicht zu lernende Programmiersprache Python bauen Sie allmählich Ihr eigenes neuronales Netz mit Python auf. Sie bringen ihm bei, handgeschriebene Zahlen zu erkennen, bis es eine Performance wie ein professionell entwickeltes Netz erreicht. - Im nächsten Schritt tunen Sie die Leistung Ihres neuronalen Netzes so weit, dass es eine Zahlenerkennung von 98 % erreicht – nur mit einfachen Ideen und simplem Code. Sie testen das Netz mit Ihrer eigenen Handschrift und werfen noch einen Blick in das mysteriöse Innere eines neuronalen Netzes. - Zum Schluss lassen Sie das neuronale Netz auf einem Raspberry Pi Zero laufen. Tariq Rashid erklärt diese schwierige Materie außergewöhnlich klar und verständlich, dadurch werden neuronale Netze für jeden Interessierten zugänglich und praktisch nachvollziehbar.

Python von Kopf bis Fu

Author: Paul Barry
Publisher: O'Reilly
ISBN: 9783960101369
Release Date: 2017-08-10
Genre: Computers

Was lernen Sie in diesem Buch? Haben Sie sich schon einmal gewünscht, Sie könnten mit nur einem Buch Python richtig lernen? Mit Python von Kopf bis Fuß schaffen Sie es! Durch die ausgefeilte Von-Kopf-bis-Fuß-Didaktik, die viel mehr als die bloße Syntax und typische How-to-Erklärungen bietet, wird es sogar zum Vergnügen. Python-Grundlagen wie Datenstrukturen und Funktionen verstehen Sie hier schnell, und dann geht es auch schon weiter: Sie programmieren Ihre eigene Web-App, erkunden Datenbank-Management, Ausnahmebehandlung und die Verarbeitung von Daten. Da Python häufig im Data-Science-Umfeld eingesetzt wird, haben in der 2. Auflage diejenigen Techniken ein stärkeres Gewicht bekommen, die in der Welt der Big Data genutzt werden. Wieso sieht dieses Buch so anders aus? In diesem Buch sind die neuesten Erkenntnisse der Kognitionswissenschaft und der Lerntheorie eingeflossen, um Ihnen das Lernen so einfach wie möglich zu machen. Statt einschläfernder Bleiwüsten verwendet dieses Buch eine Vielzahl von Abbildungen und Textstilen, die Ihnen das Wissen direkt ins Hirn spielen – und zwar so, dass es sitzt.