Algorithms for Reinforcement Learning


Author: Csaba Szepesvari
Publisher: Morgan & Claypool Publishers
ISBN: 1608454924
Category: Computers
Page: 89
View: 2501

Continue Reading →

Reinforcement learning is a learning paradigm concerned with learning to control a system so as to maximize a numerical performance measure that expresses a long-term objective. What distinguishes reinforcement learning from supervised learning is that only partial feedback is given to the learner about the learner's predictions. Further, the predictions may have long term effects through influencing the future state of the controlled system. Thus, time plays a special role. The goal in reinforcement learning is to develop efficient learning algorithms, as well as to understand the algorithms' merits and limitations. Reinforcement learning is of great interest because of the large number of practical applications that it can be used to address, ranging from problems in artificial intelligence to operations research or control engineering. In this book, we focus on those algorithms of reinforcement learning that build on the powerful theory of dynamic programming.We give a fairly comprehensive catalog of learning problems, describe the core ideas, note a large number of state of the art algorithms, followed by the discussion of their theoretical properties and limitations.

Machine Learning and Knowledge Discovery in Databases

European Conference, ECML PKDD 2012, Bristol, UK, September 24-28, 2012. Proceedings
Author: Peter A. Flach,Tijl De Bie,Nello Cristianini
Publisher: Springer
ISBN: 3642334865
Category: Computers
Page: 867
View: 5414

Continue Reading →

This two-volume set LNAI 7523 and LNAI 7524 constitutes the refereed proceedings of the European Conference on Machine Learning and Knowledge Discovery in Databases: ECML PKDD 2012, held in Bristol, UK, in September 2012. The 105 revised research papers presented together with 5 invited talks were carefully reviewed and selected from 443 submissions. The final sections of the proceedings are devoted to Demo and Nectar papers. The Demo track includes 10 papers (from 19 submissions) and the Nectar track includes 4 papers (from 14 submissions). The papers grouped in topical sections on association rules and frequent patterns; Bayesian learning and graphical models; classification; dimensionality reduction, feature selection and extraction; distance-based methods and kernels; ensemble methods; graph and tree mining; large-scale, distributed and parallel mining and learning; multi-relational mining and learning; multi-task learning; natural language processing; online learning and data streams; privacy and security; rankings and recommendations; reinforcement learning and planning; rule mining and subgroup discovery; semi-supervised and transductive learning; sensor data; sequence and string mining; social network mining; spatial and geographical data mining; statistical methods and evaluation; time series and temporal data mining; and transfer learning.

Reinforcement Learning

State-of-the-Art
Author: Marco Wiering,Martijn van Otterlo
Publisher: Springer Science & Business Media
ISBN: 3642276458
Category: Computers
Page: 638
View: 2443

Continue Reading →

Reinforcement learning encompasses both a science of adaptive behavior of rational beings in uncertain environments and a computational methodology for finding optimal behaviors for challenging problems in control, optimization and adaptive behavior of intelligent agents. As a field, reinforcement learning has progressed tremendously in the past decade. The main goal of this book is to present an up-to-date series of survey articles on the main contemporary sub-fields of reinforcement learning. This includes surveys on partially observable environments, hierarchical task decompositions, relational knowledge representation and predictive state representations. Furthermore, topics such as transfer, evolutionary methods and continuous spaces in reinforcement learning are surveyed. In addition, several chapters review reinforcement learning methods in robotics, in games, and in computational neuroscience. In total seventeen different subfields are presented by mostly young experts in those areas, and together they truly represent a state-of-the-art of current reinforcement learning research. Marco Wiering works at the artificial intelligence department of the University of Groningen in the Netherlands. He has published extensively on various reinforcement learning topics. Martijn van Otterlo works in the cognitive artificial intelligence group at the Radboud University Nijmegen in The Netherlands. He has mainly focused on expressive knowledge representation in reinforcement learning settings.

Statistical Relational Artificial Intelligence

Logic, Probability, and Computation
Author: Luc De Raedt,Kristian Kersting,Sriraam Natarajan,David Poole
Publisher: Morgan & Claypool Publishers
ISBN: 1627058427
Category: Computers
Page: 189
View: 7389

Continue Reading →

An intelligent agent interacting with the real world will encounter individual people, courses, test results, drugs prescriptions, chairs, boxes, etc., and needs to reason about properties of these individuals and relations among them as well as cope with uncertainty. Uncertainty has been studied in probability theory and graphical models, and relations have been studied in logic, in particular in the predicate calculus and its extensions. This book examines the foundations of combining logic and probability into what are called relational probabilistic models. It introduces representations, inference, and learning techniques for probability, logic, and their combinations. The book focuses on two representations in detail: Markov logic networks, a relational extension of undirected graphical models and weighted first-order predicate calculus formula, and Problog, a probabilistic extension of logic programs that can also be viewed as a Turing-complete relational extension of Bayesian networks.

Planning with Markov Decision Processes

An AI Perspective
Author: Mausam,Andrey Kolobov
Publisher: Morgan & Claypool Publishers
ISBN: 1608458865
Category: Computers
Page: 194
View: 3685

Continue Reading →

Markov Decision Processes (MDPs) are widely popular in Artificial Intelligence for modeling sequential decision-making scenarios with probabilistic dynamics. They are the framework of choice when designing an intelligent agent that needs to act for long periods of time in an environment where its actions could have uncertain outcomes. MDPs are actively researched in two related subareas of AI, probabilistic planning and reinforcement learning. Probabilistic planning assumes known models for the agent's goals and domain dynamics, and focuses on determining how the agent should behave to achieve its objectives. On the other hand, reinforcement learning additionally learns these models based on the feedback the agent gets from the environment. This book provides a concise introduction to the use of MDPs for solving probabilistic planning problems, with an emphasis on the algorithmic perspective. It covers the whole spectrum of the field, from the basics to state-of-the-art optimal and approximation algorithms. We first describe the theoretical foundations of MDPs and the fundamental solution techniques for them. We then discuss modern optimal algorithms based on heuristic search and the use of structured representations. A major focus of the book is on the numerous approximation schemes for MDPs that have been developed in the AI literature. These include determinization-based approaches, sampling techniques, heuristic functions, dimensionality reduction, and hierarchical representations. Finally, we briefly introduce several extensions of the standard MDP classes that model and solve even more complex planning problems. Table of Contents: Introduction / MDPs / Fundamental Algorithms / Heuristic Search Algorithms / Symbolic Algorithms / Approximation Algorithms / Advanced Notes

Design Thinking Live

Wie man Ideen entwickelt und Probleme löst
Author: Christoph Meinel,Ulrich Weinberg,Timm Krohn
Publisher: Murmann Publishers GmbH
ISBN: 3867744378
Category: Political Science
Page: 268
View: 5674

Continue Reading →

"Ich wünsche möglichst vielen jungen Menschen die Chance, Teil eines solchen Projektteams zu sein und ein Botschafter des Design Thinkings zu werden." Frank Elstner war beeindruckt von dem, was er am Hasso-Plattner-Institut (HPI) erlebte. Sein Vortrag über die Ideenentwicklung zu "Wetten, dass ..?", zu dem ihn Ulrich Weinberg, Leiter der D-School am HPI, eingeladen hatte, mündete schon bald in ein Gemeinschaftsprojekt, aus dem u. a. die Idee "Book Ambassadors" – Prominente als Buchbotschafter – entwickelt wurde. Wie Elstner berichten auch die anderen Beiträger aus Forschung, Lehre und Wirtschaft (darunter Jochen Gürtler, SAP; Martin Wegner, DHL; Julia Leihener, Telekom Creation Center) über ihre Erfahrungen oder besser ihre Erlebnisse mit Design Thinking. Sie machen anschaulich, dass und wie Problemlösung, Ideenfindung und "echte" Innovation im interdisziplinär, experimentell und vor allem nutzerorientiert angelegten Rahmen besser und erfolgreicher möglich sind als in herkömmlichen Innovationsprozessen. Für sie alle steht Design Thinking für eine Denkweise, eine Art, die Welt zu sehen, in deren Zentrum unbedingt der Mensch steht – als Kunde, als Nutzer, als Lernender –, auf den sich alle Entwicklungs- und Innovationsarbeit beziehen soll. Sie wollen vermitteln, wie Design Thinking sich "anfühlt", welche Wirkungen, bis hinein in den persönlichen Alltag, sich ergeben, wie sich eine neue Form der Aufmerksamkeit und Achtsamkeit, eine Haltung des vernetzten Denkens einstellt und schließlich – auf Unternehmensebene – eine neue Arbeitskultur entstehen kann.

Das Geheimnis des menschlichen Denkens

Einblicke in das Reverse Engineering des Gehirns
Author: Ray Kurzweil
Publisher: Lola Books
ISBN: 394420316X
Category: Science
Page: 352
View: 4022

Continue Reading →

Der Wettlauf um das Gehirn hat begonnen. Sowohl die EU als auch die USA haben gewaltige Forschungsprojekte ins Leben gerufen um das Geheimnis des menschlichen Denkens zu entschlüsseln. 2023 soll es dann soweit sein: Das menschliche Gehirn kann vollständig simuliert werden. In "Das Geheimnis des menschlichen Denkens" gewährt Googles Chefingenieur Ray Kurzweil einen spannenden Einblick in das Reverse Engineering des Gehirns. Er legt dar, wie mithilfe der Mustererkennungstheorie des Geistes der ungeheuren Komplexität des Gehirns beizukommen ist und wirft einen ebenso präzisen wie überraschenden Blick auf die am Horizont sich bereits abzeichnende Zukunft. Ist das menschliche Gehirn erst einmal simuliert, wird künstliche Intelligenz die Fähigkeiten des Menschen schon bald übertreffen. Ein Ereignis, das Kurzweil aufgrund der bereits in "Menschheit 2.0" entworfenen exponentiellen Wachstumskurve der Informationstechnologien bereits für das Jahr 2029 prognostiziert. Aber was dann? Kurzweil ist zuversichtlich, dass die Vorteile künstlicher Intelligenz mögliche Bedrohungsszenarien überwiegen und sie uns entscheidend dabei hilft, uns weiterzuentwickeln und die Herausforderungen der Zukunft zu meistern.

Maschinelles Lernen


Author: Ethem Alpaydin
Publisher: De Gruyter Oldenbourg
ISBN: 9783486581140
Category: Machine learning
Page: 440
View: 6726

Continue Reading →

Maschinelles Lernen heißt, Computer so zu programmieren, dass ein bestimmtes Leistungskriterium anhand von Beispieldaten und Erfahrungswerten aus der Vergangenheit optimiert wird. Das vorliegende Buch diskutiert diverse Methoden, die ihre Grundlagen in verschiedenen Themenfeldern haben: Statistik, Mustererkennung, neuronale Netze, Künstliche Intelligenz, Signalverarbeitung, Steuerung und Data Mining. In der Vergangenheit verfolgten Forscher verschiedene Wege mit unterschiedlichen Schwerpunkten. Das Anliegen dieses Buches ist es, all diese unterschiedlichen Ansätze zu kombinieren, um eine allumfassende Behandlung der Probleme und ihrer vorgeschlagenen Lösungen zu geben.

Advances in Artificial Intelligence

31st Canadian Conference on Artificial Intelligence, Canadian AI 2018, Toronto, ON, Canada, May 8–11, 2018, Proceedings
Author: Ebrahim Bagheri,Jackie C.K. Cheung
Publisher: Springer
ISBN: 3319896563
Category: Computers
Page: 396
View: 7850

Continue Reading →

This book constitutes the refereed proceedings of the 31th Canadian Conference on Artificial Intelligence, Canadian AI 2018, held in Toronto, ON, Canada, in May 2018. The 16 regular papers and 18 short papers presented together with 7 Graduate Student Symposium papers and 4 Industry Track papers were carefully reviewed and selected from 72 submissions. The focus of the conference was on artificial intelligence research and advanced information and communications technology.

Semantic Web

Grundlagen
Author: Pascal Hitzler,Markus Krötzsch,Sebastian Rudolph,York Sure
Publisher: Springer-Verlag
ISBN: 3540339949
Category: Computers
Page: 277
View: 6216

Continue Reading →

Das Buch Semantic Web – Grundlagen vermittelt als erstes deutschsprachiges Lehrbuch die Grundlagen des Semantic Web in verständlicher Weise. Es ermöglicht einen einfachen und zügigen Einstieg in Methoden und Technologien des Semantic Web und kann z.B. als solide Grundlage für die Vorbereitung und Durchführung von Vorlesungen genutzt werden. Die Autoren trennen dabei sauber zwischen einer intuitiven Hinführung zur Verwendung semantischer Technologien in der Praxis einerseits, und der Erklärung formaler und theoretischer Hintergründe andererseits. Nur für letzteres werden Grundkenntnisse in Logik vorausgesetzt, die sich bei Bedarf jedoch durch zusätzliche Lektüre und mit Hilfe eines entsprechenden Kapitels im Anhang aneignen lassen. Das Lehrbuch richtet sich primär an Studenten mit Grundkenntnissen in Informatik sowie an interessierte Praktiker welche sich im Bereich Semantic Web fortbilden möchten. Aus den Rezensionen: "... RDF, RDF-S und OWL. Diese Sprachen ... werden von den Autoren dargestellt. Bei der Darstellung ... fallen sie selten zu schwierigen Fachslang, sondern liefern eine gut nachvollziehbare Schilderung mit einfachen Beispielen, auch Übungsaufgaben runden die Kapitel ab. ... Semantic Web ist ein einfach geschriebenes und anschauliches Buch, das In die Grundkonzepte der Semantic-Web-Techniken einführt. Wer sich schnell in RDF, RDF-S und Co. einarbeiten muss und etwas Vorbildung in Logik und Algebra mitbringt, der trifft mit diesem Lehrbuch sicherlich eine gute Wahl ..." (http://www.literaturnetz.com/content/view/8742/44/)

Neuronale Netze selbst programmieren

Ein verständlicher Einstieg mit Python
Author: Tariq Rashid
Publisher: O'Reilly
ISBN: 3960101031
Category: Computers
Page: 232
View: 6953

Continue Reading →

Neuronale Netze sind Schlüsselelemente des Deep Learning und der Künstlichen Intelligenz, die heute zu Erstaunlichem in der Lage sind. Sie sind Grundlage vieler Anwendungen im Alltag wie beispielsweise Spracherkennung, Gesichtserkennung auf Fotos oder die Umwandlung von Sprache in Text. Dennoch verstehen nur wenige, wie neuronale Netze tatsächlich funktionieren. Dieses Buch nimmt Sie mit auf eine unterhaltsame Reise, die mit ganz einfachen Ideen beginnt und Ihnen Schritt für Schritt zeigt, wie neuronale Netze arbeiten: - Zunächst lernen Sie die mathematischen Konzepte kennen, die den neuronalen Netzen zugrunde liegen. Dafür brauchen Sie keine tieferen Mathematikkenntnisse, denn alle mathematischen Ideen werden behutsam und mit vielen Illustrationen und Beispielen erläutert. Eine Kurzeinführung in die Analysis unterstützt Sie dabei. - Dann geht es in die Praxis: Nach einer Einführung in die populäre und leicht zu lernende Programmiersprache Python bauen Sie allmählich Ihr eigenes neuronales Netz mit Python auf. Sie bringen ihm bei, handgeschriebene Zahlen zu erkennen, bis es eine Performance wie ein professionell entwickeltes Netz erreicht. - Im nächsten Schritt tunen Sie die Leistung Ihres neuronalen Netzes so weit, dass es eine Zahlenerkennung von 98 % erreicht – nur mit einfachen Ideen und simplem Code. Sie testen das Netz mit Ihrer eigenen Handschrift und werfen noch einen Blick in das mysteriöse Innere eines neuronalen Netzes. - Zum Schluss lassen Sie das neuronale Netz auf einem Raspberry Pi Zero laufen. Tariq Rashid erklärt diese schwierige Materie außergewöhnlich klar und verständlich, dadurch werden neuronale Netze für jeden Interessierten zugänglich und praktisch nachvollziehbar.

Algorithmen für Dummies


Author: John Paul Mueller,Luca Massaron
Publisher: John Wiley & Sons
ISBN: 3527809775
Category: Computers
Page: 320
View: 3338

Continue Reading →

Wir leben in einer algorithmenbestimmten Welt. Deshalb lohnt es sich zu verstehen, wie Algorithmen arbeiten. Das Buch präsentiert die wichtigsten Anwendungsgebiete für Algorithmen: Optimierung, Sortiervorgänge, Graphentheorie, Textanalyse, Hashfunktionen. Zu jedem Algorithmus werden jeweils Hintergrundwissen und praktische Grundlagen vermittelt sowie Beispiele für aktuelle Anwendungen gegeben. Für interessierte Leser gibt es Umsetzungen in Python, sodass die Algorithmen auch verändert und die Auswirkungen der Veränderungen beobachtet werden können. Dieses Buch richtet sich an Menschen, die an Algorithmen interessiert sind, ohne eine Doktorarbeit zu dem Thema schreiben zu wollen. Wer es gelesen hat, versteht, wie wichtige Algorithmen arbeiten und wie man von dieser Arbeit beispielsweise bei der Entwicklung von Unternehmensstrategien profitieren kann.

The Second Machine Age

Wie die nächste digitale Revolution unser aller Leben verändern wird
Author: Erik Brynjolfsson,Andrew McAfee
Publisher: Plassen Verlag
ISBN: 3864702224
Category: Political Science
Page: 368
View: 3573

Continue Reading →

Computer sind mittlerweile so intelligent geworden, dass die nächste industrielle Revolution unmittelbar bevorsteht. Wer profitiert, wer verliert? Antworten auf diese Fragen bietet das neue Buch der Technologie-Profis Erik Brynjolfsson und Andrew McAfee. Seit Jahren arbeiten wir mit Computern - und Computer für uns. Mittlerweile sind die Maschinen so intelligent geworden, dass sie zu Leistungen fähig sind, die vor Kurzem noch undenkbar waren: Sie fahren Auto, sie schreiben eigene Texte - und sie besiegen Großmeister im Schach. Dieser Entwicklungssprung ist nur der Anfang. In ihrem neuen Buch zeigen zwei renommierte Professoren, welch atemberaubende Entwicklungen uns noch bevorstehen: Die zweite industrielle Revolution kommt! Welche Auswirkungen wird das haben? Welche Chancen winken, welche Risiken drohen? Was geschieht dabei mit den Menschen, was mit der Umwelt? Und was werden Gesellschaft und Politik tun, um die Auswirkungen dieser "neuen digitalen Intelligenz" für alle bestmöglich zu gestalten? Dieses Buch nimmt Sie mit auf eine Reise in eine Zukunft, die schon längst begonnen hat.

Homo sapiens.

Leben im 21. Jahrhundert. Was bleibt vom Menschen?
Author: Ray Kurzweil
Publisher: N.A
ISBN: 9783548750262
Category:
Page: 509
View: 1635

Continue Reading →

Mentopolis


Author: Marvin Lee Minsky
Publisher: N.A
ISBN: 9783608931174
Category:
Page: 342
View: 9466

Continue Reading →

Computing Methodologies -- Artificial Intelligence.

Logische Grundlagen der Künstlichen Intelligenz


Author: Nils J. Nilsson
Publisher: Springer-Verlag
ISBN: 3322928810
Category: Technology & Engineering
Page: 576
View: 5101

Continue Reading →

Das Buch ist die deutsche Übersetzung des Standardwerkes der Stanforder Professoren Michael R. Genesereth und Nils J. Nilsson.Im Unterschied zu deutschen Lehrbüchern der Informatik zeichnet sich das Buch dadurch aus, daß es einen gut lesbaren Überblick gibt, ohne allzu formalistisch zu werden, gleichwohl aber von hohem Niveau ist und die Ergebnisse jüngster Forschung berücksichtigt. Das Buch empfiehlt sich sowohl für Studenten und Dozenten der Inf ormatik, aber auch für Forscher aus anderen Gebieten, die von den Grundlagen der Künstlichen Intelligenz profitieren möchten.

Statistik-Workshop für Programmierer


Author: Allen B. Downey
Publisher: O'Reilly Germany
ISBN: 3868993436
Category: Computers
Page: 160
View: 329

Continue Reading →

Wenn Sie programmieren können, beherrschen Sie bereits Techniken, um aus Daten Wissen zu extrahieren. Diese kompakte Einführung in die Statistik zeigt Ihnen, wie Sie rechnergestützt, anstatt auf mathematischem Weg Datenanalysen mit Python durchführen können. Praktischer Programmier-Workshop statt grauer Theorie: Das Buch führt Sie anhand eines durchgängigen Fallbeispiels durch eine vollständige Datenanalyse -- von der Datensammlung über die Berechnung statistischer Kennwerte und Identifikation von Mustern bis hin zum Testen statistischer Hypothesen. Gleichzeitig werden Sie mit statistischen Verteilungen, den Regeln der Wahrscheinlichkeitsrechnung, Visualisierungsmöglichkeiten und vielen anderen Arbeitstechniken und Konzepten vertraut gemacht. Statistik-Konzepte zum Ausprobieren: Entwickeln Sie über das Schreiben und Testen von Code ein Verständnis für die Grundlagen von Wahrscheinlichkeitsrechnung und Statistik: Überprüfen Sie das Verhalten statistischer Merkmale durch Zufallsexperimente, zum Beispiel indem Sie Stichproben aus unterschiedlichen Verteilungen ziehen. Nutzen Sie Simulationen, um Konzepte zu verstehen, die auf mathematischem Weg nur schwer zugänglich sind. Lernen Sie etwas über Themen, die in Einführungen üblicherweise nicht vermittelt werden, beispielsweise über die Bayessche Schätzung. Nutzen Sie Python zur Bereinigung und Aufbereitung von Rohdaten aus nahezu beliebigen Quellen. Beantworten Sie mit den Mitteln der Inferenzstatistik Fragestellungen zu realen Daten.

Representation Discovery Using Harmonic Analysis


Author: Sridhar Mahadevan
Publisher: Morgan & Claypool Publishers
ISBN: 1598296590
Category: Computers
Page: 147
View: 3455

Continue Reading →

Representations are at the heart of artificial intelligence (AI). This book is devoted to the problem of representation discovery: how can an intelligent system construct representations from its experience? Representation discovery re-parameterizes the state space - prior to the application of information retrieval, machine learning, or optimization techniques - facilitating later inference processes by constructing new task-specific bases adapted to the state space geometry. This book presents a general approach to representation discovery using the framework of harmonic analysis, in particular Fourier and wavelet analysis. Biometric compression methods, the compact disc, the computerized axial tomography (CAT) scanner in medicine, JPEG compression, and spectral analysis of time-series data are among the many applications of classical Fourier and wavelet analysis. A central goal of this book is to show that these analytical tools can be generalized from their usual setting in (infinite-dimensional) Euclidean spaces to discrete (finite-dimensional) spaces typically studied in many subfields of AI. Generalizing harmonic analysis to discrete spaces poses many challenges: a discrete representation of the space must be adaptively acquired; basis functions are not pre-defined, but rather must be constructed. Algorithms for efficiently computing and representing bases require dealing with the curse of dimensionality. However, the benefits can outweigh the costs, since the extracted basis functions outperform parametric bases as they often reflect the irregular shape of a particular state space. Case studies from computer graphics, information retrieval, machine learning, and state space planning are used to illustrate the benefits of the proposed framework, and the challenges that remain to be addressed. Representation discovery is an actively developing field, and the author hopes this book will encourage other researchers to explore this exciting area of research.