Dissertations - University of Groningen
 
vp.jpg
English | Nederlands

Extreme data lineage in ad-hoc astronomical data processing

(2012) Mwebaze, Johnson B.

This research addresses the problems encountered in tracing and using lineage of data, pixels and code with ad hoc astronomical data processing. We describe a data model for ad hoc-based data processing and provide methods for tracing, querying and viewing its lineage. We show that data, pixel and code lineage can be used to facilitate efficient processing through incremental re-computation, as well as semi-automatic modification of processing steps, and sub-image processing.

We describe an implementation of these techniques in an all-in-one system, Astro-WISE, that allows a scientist to archive raw data, calibrate data, perform post-calibration scientific analysis and archive all results in one environment. Astro-WISE combines the use of data, pixel and code lineage to support multiple surveys with a novel way to process wide-field astronomical data in a distributed environment.

We present an example to demonstrate Astro-WISE's efficiency in searching for rare astronomical objects: we discover several of the most distant quasars in the Universe





Please use this identifier to cite or link to this item:
http://irs.ub.rug.nl/ppn/352217537

More information in the catalogue
More information in Picarta


ID 37109
Mother ID 36577
Order mwebaze.j.b.
Name j.b.mwebaze
Publish yes
Embargo until 2012-11-30
OAI name Dissertation
Path faculties/science/2012/j.b.mwebaze/
Name Cover vp.jpg
Created on: 2012-11-05 09:47:19
Last modified: 2013-02-15 14:28:01
Digital ID 50978b2771013
Institute Faculty of Mathematics and Natural Sciences
Place of publication Groningen
Research institute Choose your Research institute
Graduation date 2012-11-30
Date available 2012-11-05
Title Extreme data lineage in ad-hoc astronomical data processing
Title order Extreme data lineage in ad-hoc astronomical data processing
Electronic no
Exchangeable no
Printing on demand no
Export? yes
Number of pages 207
Year issued 2012
Language en
Type Dissertation
Abstract NL Bij wetenschappelijke dataverwerking is het handig om de afkomst van gegevens, beeldpunten en programmacode te kennen. Het proefschrift van Johnson Mwebaze behandelt de problemen die optreden bij het vastleggen en gebruiken van deze kennis in een omgeving met ad-hoc dataverwerking.

Mwebaze ontwikkelde een datamodel dat geschikt is voor zulke ad-hoc gegevensverwerking en dat beschikt over methoden om de bijbehorende afkomst te bewaren en op te vragen. De afkomst van gegevens, beeldpunten en programmacode leidt tot efficiëntere dataverwerking, tot gedeeltelijke verwerking van astronomische afbeeldingen en tot het halfautomatisch aanpassen van verwerkingsstappen.

Deze technieken werden geïmplementeerd in het alles-in-een systeem Astro-WISE. Wetenschappers kunnen daarmee ruwe data archiveren, kalibreren en analyseren. Astro-WISE combineert de afkomst van gegevens, beeldpunten en programmacode om zo meerdere surveys te kunnen ondersteunen met een innovatieve verwerkingsmethode van astronomische afbeeldingen. Dit gebeurt in een gedistribueerde omgeving.

Mwebaze demonstreerde de efficiëntie van Astro-WISE bij het zoeken naar bijzondere sterrenkundige objecten en ontdekte enkele van de verst weggelegen quasars.
Abstract EN This research addresses the problems encountered in tracing and using lineage of data, pixels and code with ad hoc astronomical data processing. We describe a data model for ad hoc-based data processing and provide methods for tracing, querying and viewing its lineage. We show that data, pixel and code lineage can be used to facilitate efficient processing through incremental re-computation, as well as semi-automatic modification of processing steps, and sub-image processing.

We describe an implementation of these techniques in an all-in-one system, Astro-WISE, that allows a scientist to archive raw data, calibrate data, perform post-calibration scientific analysis and archive all results in one environment. Astro-WISE combines the use of data, pixel and code lineage to support multiple surveys with a novel way to process wide-field astronomical data in a distributed environment.

We present an example to demonstrate Astro-WISE's efficiency in searching for rare astronomical objects: we discover several of the most distant quasars in the Universe
Publisher University of Groningen
Relation URI http://www.rug.nl/
Rights University of Groningen
PPN 352217537
ISBN 9789036757591 (ISBN gedrukte versie); 9789036757607 (ISBN elektronische versie);
Subject GOO Sterrenkunde; Data-analyse; Gegevensverzameling; Observatiemethoden; Herkomst; Koppeling van databanken; Ontstaansgeschiedenis; Proefschriften (vorm);
Subject NBC praktische astronomie: algemeen;
Author Mwebaze, Johnson B.;
Tutors Valentijn, E.A.;


 
To top