Interactive Semantic and Aesthetic Guidance for Multi-View Visualization Design

Abstract

I det siste har mengden data i omløp blitt stadig større. Det er nyttig å analysere denne dataen ved hjelp av visualisering, men det er også vanskelig for brukere som ikke er eksperter i dette feltet. For å vise mer innblikk i datasett brukes ofte flere visualiseringer på samme skjerm. Slik bruk av flere visualiseringer er vanskeligere å designe gitt en mer komplisert designprosess, og er derfor mer utsatt for designfeil. Det er flere spørsmål som må besvares som en del av designprosessen: (1) Hvordan visualiseringen er spesifisert? (2) Hvordan kan man automatisk resonnere om visualiseringer? Dvs. finne nyttig informasjon som kan brukes i praksis? Og (3) Hvilke måter kan vi automatisk gjøre et design bedre og mer estetisk? En person har kanskje ekspertise til å besvare ett eller to av disse spørsmålene, men sjelden alle. I mange tilfeller vil en person ikke inneha ekspertise til å besvare noen av spørsmålene. Gitt den økende mengden med data som trenger analyse er det viktig å gjøre slik designekspertise tilgjengelig til gjennomsnittlige brukere gjennom programvare og mer automatiske løsninger.

I denne avhandlingen introduserer vi metoder som gjør ekspertkunnskap tilgjengelig for brukere som ikke er eksperter. Først introduserer vi en metode som lar brukere bygge et hierarki av enkle visualiseringer som resulterer i mer detaljerte hierarkiske visualiseringer. Denne metoden er muliggjort av vår nye datastruktur for å spesifisere, redigere og tegne hierarkiske visualiseringer ved å redigere et enkelt hierarki av enklere diagrammer. Vår metode inkluderer også mekanismer for mer fleksible måter å oversette et datasett til en visualisering. Denne fleksibiliteten gjør det mulig å skifte hurtig mellom forskjellige visuelle representasjoner, og å spesifisere visualiseringer mer uavhengig av hvordan den underliggende dataen er arrangert. Vår metode gjør det mulig å uttrykke et bredt spekter av forskjellige visualiseringer som ellers krever mye ekspertise å lage. Dette er demonstrert av vårt program som lar ikke-eksperter uttrykke detaljerte og estetiske hierarkiske visualiseringer.

Vi skifter så fokuset over på metoder for å veilede brukere mot å lage mer konsistente og kompakte samlinger av visualiseringer med vår nye metode kalt semantic snapping. Med semantic snapping kan brukeren selektivt utføre operasjoner for å løse potensielle designkonflikter som for eksempel tvetydiget eller overflødighet. Hovedideen bak vår metode er at hver samling av visualiseringer kan plasseres på et plan i henhold til graden av kompakthet og konsistens. Vi definerer disse designkonfliktene som algebraiske relasjoner, dvs. automatisk detekterbare algebraiske predikater som beskriver forhold mellom flere diagrammer. Basert på disse predikatene introduserer vi operasjoner for å fjerne disse relasjonene, noe som lar brukere forbedre det helhetlige designet et steg av gangen. Vi setter så disse relasjonene og operasjonene sammen til en arbeidsflyt, hvor brukeren kan utføre en operasjon av gangen, og derved forbedre et design et steg av gangen. Nytten av vår metode er demonstrert gjennom våre eksempelstudier, hvor vi viser stegvis forbedring av en eksisterende samling av visualiseringer.

In recent times, the amount of data has been increasing massively. Analyzing this data with the help of visualization is highly useful, but also difficult for non-experts. Multiple views are typically used in conjunction to visualize more complex insights into data. Such multi-view visualizations are more difficult to design, more prone to design errors, and involve a more complicated design process. When designing a multi-view visualization, there are several aspects to consider: (1) how the visualization is specified, (2) means for extracting useful and actionable information, i.e., reasoning about the visualization, and finally (3) means for achieving a refined, or more aesthetic design. A user may be an expert in one or two of these aspects, but rarely all of them. In many cases, the user is not an expert in any of these aspects. With the increasing amount of data that needs to be analyzed and communicated, it is essential to make these aspects of multi-view visualization design more available to non-expert users through interactive, automatic and semi-automatic approaches.

In this thesis, we introduce approaches to make typically ``expert-only'' techniques more available to non-experts. Therefore, we first introduce an approach that lets users use simple charts as building blocks to create more complex charts by nesting them. This approach is powered by our novel data structure for specifying, editing, and rendering a nested visualization by editing a hierarchy of charts. Within this approach we also provide mechanisms for flexible data mappings, which allows for rapidly toggling between different visual representations, and for specifying visualizations less dependent on specific underlying data arrangements. The expressive power of these contributions was integrated into our visual builder, which ultimately enables non-experts to express highly detailed and aesthetic nested visualizations as demonstrated by a wide range of results generated with our approach.

Then, we proposed means for guiding users towards creating more consistent and compact multi-view visualization designs with our novel approach dubbed semantic snapping. With semantic snapping, the user is able to selectively apply operations to resolve potential design conflicts, such as inconsistencies, ambiguities, or redundancies. The core idea of our method is that each design can be positioned in a semantic space according to its degree of compactness and degree of consistency. We then define design anti-patterns as algebraic relations that are automatically detectable. Given these algebraic relations, we propose corresponding operations to remove relations from the design by making changes to individual elements. Based on these relations and operations, we provide a workflow wherein operations are selectively made available to the user, enabling incremental refinement of a multi-view visualization design. We demonstrate the utility and value of our approach with case studies where we show incrementally refined and ultimately improved multi-view visualization designs.

We then address the problem of multi-view visualization layout with our approach for making multi-view visualization layouts ``content-driven''. From an existing grid layout, our approach generates an aesthetic, seemingly ``hand-crafted'' layout where elements are positioned according to their contents rather than bounding rectangles. This is achieved by using a force-directed layout to generate attraction and repulsion between elements. In this layout, attractive forces model the original arrangement of the grid layout, and are thus based on a minimal set of central elements derived from the original layout in an algorithmic fashion. The contents of the elements are modeled by repulsive forces, which are derived from the distance transforms of individual elements. This use of distance transforms for content-to-content repulsion handles highly irregular shapes, which allows for a better utilization of unused white space around the shapes. We demonstrate the value of our approach with case studies where our content-driven layout approach refines grid layouts with a high degree of unused white space into content-driven layouts that effectively utilize white space around irregular shapes, thus better capturing aesthetic qualities of an artistic design.