Fullständig testrapport

Info

_{Datum: 18/5 -18
Version av systemet: v0.8
Testmiljö: Kubuntu 17.10, Chrome 65 x64}

_{Övergripande sammanfattning:
Ett antal olika tester har under projektets gång genomförts för att säkerställa den funktionalitet som levereras och kvalitén på systemet. Efter åtta iterationer har vi landat med ett otroligt vältestat system, både genom manuella tester, enhetstester och stresstester, och vi känner alla att vi har stort förtroende för den applikation som vi slutlevererar. Tack vare flitig explorativ testning inom utvecklingsgruppen så har vi kontinuerligt upptäckt ett antal buggar i god tid som har hanterats strax därefter och på så sätt gjort applikationen ännu stabilare. Syftet har hela tiden varit att identifiera brister hos klienten eller servern för att kunna stärka dessa och få en bättre slutprodukt. Genom acceptanstester som har genomförts av kund har vi också fått bekräftat att det vi levererar kommer vara vad som förväntas av kund.}

_{Nedan sammanfattas varje testform eller testområde som genomförts under projektets gång och status för dessa.}

Klient

_{Senast genomförda tester: Under iteration 8
Senast testad version av systemet: v0.8}

_{Sammanfattning:
På klienten har manuella tester från systemtester tillsammans med enhetstester kontinuerligt genomförts. De manuella testerna har testat funktionalitet, medan enhetstesterna har säkerställt strukturen på applikationen när det kommer till komponenterna och att dessa agerar på det sätt de ska. På så sätt har vi fått bekräftat att klientapplikationen behåller sin struktur, att komponenterna byggs på liknande sätt och att även funktionaliteten är den som efterfrågas.}

_{För fullständig resultatsrapportering på klienten, se den senaste testrapporten.}

Server

_{Senast genomförda tester: Under iteration 8
Senast testad version av systemet: v0.8}

_{Sammanfattning:
På servern har manuella tester från systemtester tillsammans med enhetstester kontinuerligt genomförts. De manuella testerna har varit ovärdeliga eftersom servern interagerar med tredje part - det är därför nödvändigt att utföra manuella tester för att skicka mail och kontrollera om mail skickats och tagits emot på korrekta sätt till externa email-addresser. De manuella testerna har därför använts både skriptat och explorativt i utvecklingssyfte, och har nu när all funktionalitet tagit form kunnat fastställas i form av skriptade tester. Under utveckligen har manuella tester använts kreativt för att testa ännu ej färdigställd funktionalitet. De automatiska enhetstesterna säkerställer främst att metod-signarurer och klasser förblir konsekventa genom utvecklingen, vilket är en nödvändighet vid samarbete.}

_{För fullständig resultatsrapportering på servern, se den senaste testrapporten.}

Systemtester

_{Senast genomförda tester: Under iteration 8
Senast testad version av systemet: v0.8}

_{Sammanfattning:
Systemtesterna har testat olika sammanhängande delar av systemet relaterat till funktionella krav samt vissa kvalitetskrav. Tillsammans har systemtesten täckt alla de funktionella kraven, och vid senast genomförda testperiod gick alla systemtest igenom utan problem enligt rapporteringen nedan. På så sätt har vi säkerställt att samtliga delar som testats fungerar enligt de manuella testfallen. För att se de fullständiga testfallen, se de manuella testfallen för klient och server i Testspecifikationen.}

Systemtest 1: Säkerhet — Kvalitetskrav #9, Funktionellt krav #25

Område	ID	Testfall	Status
Server	T1	Autentisera servern mot mailadressen som ska bevakas - lyckad autentiering
Server	T2	Autentisera servern mot mailadressen som ska bevakas - autentiering behöver en upprepas
Server	T3	Autentisera servern mot mailadressen som ska bevakas - autentiering upprepas om cookie tas bort
Server	T4	Autentisera servern mot mailadressen som ska bevakas - autentiering upprepas om server startas om
Server	T5	Autentisera servern mot mailadressen som ska bevakas - misslyckad autentiering
Server	T6	Autentisera servern mot mailadressen som ska bevakas - nekad autentiering

Systemtest 2: Visning av ärenden — Funktionellt krav #14, #17, #23

Område	ID	Testfall	Status
Server	T1	Autentisera servern mot mailadressen som ska bevakas - lyckad autentiering
Server	T2	Autentisera servern mot mailadressen som ska bevakas - autentiering behöver ej upprepas
Server	T3	Autentisera servern mot mailadressen som ska bevakas - autentiering upprepas om cookie tas bort
Server	T4	Autentisera servern mot mailadressen som ska bevakas - autentiering upprepas om server startas om

Systemtest 3: Ärendehantering — Funktionellt krav #16, #19, #20, #24

Område	ID	Testfall	Status
Server	T1	Autentisera servern mot mailadressen som ska bevakas - lyckad autentiering
Server	T2	Autentisera servern mot mailadressen som ska bevakas - autentiering behöver ej upprepas
Server	T3	Autentisera servern mot mailadressen som ska bevakas - autentiering upprepas om cookie tas bort
Server	T4	Autentisera servern mot mailadressen som ska bevakas - autentiering upprepas om server startas om
Klient	T4	Ändra status på ärende - flerkortsvy, uppdatering till kund
Klient	T5	Ändra status på ärende - enskild kortvy, utan uppdatering till kund
Klient	T6	Tilldela ärende
Klient	T7	Tilldela ärende - ta bort tilldelning
Klient	T8	Svara på ett ärende
Klient	T9	Svara på ett ärende - med radbrytning

Systemtest 4: Inkomna mail — Funktionellt krav #15, #21, #22

Område	ID	Testfall	Status
Server	T1	Autentisera servern mot mailadressen som ska bevakas - lyckad autentiering
Server	T2	Autentisera servern mot mailadressen som ska bevakas - autentiering behöver ej upprepas
Server	T3	Autentisera servern mot mailadressen som ska bevakas - autentiering upprepas om cookie tas bort
Server	T4	Autentisera servern mot mailadressen som ska bevakas - autentiering upprepas om server startas om
Server	T7	Ta emot mail som skickas till den autentierade mailadressen

Systemtest 5: Registrerade mailadresser — Funktionellt krav #18

Område	ID	Testfall	Status
Klient	T1	Lägga till ny mailadress
Klient	T2	Lägga till ny mailadress - felaktig input
Klient	T3	Lägga till ny mailadress - redan registrerad mailadress

Acceptanstester

_{Datum: 16/5 -18
Genomfördes av: Anton K. Myrberg (slutkund)
Testad version av systemet: v0.7}

_{Sammanfattning:
Acceptanstesterna syftar på att bekräfta för kund att systemet håller den funktionalitet som förväntas vid slutleveransen och testar därmed alla funktionella krav (#14-26). Vid en leverans genomfördes alla acceptanstester live av kund, varpå alla gick igenom och godkändes utan att kund hade några anmärkningar. Därmed kan man dra slutsatsen att systemet håller den funktionalitet som har utlovats vid slutleverans. För att se de fullständiga acceptanstesterna, se de manuella testfallen.}

ID	Acceptanstest	Funktionellt krav	Status	Godkänt av kund
A1	Användare ska kunna autentisera sig mot Gmail via OAuth	#25		Ja
A2	Användare ska kunna hantera registrerade mailadresser	#18		Ja
A3	Användare ska kunna hantera ansvariga som kan tilldelas ärenden	#26		Ja
A4	Användare ska få in helt nya mail "real-time" som ärenden från registrerade mailadresser	#15		Ja
A5	Användare ska kunna se listade ärenden som inkommit via mail från registrerade mailadresser	#14		Ja
A6	Användare ska kunna få upp en vy med detaljerad information om ett ärende	#23		Ja
A7	Användare ska kunna tilldela en ansvarig till ett ärende	#24		Ja
A8	Användare ska kunna ändra status på ärenden	#16		Ja
A9	Användare ska kunna skicka statusuppdateringen till ansändaren	#20		Ja
A10	Användare ska kunna skicka meddelanden till ärendens avsändare via mail	#19		Ja
A11	Användare ska kunna se meddelande-historik av ärenden	#17		Ja
A12	Mail från icke-registrerade avsändare ska vidarebefordras till annan mailadress	#21		Ja
A13	Vid oväntade fel ska mail vidarebefordras till annan mailadress	#22		Ja

Stresstester

_{Genomfört: Under iteration 8
Senast testad version av systemet: v0.8}

_{Sammanfattning:
Med hjälp av JMeter så har systemet genomgått ett antal olika stresstest för se hur applikationen och servern reagerar under hög belastning. Stresstesterna simulerade en stor mängd besök av applikationen, tilläggning av ny data eller olika händelser genom Websocketen, och i det stora hela framgick det inga problem utifrån resultaten från testerna. För en fullständig redovisning av resultaten, se hela testrapporten.}

ID	Testfall	Felprocent	Åtgärd
T1	Åtkomst till servern	0%	Ingen åtgärd krävs
T2	Fyll kundlistan	1.08%	Ingen åtgärd krävs
T3	Fyll listan för ansvariga	3.32%	Ingen åtgärd krävs
T4	Skicka meddelanden	5.82%	Ingen åtgärd krävs
T5	Uppdatera status	2.05%	Ingen åtgärd krävs
T6	Tilldela ansvarig	2.05%	Ingen åtgärd krävs