En veiledning til bruk av Jira for behandling av testtilfeller - Tricentis (2023)

Vi har nylig stilt mange spørsmål om brukJira for testcasebehandling. Fra hvordan man bruker Jira for testing til hvilke løsninger som best komplementerer en Jira-prosess, ser både Jira og testing ut til å være timens tema i disse dager.

Denne populariteten er ikke nødvendigvis overraskende gitt en fersk Tricentis-undersøkelse der 66 % av respondentene rapporterte å ha brukt Jira de siste månedene eller årene.

Så hva trenger du å vite når det gjelder å bruke Jira til testcasebehandling? Denne guiden vil lede deg gjennom alt fra suppe til nøtter, inkludert:

1. Utfordringer ved å bruke Jira til testing
2. Hvordan tilpasse Jira for testing
3. Fordeler og ulemper med å bruke Jira strengt tatt for testcasebehandling
4. Alternativer for å integrere testverktøy med Jira
5. Tips for å finne den beste løsningsmiksen for dine behov

For de som ikke vet, er Jira en problem- og prosjektsporingsprogramvare fra Atlassian. For øyeblikket er det det største programvareutviklingsverktøyet som brukes av Agile-team, og etter hvert som Agile-adopsjonen fortsetter å vokse, introduserer flere og flere organisasjoner Jira. Denylig børsnoteringsamtmassiv bølge av selskaper som forlater eldre ALM-leverandørerhar bare drevet den utbredte adopsjonen av Jira.

Selv om JIRA er designet for problem- og prosjektsporing, bruker mange team det til testcase-behandling slik at utvikling og testing kan forbli i ett system. Men hvordan er JIRA satt opp for testing? La oss ta en titt.

Utfordringer ved å bruke Jira til testing

Går tilbake til spørsmålet om hvordan JIRA er satt opp for testing, er det korte svaret at JIRA ikke er det. Virkeligheten er mye mer komplisert, spesielt gitt hvor mange organisasjoner som bruker den til testing i dag.

Når du begynner å se på hvordan du kan bygge en testprosess i Jira, er det vanligste stedet å starte med en problemtype. Du vil se at Jira har flere forskjellige typer problemer (Bug, Epic, Improvement), men ikke noe spesifikt for tester. Dette er fordi Jira ikke er en løsning for testsaksbehandling. Det er egentlig ment for problemsporing.

Du kantilpasse Jira på visse måter for å bruke den til noen testsaksbehandlingsprosesser, men dette er provisoriske tilpasninger og de har begrensninger som et resultat. For eksempel har hver arbeidsflyt som er bygget inne i Jira et endepunkt "ferdig". Men i testing, selv om du fullfører en test, betyr det ikke nødvendigvis at du faktisk er ferdig med den testen.

Dette oppsettet betyr at hvis du tilpasser Jira eller visse problemer for testcasebehandling, vil du alltid finne deg selv å flytte til en ferdig-status når du kanskje ikke er "ferdig" når en test er utført. Det du virkelig ønsker er å kunne bruke den testsaken til flere typer testing, enten det er forRegresjonstestingeller kjøre samme testcase under ulike parametere og konfigurasjoner for å validere en ny funksjon. Men siden Jira-problemer alltid er ment å bli presset til "ferdig", er du begrenset i fleksibiliteten til å gjenbruke problemet til testing.

Atlassians egen dokumentasjon på Jira sier at den kan fungere for manuell testing, aksepttesting og så videre, men den advarer tydelig om at det ikke er noen testspesifikk funksjonalitet innebygd naivt i Jira. Dessuten, hvis du bruker noen form for automatisering, må du bruke en annen løsning.

Selv med manuell testing og aksepttesting er det noen begrensninger. La oss si at Jira gjør en veldig god jobb med å kjøre en manuell testsak. Det kan fungere en gang eller for en helt ny funksjon, men så flytter du den til ferdig-statusen, og hva skjer videre? Hva om du vil gjøre regresjon eller øktbasert testing? Hvordan skal du gjenbruke disse objektene på tvers av prosjekter, tildele flere billettelementer og vise den dekningen? På grunn av måten Jira er satt opp på, kan du ikke.

Hvordan tilpasse Jira for testing

Til tross for begrensningene, bruker mange team JIRA for testcasebehandling, og de gjør det vanligvis ved å tilpasse problemer på en av to måter: legge til en "testcase"-problemtype, eller bruke "brukerhistorien." La oss se nærmere på hvordan hvert av disse alternativene fungerer:

Dypdykk: Legger til en "Test Case" problemtype

For å tilpasse Jira for testcasebehandling ved å legge til en "Test Case"-problemtype, må du utføre følgende trinn:

1. Opprett en "Test Case" problemtype
2. Legg til trinnene som kreves for å fullføre et forventet resultat
3. Gjør den testsaken til hovedproblemet for testingen du må gjøre
4. Lag en underoppgave og merk den underoppgaven som "Testkjøring" for å utføre testen
5. Legg inn resultatene, de berørte versjonene, resultatene av den og mottakeren som kjører testen i underoppgaven "Test Run"

Selv om denne tilnærmingen fungerer i teorien, byr den i realiteten på flere utfordringer:

• Gjentatte tester:Hvis du trenger å kjøre en testkjøring på nytt eller teste en ny versjon, må du legge til flere testkjøringer som underoppgaver, og du må legge til en underoppgave hver gang du vil logge historien til den testsaken.
• Gjenbruk av tester:Med testcasebehandling må du ofte gjenbruke testkjøringer og ha innsyn i logger over disse testkjøringene, men du kan ikke gjenbruke underoppgaver i JIRA fordi de er merket som "ferdig".
• Opprette dekningsrapporter:Fordi alle deloppgavene er tildelt under ett overordnet problem, kan du ikke gruppere flere testkjøringer til forskjellige konfigurasjoner og vise en dekningsrapport.

Dypdykk: Bruke «User Story»

Alternativt kan du tilpasse Jira for testcasebehandling ved å justere "Brukerhistorien". Slik fungerer denne tilnærmingen:

• Opprett en brukerhistorie (dette vil fungere som testsaken på samme måte som det nye foreldreproblemet gjorde i det første alternativet)
• Legg til en underoppgave som fungerer som en testsak eller en testkjøring som refererer tilbake til den brukerhistorien
• Hvis alle deloppgavene består, er User Story klar til å gå i produksjon

Nok en gang byr denne tilnærmingen på utfordringer fordi deloppgaven fungerer som testcase og testkjøring. Konkret gir det utfordringer rundt:

• Gjenbruk av tester:Hvis du noen gang vil bruke deloppgaven igjen, for eksempel i en regresjonssyklus eller som en lenke til en annen brukerhistorie, blir det komplisert siden brukerhistorien sannsynligvis har blitt merket som «ferdig».
  • Merk: Med Jiras arbeidsflyt lukkes alle problemer som er merket som ferdige. Hvis du må åpne en deloppgave på nytt og deretter konvertere den til en testcase-mal eller en testcase-type, ender du opp med mye overheadvedlikehold.
• Justering av testtilfeller:På grunn av dette oppsettet, hvis du har flere testtilfeller som lenker til flere brukerhistorier, blir det ekstremt vanskelig å samkjøre testtilfeller.

Fordeler og ulemper med å bruke Jira strengt tatt for testcasebehandling

Som eksemplene ovenfor illustrerer, mens Jira ikke er designet for testing, kan du tilpasse den for å oppfylle visse behov for testcasebehandling. Men bør du gjøre dette? La oss vurdere fordeler og ulemper ved å bruke Jira strengt tatt for testcasebehandling:

Fordeler med å bruke Jira for testcasebehandling:

• Evne til å lage tilpassede problemtyper som testcases
• Én arbeidsflyt for QA-, utvikler- og testhandlinger
• Evne til å bruke eksisterende rapportering (og Jira tilbyr utmerket rapportering)
• Evne til å bruke et allerede kjøpt og kjent verktøy (hvis du allerede har Jira på plass)
• Bra for manuell engangsutførelse

Ulemper med å bruke Jira for testcasebehandling:

• Ingen testing av spesifikk funksjonalitet (dette er noe som Atlassian selv kaller ut)
• Integrerer kun med testrammeverk via CI-serveren
• Manglende evne til å lage en dekningsrapport for testtilfeller som dekker manuell kjøring, automatiseringskjøring og sesjonsbasert kjøring
• Ingen sporbarhetsrapportering mellom problemer og dekning av testtilfeller
• Ingen måte å kjøre henrettelser mer enn én gang, noe som betyr betydelig dobbeltarbeid
• Begrensninger rundt testsyklus og utførelse av suite, utførelsesstatus for testtrinn, versjonskontroll og miljøkonfigurasjon

Alt dette betyr at ting du vanligvis ville gjort med et testcase- og miljøutførelsesverktøy, for eksempel gruppering av testsykluser og testkjøringer, kjøring av testkonfigurasjoner og håndtering av versjonskontroll, ikke støttes. Dette får deg til å tenke:Er Jira virkelig bygget for testing, eller tvinger du problemet(ingen ordspill ment, siden alt i JIRA er et problem)? I de fleste tilfeller tvinger du problemet, og det er sannsynligvis en bedre måte.

Alternativer for å integrere testverktøy med Jira

Fordi Jira ikke er designet for testing, utgjør det mange begrensninger når det brukes til testformål. Den største begrensningen er uten tvil manglende evne til å gjenbruke og sentralisere testarbeid.

Så hvis du har gjort overgangen til Jira og utviklerne dine elsker det, hva kan du gjøre? Er det noen måte for testteamet ditt å få verdi ut av Jira? Integrasjoner kan hjelpe.

Fordi Jira ikke er designet for testing, utgjør det mange begrensninger når det brukes til testformål. Den største begrensningen er uten tvil manglende evne til å gjenbruke og sentralisere testarbeid.

Det er to typer integrasjoner du kan bruke for å legge til testfunksjonalitet til Jira:

1. Add-ons, som er interne integrasjoner som bor inne i Jira-applikasjonen og utvider noe av testcase-funksjonaliteten
2. En ekstern integrasjon med en dedikert testcasestyringsverktøy

La oss se nærmere på hva hver av disse integreringsalternativene innebærer:

Hva med Jira-apper eller tillegg?

Tillegg er tilgjengelige viaAtlassian Marketplace. Noen få ofte brukte tillegg for testing inkluderer:

• Røntgen for JiraogZephyr for Jirafor manuell testkjøring (Xray tilbyr også litt funksjonalitet rundt BDD-testing)
• Behave ProogTre hundreqTest Scenariofor BDD, TDD og ATDD-testing (disse er best for mindre team eller de som omfavner mer av en Agile 2.0-plass inne i JIRA)

Disse tilleggstypene utvider funksjonaliteten til Jira for å gjøre den bedre rustet for testcasebehandling. For eksempel legger Xray automatisk til en "Test"-problemtype til listen over problemer og lar deg legge til testcase-trinn til Testproblemtypen. Dette oppsettet lindrer problemet med å lage en egendefinert problemtype som krever at du legger til en bulkseksjon som inkluderer fullførte trinn og forventede resultater (som igjen gir deg store biter av testing som du må gjøre alt på en gang og manglende evne til å satt inn linje for linje hvor trinnene mislyktes, hvor de ble utført og hva din faktiske utførelse var).

I mellomtiden, hvis du prøver å gjøre BDD-testing, er det vanskelig å følge syntaksen "gitt, når, da" i JIRA alene, men et tillegg som Tricentis qTest Scenario gjør det mulig. Tricentis qTest Scenario lar deg importere punktfunksjonsfilene dine sammen med scenariene dine som problemtyper, slik at du ikke lenger trenger å lage standard problemtyper. I stedet kan du legge til i Gherkin-stilen testskriptspråk i scenariet, hvor du deretter kan lage en dot feature-fil. Du kan også lage scenariefiler som knyttes til disse punktfunksjonsfilene inne i JIRA, som lar deg legge dem til en brukerhistorie.

Fordeler med å bruke tillegg

Generelt prøver testtilleggene å samle testgruppene som skjer i Jira, slik at du kan trekke alle testtilfellene du har inn i sykluser eller suiter. De lar deg også se de siste utførelsesresultatene av testtilfellene for hver gruppering, noe som skaper synlighet i grupperingen av testutførelser.

Andre fordeler med å bruke tillegg for å forbedre testfunksjonaliteten til Jira inkluderer:

• Opprettholde et lignende utseende og preg som Jira
• Å bruke dashbordene inne i Jira
• Forenkle innkjøp ved å håndtere det online gjennom Atlassian Marketplace
• Få tilgang til å teste spesifikk funksjonalitet
• Få muligheten til å koble testobjekter til andre problemer

Ulemper med å bruke tillegg

Selv om tilleggene hjelper mye, vil du fortsatt være litt fastlåst i forhold til hva du kan og ikke kan gjøre med tekstkjøringen din fordi tilleggsfunksjonaliteten er begrenset basert på hva Jira-infrastrukturen tillater.

For eksempel skaper tilleggene en litt mer manuell prosess enn du ville ha gjort med en dedikert løsning for testcasehåndtering. I tillegg er alt du gjør inne i tillegget begrenset til det aktuelle prosjektet, noe som betyr at du ikke kan legge det samme problemet i flere prosjekter.

Tilleggene presenterer også noen versjonsbegrensninger når du oppretter en testcase. Vanligvis, hvis du oppretter et problem og går for å kjøre problemet, er kjøringen ganske enkelt en duplisering av testsaken. La oss si at du har fem trinn i en testsak som er i en syklus som skal kjøres, og du legger til et nytt trinn. Jira vil automatisk skyve disse dataene over i hver testcase, noe som betyr at du ikke kan beholde forskjellige versjoner. Med Tricentis qTest og noen andre verktøy kan du faktisk holde styr på forskjellige versjoner av testtilfeller og kjøre tidligere versjoner når du kjører, men du må ha en en-til-en versjonshistorikk for utførelse av testsaken for å gjøre det .

Til slutt, når du bruker et tillegg, tilsvarer en testsak et Jira-problem. Det ser kanskje ikke slik ut, men det er slik det er med alle tilleggene, og det oppsettet har begrensninger.

Annenulemper med å bruke tillegg for å forbedre testfunksjonaliteten til Jirainkludere:

• Null eller begrenset tilgjengelighet for gjenbruk av testsykluser (du kan kanskje klone en testsyklus, eller du må kanskje flytte testsaker til en ad hoc-testsyklus som ikke er knyttet til en utgivelse)
• Ingen logiske mappestrukturer
• Ukjent endringshistorikk for testcase-versjoner og begrenset innsyn i testutførelseshistorikk
• Manglende evne til å dele testcase-objekter på tvers av Jira-prosjekter, noe som gjør skalering vanskelig og skaper mye duplikatarbeid siden du ikke kan kjøre den samme testen med forskjellige variabler
• Begrenset skalerbarhet for lagring av et stort volum testresultatdata, som ofte blir et problem når team går over til automatisert testing

Dypdykk: Dedikert løsning for testcasehåndtering

De fleste testteam sliter med å være veldig effektive. Ofte er det fordi de rett og slett ikke bruker det riktige verktøyet. Et dedikert verktøy for testcasehåndtering kan bidra til å forbedre effektiviteten, og det er mange som nå tilbyr et visst nivå av ekstern integrasjon med JIRA for å bringe mer testspesifikk funksjonalitet til testprosessen din, samtidig som du fortsatt kan bruke JIRA.

De fleste testteam sliter med å være effektive. Ofte er det fordi de rett og slett ikke bruker det riktige verktøyet.

Hva gjør teststyringsverktøy?

Testadministrasjonsverktøy:

• Konsolider all din automatiserte og manuelle utførelse:Mange av tilleggene fokuserer på bare manuell utførelse, BDD eller TDD, men hvis du gjør en Selenium-automatisering eller et tilpasset rammeverk, vil du konsolidere alle utførelsene dine på en måte som også kommuniserer med JIRA. Et dedikert verktøy for håndtering av testsaker kan hjelpe deg med å oppnå dette målet.
• Tilby forbedret kjøringsoppsett og muligheten til å gjenbruke kjøringer:Tillegg kan gruppere testtilfeller i sykluser, men de kan ikke sette testsykluser i andre sykluser eller ha en syklus som tester utførelse av suiter. Dedikerte verktøy for testcasehåndtering kan derimot gjøre det. Disse verktøyene tillater også skalerbarhet ved å gjøre det slik at du ikke trenger å gå tilbake til kildeposten og kopiere og endre testtilfeller.
• Vis hele henrettelseshistorien inne i Jira:Ved å vise hele utførelseshistorikken inne i Jira, kan et dedikert verktøy for testcase-administrasjon hjelpe deg med å finne ut hvordan en testcase presterer gjennom testfaser. Denne visningen hjelper deg enkelt å se ting som hvorfor en testsak mislyktes.
• Lar deg dele testtilfeller med flere prosjekter:Dedikerte verktøy for testcasehåndtering kan også eliminere isolasjonen av testcases ved å gjøre det enkelt å dele testcases med flere prosjekter. For eksempel medTre hundreqTest, kan du ha flere testkjøringer av samme testtilfelle, og hver testkjøring kan ha en annen konfigurasjon, miljøoppsett, resultater, tildelte osv., men de kan alle være knyttet til samme testtilfelle. Dette oppsettet lar deg bruke testsaken som en mal i stedet for å måtte duplisere den om og om igjen.
• Tilby bedriftsskalerbarhet:I motsetning til Jira-apper og tillegg, er ikke Tricentis qTest avhengig av Jira-databasen eller datastrukturer for å huse data. For å lære mer om lagringsbegrensningene til Jira,les resultatene av eksperimentet vårt med Jira Server og en felles testadministrasjonsapp.

Fordeler med å bruke et dedikert verktøy for testcasehåndtering

Ved å tilby funksjonaliteten som er beskrevet ovenfor, kan integrering av et dedikert verktøy for testcasehåndtering gå en lang vei mot å forbedre testingen i Jira. Fordeler med denne tilnærmingen inkluderer:

• Tilgang til bedriftstestfunksjoner som konfigurasjonsbehandling, CI-integrasjoner med Jenkins og Bamboo og automatisert teststøtte
• Evne til å bruke testcase-repositorier som er tilpasset basert på maler
• Evne til å gjenbruke testcases og dele objekter på tvers av ulike prosjekter
• Støtte for flere teststrategier

Ulemper med å bruke et dedikert verktøy for testcasehåndtering

Til tross for all verdien å integrere et dedikert verktøy for testcasehåndtering med JIRA kan gi, har det fortsatt sine begrensninger. Ulemper med denne tilnærmingen inkluderer:

• Håndtere konstant databasesynkronisering mellom verktøyet og Jira (mer om dette følger)
• Administrere tillatelser for artefaktkartlegging
• Omgå nettleserrestriksjoner (f.eks. HP krever Internet Explorer)
• Mangler en full integrasjon med Jira
• Arbeide rundt varierende grad av åpen kildekode-vennlighet blant dedikerte verktøy for håndtering av testsaker

Med disse ulempene i tankene, er det et par punkter du bør vurdere for å avgjøre om fordelene ved en ekstern integrasjon med et dedikert verktøy for testcasehåndtering oppveier ulempene eller ikke:

• Har teamet ditt et bredt spekter av testmetoder?Hvis du er et lite team som bare gjør manuell testing og det ikke er noe press for automatisering, kan et tillegg eller Jira alene fungere. Men hvis du har et bredt spekter av testmetoder, trenger du sannsynligvis et dedikert verktøy for håndtering av testsaker.
• Garanterer teststrategien din et testverktøy for bedrifter?Hvis det er noe du trenger, så er en ekstern integrasjon veien å gå. Hvis det rett og slett er fint å ha, kan et tillegg eller Jira alene fungere.

Få det beste fra begge verdener

Mens et dedikert verktøy for håndtering av testsaker tilbyr den beste opplevelsen for testing inne i Jira, har det vanligvis noen ulemper. Det er imidlertid mulig å få det beste fra begge verdener mellom et verktøy for håndtering av bedriftstestsaker og Jira.

Nøkkelen til å oppnå denne balansen er å forstå at ikke alle integrasjoner er skapt like og identifisere typen løsning som tilbyr den optimale integreringsopplevelsen for dine behov. For eksempel bruker de fleste testløsninger enplanlagt synkronisering, menTre hundre qTest Managerhar en sanntidsintegrasjon som bruker webhooks.

Med en planlagt synkronisering må du kartlegge hele verktøyskjemaet for testsaksbehandling til JIRA-skjemaet ditt, noe som betyr at du hele tiden må trekke data og bruke ressurser for å holde systemet oppdatert. En planlagt synkronisering er også utsatt for forsinkelser, dårlig ytelse på grunn av APIer som hele tiden prøver å finne ut hva som er oppdatert og datakorrupsjon hvis det oppstår tidsplankollisjoner. Alt dette krever mye ressurser for å administrere integrasjonen.I mellomtiden, med en sanntidssynkronisering, får du en rett kartlegging mellom et prosjekt (og dets problemer, enten de er User Stories, Epics, underoppgaver osv.) og JIRA, og du kan deretter vise testcasedekning mot disse problemene . Denne sanntidssynkroniseringen tilbyr en direkte innsending til JIRA for defekter, nettleserautomatisering og innebygd rapportering, pluss at den sikrer datanøyaktighet siden JIRA alltid er kildeposten for brukerhistorier og defekter. Sanntidssynkroniseringsalternativet holder både utviklere og testere fornøyde fordi det lar alle fortsette å gjøre alle oppdateringene sine inne i Jira og krever bare at du trekker problemene du bryr deg om inn i testcase-administrasjonsverktøyet, hvor du deretter kan lage testcases og testkjøringer og kartlegge disse til kravene fra Jira. Når du har utført disse kjøringene, kan du ganske enkelt skyve defekten tilbake til Jira for å samhandle med den og begynne å jobbe med en løsning. Dette lar alle fortsette å gjøre alle oppdateringene sine inne i JIRA og krever bare at du tar de problemene du bryr deg om. Med denne typen integrasjon på plass, kan utviklerne holde seg inne i Jira (i stedet for å gå til et annet verktøy for å se alt), og testerne dine får tilgang til bedriftsfunksjonene som mangler fra mange av tilleggene som er tilgjengelige – alt uten en komplisert, tidkrevende integrasjon å administrere. Du får med andre ord det beste fra to verdener.

Hvilket alternativ er riktig for din organisasjon?

Til syvende og sist, hvilken blanding av løsninger – bare Jira, Jira pluss et tillegg eller Jira pluss en ekstern integrasjon – som er riktig for teamet ditt, avhenger mye av størrelsen på teamet ditt og typene tester du gjør.

For å hjelpe deg med å finne den løsningsmiksen som passer best for dine behov, har vi kartlagt våre anbefalinger i følgende diagram: