Gå till innehåll

Har sedan igår tillbringat tiden pa arets EuroSTAR i Norra England. Ja det regnar här. Gårdagen bjod pa Torkil Sonne fran Specialisterna. En man med visionen att autistiska personer ska kunna använda sina speciella egenskaper till att gora ett extra bra jobb inom vissa typer av arbetsuppfifter. En autistisk person är extremt noggrann, gor en lika bra test femte gangen som den första och ar expert på att förstå komplicerade samband. En riktigt intressant presentation som lockade till både skratt och eftertänksamhet.

Jag lyssnade ocksa pa Matthew Archer som pratade om model-based testing i ett RUP-projekt. De hade utgått fran de modeller som skapades for användningsfall och affärsprocesser. Rätt tänkt men ofta saknas tyvärr den informationen i de projekt jag jobbar i vilket betyder att jag far skapa modellerna sjalv.

Första keynote speaker "investing in the dream team" var sa otroligt tråkig att jag inte bryr mig om att kommentera den alls.

Onsdagen inleddes med Scott Barber som pratade om hur Performance Test Lead oftast är en extremt kompetent generalist som bor vara ledaren av specialisterna i ett projekt for alla para-funktionella tester som användbarhet, performance etc. Hans tankar ligger i linje med James Bach context-driven school och exploratory testing. Det gar inte att göra en bra detaljerad plan för prestandatester då allt beror på vad som händer i nästa test... En entusiastist talare och amerikansk fotbollsspelare.

Nu har jag uppdaterad min egen presentation och ska prata om 45 minuter. Lite nervös och trött fram gårdagskvällens mexikanska middag med ENEA och öl med Andy, Steve och Tone. Pablo underhöll oss alla med spanska sånger ackompanjerade på gitarr.

Min presentation gick bra, ca 220 personer enligt Pablo som räknade, Lite nervöst i början men sen flöt det på bra. Det ska bli spännande att få utvärderingen från deltagarna som är sammanställd om en månad ungefär.

Julie Gardiner engagerade oss med sin presentation om vikten av att ha en kompetensplan och jobba för oss själva. Fast den var väldigt lik förra årets version så något nytt gav den inte mig. Bert Broekman pratade om testorganisations uppgång och fall. Precis som med romarriket så hade han varit med om två lyckade införanden som slutade med att test ifrågasattes och lades ner! Things testers miss var James Lyndsays bidrag och hade väl mer karaktären av lite kul grej snarare än en djupare analys av fakta.

Men det viktiga är ju ändå det som händer utanför föreläsningarna. Alla kontakter med testare från Sverige, Norge, Danmark,USA, Island, England, Holland och Israel som jag pratat med. Inte att förglömma partyt som Mercury Nordic bjöd på. Ölet flödade ackompagnerat av den vanliga Engelska husmanskosten av stek och friterad fisk.

Slutligen torsdagen då per Runesson berätta om sin intressanta undersökning av enhetstestning i industrin.
Testing hats av Andrew Goslin som handlade mest om Edward de Bona och lite om Belbin. Lättsamt men inget nytt. Sista föredraget av Randy Rice var en besvikelse, hans försök att kombinera test av användningsfall och parvisa tester tror jag inte fungerar. Scenarier består ju av olika kombinationer av flöden och därmed ofta olika antal variabler. Sen kan man ju undra om det bästa sättet att täcka en flödesgraf är att jobba med variablerna i par, nej jag tror inte det.

Kvällen började på Old Trafford, Manchester Uniteds hemmaarena. Det LÄT bra men det var ett riktigt omysigt ställe att ha fest på. Men man får inte roligare än vad man gör sig så i gott sällskap var kvällen ändå toppen. Legenden Jack Charlton höll ett kul tal som höll på lite för länge för en fotbollsointresserad grabb som jag. Tyvärr så fortsatte vi kvällen på ännu en pub vilket var lite i mesta laget. Det var inte helt lätt att komma upp i tid till morgonflyget.

Så nu är jag hemma igen. Matt men nöjd och med många nya idéer och fylld av inspiration. Har bläddrat i min signerade version av TMAP Next och gillar avsnittet om testdesign.

Vi ses nästa år i Stockholm.

Ett nytt nätverk för test har bildats. I samband med detta har Rolf Nilsson skapat en diskussionsgrupp på google.

GÃ¥ in pÃ¥ Testexpertgruppen och anmäl dig som medlem eller läs vad andra frÃ¥gar och svarar om test. Skillnaden mot detta forum är att ALLA medlemmar kan starta sina egna diskussioner istället för att behöva läsa pÃ¥ det jag finner intressant för tillfället 🙂

Äntligen dags för vår första Peer Conference i test

Helgen 11-12 november samlades ett tappert gäng på Högberga gård, Lidingö för att i två dagar diskutera testdesign. Konferensen har som mål att deltagarna ska få presentera sin egna erfarenheter och alla får sen ställa frågor och kommentera. Skillnaden mot "vanliga" konferenser är att dn som presenterar säger det han ska och sen ställs det ett par frågor för sakens skull. I vårt fall är det tvärtom, presentationen tar mellan 20 och 30 minuter och den efterföljande diskussionen för de först två presentationerna tog en dryg timme för varje presentation. För första gången på länge känner jag att vi verkligen har en diskussion och och utbyte av värde. Förhoppningen är att detta första mötet följs av åtskilliga liknande möten.    

Till vår hjälp hade vi testgurun James Bach som troligen är den som deltagit i flest liknande konferenser i USA och England. James började med att berätta reglerna för mötet vilka kan sammanfattas som:

1. Alla presentationer bygger på egna erfarenheter

2. Allt som sägs på mötet får föras vidare

3. Varje presentatör får presentera sin sak utan att bli avbruten

4. Efter detta följer diskussionsstunden där övriga deltagare ställer frågor eller kommenterar det som sagts. Vi bestämmer själva hur länge diskussionen pågår genom att sluta ställa frågor.

5. Agendan för mötet och inbjudna deltagare bestäms av Content Owner: den person som arrangerar mötet. Moderator som håller reda på diskussioner och frågor kallas i vårt fall Facilitator.

Deltagare denna gång var:
Content Owner: Torbjörn Ryber
Special Guest: James Bach
Deltagare: Siv Carlsson, Klaus Andersson, Daniel Nordling, Pablo Garcia (han som har många strängar i sin villa enligt CS 10 nov), Jörgen Damberg, Anders Claesson, Frederik Rydberg, Michael Albrecht, Örjan Svensson, Rolf Nilsson, Ann-Charlotte Bolander

Jag fick äran att inleda konferensen med en kort presentation om test av en kreditratingfunktion. Efter en tjugo minuter lång beskrivning av hur testdesign fungerade otroligt kraftfullt för att hitta fel i kraven innan någon kodning hade startat följde en timmes frågestund. Verkligen kul att alla är så engagerade. 

Klaus Andersson berättar om hur de använder sig av all-pairs för att få en rimlig mängd testfall då de får nya versioner av elektroniken i bilar. Spännande att höra om all funktionalitet som finns kopplat till bilen i form av signaler från krockkuddar, bensintank, GPS etc och automatiska funktioner som skickar SMS vid en krock. James visade en demo av ett nytt verktyg för att ta fram parvisa tester som heter PICT. 

Dags för nästa presentation om Free User Testing på Maquet.  Frederik Rydberg berättar hur de kompletterar de skriptade testerna som krävs av FDA (USAs kontrollorgan för medicin) med fria tester. Vi hade en mycket lång diskussion som kom in på fördelarna och nackdelarna med utforskande testning. Det var så intressant att vi beslutade oss för att låta James presentera sina erfarenheter av utforskande testning nästa dag.

Lördagkvällen bjöd på en utsökt trerätters middag, jacuzzibad, vedeldad bastu, whisky i Kinasalen, nytt försök med vedeldat bastu och efterföljande brankårsbesök. Brandmännen påpekade att de var mitt i lördagsfilmen och bad oss att i framtiden använda den eluppvärmda bastun istället så att de kunde åka hem och se hur filmen slutade.

Söndagen började med nypressad apelsinjuice, bacon och kaffe för att skaka liv i våra trötta kroppar. Efter det gjorde vi en check-in där alla fick berätta om upplevelsen av gårdagen och förväntningarna inför dagen. 

James berättade om ett lyckat projekt där Exploratory Testing var sättet de arbetade på. Fokus var scenariotester som beskrevs i form av charters dvs en översiktlig beskrivning med data, förberedelser och variationer. Till testutförandet och analysen av testerna användes flera mycket användbara verktyg. Allt testarna gjorde inklusive anteckningar loggades med hjälp av Spector (spelar in vad som händer  på skärmen, 99 USD) så att testledaren kan läsa och analysera i efterhand. Loggfilerna analyserades via Excel för att se testtäckning. Exempelvis kan du be utvecklarna att skriva ut väldigt detaljerat till loggen, att numrera alla funktioner eller objekt och utifrån loggfilen se vad som använts.

Dessutom finns Strings som hjälper dig att dumpa all text från en databas för att sedan analysera den. Beskrivningar av verktygen och länkar till verktyget hittar du på James blog.

Sista presentationen är Pablo Garcia som berättar om test av ett avancerat telefonisystem. Problem han hittade var att dokumentationen av kraven var undermålig. Kraven var inte granskade och samma dokument existerade i flera olika varianter fast det på revisionsbeteckningen var samma datum och version. Första åtgärden blev att skaffa kontroll över kraven och utbilda alla i CM. Nästa steg var att besöka fabriken som tillverkade enheterna fysiskt och där införa manuell kontroll av monteringen. Följande steg var att organisera test, uteckling, dokumentationsstruktur och processen som helhet. Allt var väldigt formaliserat och alla testfall beskrivna i detalj. Resultatet blev att komponentens kvalitet ändrades från instabil till extremt stabil. Fortfarande två år senare var komponenten väldigt stabil men då inga script eller testfall hade uppdaterats hade kvaliteten fömsämrats till viss del. Men på grund av regressionstesterna kunde man ändå hålla en bra nivå.  

Den efterföljande diskussionen handlade mycket om hur detaljerad information som måste sparas för regressionstester. I detta fall fanns det 500 sidor detaljerad testfallsinfo eftersom det inte fanns möjlighet att få bra eller ens halvbra testare i framtiden. Vi inser att dokumentation är ett bra ämne till nästa konferens.

Vi avslutar med att diskutera framtiden och ser alla fram emot nästa gång vi träffas. James lovar att återkomma gratis för att facilitera möten i framtiden. Allt ser lysande ut!      

Ledarskapstema stor succé

För första gången sedan 10-års jubiléet var vi tvungna att i förtid stänga mötet för fler anmälningar. Den 250 platser stora salen i Bonnierhuset var fylld till sista plats. Det var roligt att vårt tema om testpsykologi och ledarskap hade så stor attraktionskraft. Det verkar som att de "mjuka delarna" tål att diskuteras mer på våra möten. Vi har sedan en tid tillbaka till varje möte försökt få med minst en föreläsare med ett ämne som ligger utanför test. Denna gången satsade vi på att få fram riktigt bra föredrag som vi trodde skulle intressera er även om de hade mer allmän karaktär. Både deltagare och styrelse var nöjda över förväntan med det vi fick höra och se. Sällan har ett möte lockat till så mycket skratt.

Mats Grindal berättade om sin doktorsavhandling om kombinatorik inom test och listorna för intresseanmälan till framläggningen fyllde flera sidor. Uppvärmda av vår egen vice ordförande Pablo, en eldig spanjor som kavlade upp ärmarna för att demonstrera hur man visar arbetsvilja, fortsatte Handelsbankens Lou Hallenberg med att undra hur vi över huvudtaget förstår varandra då det finns så många stärningsmoment i kommunikationen mellan våra olika typer av hjärnor. CH Segerfeldt lockade med sin klingande Göteborgska till många skratt då han med snits förklarade hur vi gör mötena bättre och roligare. Efter lunch tog Elisabeth Kamel & Marlene Wikström upp testledarskapet i förändring och sa åt oss att fira mer när vi var värda det. Vi avslutade dagen med Ultradistanslöparen Rune Larsson som får ett maratonlopp att låta som en daglig motionsrunda. Tillsammans med en innebandymålvakt och en otestad roddbåt i plywood tog han sig 500 mil roendes från Teneriffa till Barbados och beklagade att folk tyckte han var tokig. Hans budskap var att vi måste vilja, tro och tänka göra allt för att uppnå vårt tydligt beskrivna mål. Mycket av våra gränser sätter vi själv! Drivkraften i all verksamhet ligger att vi själva vill åstadkomma något. Med en mängd riktigt dåliga skämt som i någon annans mun hade fallit platt til marken fick han oss alla att vrida oss av skratt större delen av föredraget. Stand-Up comedy med ett viktigt budskap och en rejäl portion självdistans skulle man kunna beskriva det.

Denna konferens bjöd på ett starkt startfält med många för mig nya ansikten på scenen. Paul Gerrard som var speciellt inbjuden från England inledde med att berätta för oss att testarna måste ändra attityd. Vår uppgift är att ta reda på information om projektets status och informera projektledning och andra beslutsfattare om det vi får fram så att de kan ta rätt beslut. Problemet är att de beslut som tas ofta inte är korrekt underbyggda. Vi måste fokusera mer på affärsnyttan och i slutänden pengarna som kunden tjänar snarare än på kod eller utvecklingsprocess som är ointressant för en beställare. Han berättade vidare om ramverk för testautomatisering som gör det möjligt även för oss testare att automatisera. Nästa provocerande uttalande var att såga CMM och testprocessförbättring då det ofta är en papperstiger. Han avslutade med att berätta om testarens viktigaste egenskaper som är personlig intelligens och skicklighet samt social kompetens. Sen var tyvärr tiden slut vilket var synd då jag gärna hade hört mer från denna testguru.

Utvalda intressanta föredrag

Thomas Rambrant berättade om nyttan med testdriven design som kommer till sin rätt då utvecklarnas tester granskas av en testentusiast som Thomas själv. Risken med rena utvecklartester är att de blir för enkla och missar en hel del viktigt. Han avslutade med att ställa frågan om principen kunde vara densamma för testdriven kravframtagning. Där håller jag helt med, det stämmer bra med min egen metodologi - så funkar testdesign!

Jag själv pratade om testdesign ur testledarens perspektiv. Att utföra tester och att skriva rätt testfall är något som testledaren måste ha koll på och ofta planera för själv i testatrategin. Om det var lyckat eller ej framgår av utvärderingen som kommer om ett par veckor. Jag väntar med spänning på domen - hoppas det blir mindre aggresivt än idoljuryns spydigheter.

Christer Persson från ABB genomförde konferensens mest energifulla och underhållande föredrag om ett lyckat automatiseringsprojekt. Det var intressant att lyssna på både för att det är ett av få automatiseringar som verkligen lyckats och för att det presenterades men en rejäl portion humor. Hoppas vi får se Christer på en konferens nära dig snart igen...Huvudpunkterna var att det måste finnas egna engagerade resurser, det tar tid och kostar en hel del pengar. Man kan inte automatisera allt och inte automatisera innan koden är stabil.

Lars Linderoth från CapGemini presenterade telecombranschens testmetod som använder testspråket TTCN där testarna skriver testkod som sen genererar C-kod som kan användas för att driva utomatiserade tester. Dyrt att bygga men otroligt effektivt. Framtiden för alla testare?

Ingvar Nordström från Bombardeier konstaterade att det var billigare att köpa in ett kommersiellt verktyg för testadministration än att bygga ett eget. Men även ett inköpt verktyg kräver anpassning om det ska funka ihop med redan existerande kravverktyg (Doors) och felhanteringsverktyg.

SLutsaterna från konferensen var att test ska ske tidigt, mer engagemang i modultester, utveckling är framtiden och att testprocess är viktigt men inte allt. Testran måste bli mer kompetenta. Dessutom konstaterar jag att det mest använda testverktyget fortfarande är Microsofts enda stabila program Excel.

Â