Tvälups
Ylipäällikkö
Tarinoita IT-hankkeiden ihmemaasta
21. elokuuta, 2012 | Kirjoittaja: Antti Niittyviita
http://ohjelmistotestaus.fi/2012/08/tarinoita-it-hankkeiden-ihmemaasta/
Lukijamme on lähestynyt meitä erittäin kiinnostavalla tarinalla julkisen sektorin IT-hankkeista. Tarina herättää varmasti fiiliksiä sekä puolesta, että vastaan.
Hei,
Olen lukenut blogistanne vuosien varrella pari juttua joissa on ohimennen puhuttu julkisista IT-projekteista. Haluaisin nyt tuoda tähän aiheeseen lisävalaistusta.
Olin hiljattain isohkossa julkisen puolen IT-projektissa pääkaupunkiseudulla. Tavallisesta poikkeavaksi tilanteen teki se, että Tilaaja oli hankkinut itselleen ammattitestauksen turvaamaan tilauksen tason. Minä olin yksi näistä Tilaajan testaajista.
Kyseessä oli SAP-ympäristössä pyörivä järjestelmä. Järjestelmässä oli useita osia ja näille omat Toimittajansa ja kaikkien Toimittajien piti saada omat palikkansa keskustelemaan toisten Toimittajien palikoiden kanssa.
No aloitimme tietenkin heti testaustyön kun työmaalle päästiin. Toimittajat olivat saaneet rakennettua järjestelmän jo sille mallille, että järjestelmän eri osiin pystyi kirjautumaan ja niitä yksittäisinä palikoina testaamaan. Vain parin tunnin päästä testauksen aloittamisesta oli selvää, että nyt saattaa hyvin tulla bugien kirjoittamisen uusi Suomen ennätys tai jopa Maailman ennätys. Korostan, että olimme vasta aloittaneet Toimittajien yksittäisten järjestelmän osien testauksen. Bugeja löytyi kaikilta ohjelmistotestauksen osa-alueilta alkaen käytettävyydestä aina turvallisuuteen asti.
Raportoimme välittömästi bugit ja kun raportti saavutti Toimittajat, niin alkoi show jota en ole urallani kertaakaan aikaisemmin nähnyt. Toimittajat ottivat välittömän puolustusaseman ja alkoivat asemasodan testausta vastaan.
Emme osanneet testata, testasimme prosessin vastaisesti ja testasimme täysin vääriä asioita.
Yksi SAP-Toimittajan edustaja huusi ihan suoraa huutoa, sillä bugeja oli liikaa. He eivät olisi millään niitä halunneet korjata niitä, ainakaan samalla rahalla.
Tästä ”prosessin vastaisesta” testauksesta nousi oma suosikkini. Toimittajat olivat sitä mieltä, että kun on prosessiksi sovittu nappien painamisjärjestys 1 ja 2 niin se on sitten se eikä muita hyväksytä. Me tottakai testasimme myös mitä tapahtuu kun painaa 2 ja 1, ja niinhän sieltä paljastui että luvattoman monessa kohtaa järjestelmä rakoili ja lopulta kaatui.
On älytöntä olettaa, että loppukäyttäjä ei koskaan painaisi nappeja väärässä järjestyksessä.
Minulle alkoi selviämään pala kerrallansa, että mistä on kyse. Toimittajat olivat vuosikausien aikana tottuneet siihen, että bugien korjaus laskutetaan erikseen ja siitä oli muodostunut heille merkittävä osa projektin laskutusta. Toimittajille on hyvää businesta IT-projektin venyminen, sillä heille se tarkoittaa isompaa laskutusta ja voit uskoa minua kun sanon, että laskutus juokseen.
Toisinaan vitsailin kollegani kanssa, että taitaa olla laskutus Toimittajan ainoa asia mikä toimii hyvin. Minulle jäi käsitys, että oli varsinkin SAP-Toimittajille ensimmäinen kerta kun he kokivat, että Tilaaja testautti tilauksen ulkopuolisilla ammattilaisilla ennen tilauksen hyväksymistä ja tämä nyt sitten tavallaan vaaransi Toimittajien normaalit laskutusrutiinit. Itse henkilökohtaisesti selitin Tilaajalle, että näin bugisesta toimituksesta ei kannata maksaa mitään ja että ennen kuin edes harkitaan laskun maksua, niin bugit on korjattava ja testaamalla todettava korjatuiksi.
Ehdimme toimia Tilaajan palomuurina puoli vuotta kunnes sitten eräänä päivänä tuli ilmoitus:
Johtokunta oli päättänyt antaa potkut Tilaajan testaustiimille.
No eipäs siinä mitään ihmeellistä, ajattelin. Olimme saaneet kuitenkin jo paljon asioita etenemään ja opetettua Tilaajalle tärkeitä asioita IT-järjestelmien tilausprosessista ja softatestauksesta. Olin siis kohtuullisen tyytyväinen kaikesta huolimatta, mutta toki samalla ymmärsin sen, että valmista ei tule tästäkään hankkeesta vuosikausiin, mutta hyvin lähellä he olivat.
Tässä ei kuitenkaan ollut vielä kaikki. Vielä projektissa olessani, sain kuulla että tässä johtokunnassa istuu näppärästi Tilaajan ja Toimittajan edustajat yhdessä. Toki on hyvä asia, että Tilaajalla ja Toimittajalla on yhteinen foorumi, mutta tämä johtokunta pystyy päättämään esimerkiksi että poistetaanko Tilaajalta testaus.
Päätöksen tämän kirjoituksen laatimisesta tein kuitenkin vasta sen jälkeen kun kuulin toiselta testaajakollegaltani, että hänen julkisen puolen IT-projektissa oli johtokunnassa sama järjestys. Heillä vain oli testaustulokset heitetty lähes sellaisenaan roskiin. Kyseinen IT-hanke meni pahasti pieleen ja saimme kaikki lukea siitä valtakunnan ykkösmedioissa.
Tarinahan jatkuisi vaikka kuinka pitkään ja herkullisista yksityiskohdista ei ole puutetta. Lopuksi mainittakoon vielä yksi sellainen. Koimme nimittäin tilanteen, missä Toimittajat olisivat halunneet myydä Tilaajalle omat testaajansa tai ”konsulttinsa” kuten SAP-piireissä on tapana sanoa. Tämä on ajatuksena aivan käsittämätön.
Tilannehan olisi täsmälleen sama, jos huoltaisit itse oman autosi ja suorittaisit vielä katsastuksen päälle omakätisesti.
Kaikesta huolimatta kyseinen projekti oli minulle ehkä urani paras. En nimittäin ole armeija-aikani jälkeen nähnyt kun aikuinen mies huutaa ja ulisee täyttä kurkkua työaikana. Sain kokea hurjan konkreettisesti testauksen tehon ja minä tarvitsin tämän kokemuksen. Tästä on hienoa jatkaa.
Kun Toimittaja huutaa kurkku suorana, on testaaja saattanut tehdä jotakin oikein.
21. elokuuta, 2012 | Kirjoittaja: Antti Niittyviita
http://ohjelmistotestaus.fi/2012/08/tarinoita-it-hankkeiden-ihmemaasta/
Lukijamme on lähestynyt meitä erittäin kiinnostavalla tarinalla julkisen sektorin IT-hankkeista. Tarina herättää varmasti fiiliksiä sekä puolesta, että vastaan.
Hei,
Olen lukenut blogistanne vuosien varrella pari juttua joissa on ohimennen puhuttu julkisista IT-projekteista. Haluaisin nyt tuoda tähän aiheeseen lisävalaistusta.
Olin hiljattain isohkossa julkisen puolen IT-projektissa pääkaupunkiseudulla. Tavallisesta poikkeavaksi tilanteen teki se, että Tilaaja oli hankkinut itselleen ammattitestauksen turvaamaan tilauksen tason. Minä olin yksi näistä Tilaajan testaajista.
Kyseessä oli SAP-ympäristössä pyörivä järjestelmä. Järjestelmässä oli useita osia ja näille omat Toimittajansa ja kaikkien Toimittajien piti saada omat palikkansa keskustelemaan toisten Toimittajien palikoiden kanssa.
No aloitimme tietenkin heti testaustyön kun työmaalle päästiin. Toimittajat olivat saaneet rakennettua järjestelmän jo sille mallille, että järjestelmän eri osiin pystyi kirjautumaan ja niitä yksittäisinä palikoina testaamaan. Vain parin tunnin päästä testauksen aloittamisesta oli selvää, että nyt saattaa hyvin tulla bugien kirjoittamisen uusi Suomen ennätys tai jopa Maailman ennätys. Korostan, että olimme vasta aloittaneet Toimittajien yksittäisten järjestelmän osien testauksen. Bugeja löytyi kaikilta ohjelmistotestauksen osa-alueilta alkaen käytettävyydestä aina turvallisuuteen asti.
Raportoimme välittömästi bugit ja kun raportti saavutti Toimittajat, niin alkoi show jota en ole urallani kertaakaan aikaisemmin nähnyt. Toimittajat ottivat välittömän puolustusaseman ja alkoivat asemasodan testausta vastaan.
Emme osanneet testata, testasimme prosessin vastaisesti ja testasimme täysin vääriä asioita.
Yksi SAP-Toimittajan edustaja huusi ihan suoraa huutoa, sillä bugeja oli liikaa. He eivät olisi millään niitä halunneet korjata niitä, ainakaan samalla rahalla.
Tästä ”prosessin vastaisesta” testauksesta nousi oma suosikkini. Toimittajat olivat sitä mieltä, että kun on prosessiksi sovittu nappien painamisjärjestys 1 ja 2 niin se on sitten se eikä muita hyväksytä. Me tottakai testasimme myös mitä tapahtuu kun painaa 2 ja 1, ja niinhän sieltä paljastui että luvattoman monessa kohtaa järjestelmä rakoili ja lopulta kaatui.
On älytöntä olettaa, että loppukäyttäjä ei koskaan painaisi nappeja väärässä järjestyksessä.
Minulle alkoi selviämään pala kerrallansa, että mistä on kyse. Toimittajat olivat vuosikausien aikana tottuneet siihen, että bugien korjaus laskutetaan erikseen ja siitä oli muodostunut heille merkittävä osa projektin laskutusta. Toimittajille on hyvää businesta IT-projektin venyminen, sillä heille se tarkoittaa isompaa laskutusta ja voit uskoa minua kun sanon, että laskutus juokseen.
Toisinaan vitsailin kollegani kanssa, että taitaa olla laskutus Toimittajan ainoa asia mikä toimii hyvin. Minulle jäi käsitys, että oli varsinkin SAP-Toimittajille ensimmäinen kerta kun he kokivat, että Tilaaja testautti tilauksen ulkopuolisilla ammattilaisilla ennen tilauksen hyväksymistä ja tämä nyt sitten tavallaan vaaransi Toimittajien normaalit laskutusrutiinit. Itse henkilökohtaisesti selitin Tilaajalle, että näin bugisesta toimituksesta ei kannata maksaa mitään ja että ennen kuin edes harkitaan laskun maksua, niin bugit on korjattava ja testaamalla todettava korjatuiksi.
Ehdimme toimia Tilaajan palomuurina puoli vuotta kunnes sitten eräänä päivänä tuli ilmoitus:
Johtokunta oli päättänyt antaa potkut Tilaajan testaustiimille.
No eipäs siinä mitään ihmeellistä, ajattelin. Olimme saaneet kuitenkin jo paljon asioita etenemään ja opetettua Tilaajalle tärkeitä asioita IT-järjestelmien tilausprosessista ja softatestauksesta. Olin siis kohtuullisen tyytyväinen kaikesta huolimatta, mutta toki samalla ymmärsin sen, että valmista ei tule tästäkään hankkeesta vuosikausiin, mutta hyvin lähellä he olivat.
Tässä ei kuitenkaan ollut vielä kaikki. Vielä projektissa olessani, sain kuulla että tässä johtokunnassa istuu näppärästi Tilaajan ja Toimittajan edustajat yhdessä. Toki on hyvä asia, että Tilaajalla ja Toimittajalla on yhteinen foorumi, mutta tämä johtokunta pystyy päättämään esimerkiksi että poistetaanko Tilaajalta testaus.
Päätöksen tämän kirjoituksen laatimisesta tein kuitenkin vasta sen jälkeen kun kuulin toiselta testaajakollegaltani, että hänen julkisen puolen IT-projektissa oli johtokunnassa sama järjestys. Heillä vain oli testaustulokset heitetty lähes sellaisenaan roskiin. Kyseinen IT-hanke meni pahasti pieleen ja saimme kaikki lukea siitä valtakunnan ykkösmedioissa.
Tarinahan jatkuisi vaikka kuinka pitkään ja herkullisista yksityiskohdista ei ole puutetta. Lopuksi mainittakoon vielä yksi sellainen. Koimme nimittäin tilanteen, missä Toimittajat olisivat halunneet myydä Tilaajalle omat testaajansa tai ”konsulttinsa” kuten SAP-piireissä on tapana sanoa. Tämä on ajatuksena aivan käsittämätön.
Tilannehan olisi täsmälleen sama, jos huoltaisit itse oman autosi ja suorittaisit vielä katsastuksen päälle omakätisesti.
Kaikesta huolimatta kyseinen projekti oli minulle ehkä urani paras. En nimittäin ole armeija-aikani jälkeen nähnyt kun aikuinen mies huutaa ja ulisee täyttä kurkkua työaikana. Sain kokea hurjan konkreettisesti testauksen tehon ja minä tarvitsin tämän kokemuksen. Tästä on hienoa jatkaa.
Kun Toimittaja huutaa kurkku suorana, on testaaja saattanut tehdä jotakin oikein.