Puppet-moduulien julkaisu Puppet Forgessa

Puppet Forge on Puppetlabsin tarjoama repo Puppet-moduuleille. Forge-moduuleja voi asentaa “puppet module install”-komennolla, mutta niihin voi viitata myös r10k:n tai librarian-puppetin Puppetfilessä. Nykyisin Puppet Forge on ensimmäinen paikka, josta katson, onko joku muu jo ratkaissut käsilläni olevan ongelman Puppetilla - pyörää kun on toisinaan turha keksiä uudelleen.

Olen itse käyttänyt vuosia Git Submoduleja, koska niiden avulla Puppet-moduuleihin ulkopuolelta tulevat muutokset on helppo tarkistaa Gitin lokeista ja diffeistä. Niiden käyttö menee kuitenkin kankeaksi kun moduulien määrä kasvaa suureksi: sekä päärepo että submodulet vaativat jatkuvaa paapomista. Tuloksena on turhanpäiväisiä, samankaltaisina toistuvia commit-viestejä kuten “Update Git submodule pointers”, joilla ei ole mitään muuta käytännön merkitystä kuin Gitin pitäminen tyytyväisenä.

Moduulien säilömisestä Forgessa on eräs etu käytettäessä Puppetfileä: librarian-puppet osaa ladata moduulien metadata.json:issa määritetyt riippuvuudet automaattisesti, mutta vain jos riippuvuudet löytyvät Forgesta. Tai kääntäen: Gitissä olevia riippuvuuksia ei ladata automaattisesti, vaan ne pitää määritellä yrityksen ja erehdyksen kautta käsin. Tämä paisuttaa Puppetfileä huomattavasti ja tekee sen ylläpidosta työlästä. Kyseessä on Puppetin oma version riippuvuushelvetistä. Valitettavasti r10k ei osaa ladata riippuvuuksia automaattisesti - mitään selkeää syytä tähän ei ole.

Moduulien saaminen Puppet Forgeen ei ole kovin vaikeaa. Ensin luodaan käyttäjätili Puppet Forgeen. Käyttäjätunnuksen ja moduulin metadata.json:in “name”-kohdan tulisi täsmätä. Esimerkiksi jos metadata.json sisältää

"name": "puppetfinland-os",

niin Puppet Forge-käyttäjätunnuksen tulisi olla “puppetfinland”. Ilmeisesti tämä ei ole ehdoton vaatimus, mutta sen noudattaminen lienee selkeyden takia järkevää.

Forgeen voi viedä moduuleja käsin, mutta se on erittäin työlästä kun moduuleja on paljon. Seuraava askel onkin puppet-blacksmithin asennus. Tässä vaiheessa haasteeksi tulee se, mihin Gem-polkuun puppet-blacksmith asennetaan. Itse suosin asentamista /opt/puppetlabs/puppet -hakemiston alle:

$ /opt/puppetlabs/puppet/bin/gem install puppet-blacksmith

Sitten luodaan Blacksmithin konfiguraatiotiedosto, ~/.puppetforge.yml, johon laitetaan Puppet Forgen käyttäjätunnus ja salasana tähän tapaan:

---
 url: https://forgeapi.puppetlabs.com
 username: myuser
 password: mypassword

Tämän jälkeen voidaanin siirtyä jo itse moduuliin muokkaamiseen paremmin Forgen kanssa yhteensopivaksi. Tämä kannattaa tehdä Puppetin moduulikehitystyökaluilla eli Puppet PDK:lla, joka asennetaan näitä ohjeita seuraamalla. Vaikka virallista Debian GNU/Linux -tukea ei olekaan, PDK:n Ubuntu-versio asentuu myös Debianiin. Olemassa olevaan moduuliin saadaan PDK:lla lisättyä tukku “best practices”-läskiä helposti:

$ cd <moduulin-hakemisto>
 $ pdk convert

PDK:n muunnoskomento lisää moduuliin mm. rspec-testejä sekä Travis CI- ja Appveyor -integraatioita

Seuraavaksi PDK:n luomaan Rakefileen lisätään riippuvuus puppet-blacksmithin:

require 'puppet_blacksmith/rake_tasks'

Tämän jälkeen rakella (Rubyn “make”) voidaan ajaa puppet-blacksmithin komentoja, jotka on hyvin esitelty sen virallisesta dokumentaatiosta.

Mikäli moduuliin tehdyt muutokset halutaan testata automaattisesti Travis CI:llä (mikä on ehdottoman järkevää), pitää Gemfileen lisäksi tehdä pieni lisäys:

group :development do
 --- snip ---
 gem "puppet-blacksmith"
 end

Ilman tätä muutosta Travis-ajot epäonnistuvat (“Build failed”), koska Rakefileen yllä määriteltyä puppet-blacksmith riippuvuutta ei löydy:

LoadError: cannot load such file -- puppet_blacksmith/rake_tasks

Traviksen kanssa kannattaa myös varmistua siitä, että metadata.jsonissa määritelty ohjelmistolisenssin nimi vastaa sen virallista tunnistetta (“Identifier”), jonka voi etsiä esimerkiksi täältä. Muutoin Traviksen ajama metadata_lint -testi epäonnistuu:

(WARN) license: License identifier BSD license is not in the SPDX list: http://spdx.org/licenses/
 Warnings found in metadata.json
 
 The command "bundle exec rake $CHECK" exited with 1.

Tässä vaiheessa kaikki Git-repossa olevat muutokset kannattaa kommitoida.

Nyt puppet-blacksmithin pitäisi olla jo toimintakykyinen. On kuitenkin järkevää ensin tarkistaa, että Traviksen ajamat testit menevät läpi pushaamalla muutokset Gitiin:

$ git push

Jos testit näyttävät vihreää, voidaan moduulista julkaista uusi versio. Teoriassa komennon “rake module:release” pitäisi hoitaa koko julkaisuprosessi, mutta siinä olevan bugin takia prosessi on valitettavasti vähemmän suoraviivainen. Ensin muutetaan moduulin versio metadata.jsonissa ja kommitoidaan muutokset:

$ rake module:bump_commit:patch
 Bumping version from 0.1.5 to 0.1.6

Sitten luodaan metadata.jsonin versiota vastaava Git tag ja pushataan se:

$ rake module:tag
 $ git push --tags

Lopuksi julkaistaan moduuli Puppet Forgessa:

$ rake module:clean
 $ rake module:push
 Uploading to Puppet Forge puppetfinland/systemd

Komento “module:clean” varmistaa, että Forgeen ladataan uusin versio.