Lars Åges tanker » Teknisk

Hjelp Wikipedia ved å ta bilder i ditt nærmiljø!

Lars Åge Kamfjord — Tue, 13 Dec 2011 09:49:31 +0000

Etter at Hans-Petter hadde et Wikipedia-prosjekt for å finne bilder som manglet i Oslo, hvor han lagde en KML-fil og satte opp Google Maps som en oversikt og arbeidsliste for alle som deltar, har jeg hatt lyst til å automatisere denne jobben litt. Siden jeg har lesetilgang til databasene til Wikipedia skulle det i utgangspunktet være lett å få hentet ut informasjon om alle kartkoordinatene, og hvorvidt artikkelen har noen bilder.

Prosjektet er nå endelig klar for offentligheten: Wikipedia-artikler som trenger bilder.

Jeg bruker følgende spørring mot wikipedia-databasen for no.wikipedia:

SELECT p.page_id,p.page_title,e.el_to,(SELECT COUNT(*) FROM imagelinks i WHERE i.il_from=p.page_id AND i.il_to NOT LIKE ‘%.svg’) AS antall FROM page p JOIN externallinks e ON p.page_id=e.el_from WHERE e.el_to LIKE ‘http://toolserver.org/~geohack/geohack.php%’ AND p.page_namespace=0 AND p.page_title NOT IN (‘Grunnlinje’) AND p.page_title NOT LIKE ‘Liste%’ AND page_title NOT LIKE ‘Tettsteder%’ LIMIT 0,20000

Jeg henter i utgangspunktet ut alle sider som lenker til http://toolserver.org/~geohack/geohack.php, siden det er lenken som brukes i malen Koord som brukes bl.a. for å formatere koordinater riktig. Trolig hadde det vært bedre å finne alle de artikler som bruker malen Koord/vis/tittel, siden det er denne som faktisk viser koordinatene øverst til høyre på artiklene, men det får bli til en senere anledning (det blir en mye tyngre SQL-spørring, som tar vesentlig lenger tid å kjøre).

For å kompensere for at jeg ikke bruker vis/tittel-malen, har jeg ekskludert alle artikler som begynner på “Liste” eller “Tettsteder”, siden disse artiklene har ganske mange koordinater, uten at det behøver å være et bilde i artikkelen.

Når det gjelder bilder, så ekskluderer jeg bruk av SVG-bilder som “aktuelle” for at artikkelen har et bilde, siden dette ofte er kommunevåpen brukt i maler, eller kart over stedet – ingen av delene er gode representantive bilder for de forskjellige artiklene.

Laget en morsom liten Android-app

Lars Åge Kamfjord — Wed, 19 Oct 2011 21:27:01 +0000

I forbindelse med PolarParty 20 lagde jeg en liten app med AppInventor, og fikk til en aldri så liten app. Sendte den inn i wild-compoen som et programmeringsbidrag, og fikk 2. plass. Veldig gøy.

Her er et bilde av hvordan koden ser ut i AppInventor (ikke spesielt vanskelig?)

Selve appen kan lastes ned herfra: AdminMash

Endelig gikk Telenor ned!

Lars Åge Kamfjord — Sun, 19 Jun 2011 20:57:07 +0000

Ingenting er så lite perfekt som datasystemer. Ja, de effektiviserer mye, men sikkerheten (først og fremst samfunnssikkerheten, ikke datasikkerheten) er elendig. Alle datasystemer har en stor risiko for at ting går til helvette.

Telenor-problemet som var forrige uke var ikke uventet. Selv har jeg hver gang jeg har vurdert kritisk mobilutstyr (f.eks. system for å sende ut SMS-melding/ringe alle på avdelingen dersom datarommet går ned), vurdert løsninger med støtte for to eller flere SIM-kort, og dermed mulighet for å bruke både Telenor og Netcom. At direktoratet med ansvar for samfunnssikkerhet ikke har tatt den risikovurderingen er derfor mildt sagt skremmende, og i mine øyne innebærer det at de har hatt litt for få personer med teknologisk innsikt når de har satt opp beredskapsplanleggingen sin. Alle nødsentralene (brann/politi/ambulanse) har flere redundante backupløsninger for telefonsystemene, noe som DSB også bør ha.

Problemet med teknologien er ikke først og fremst at ting blir ødelagt – det går det ann å beskytte seg for relativt lett med å ha to eller tre enheter som er i stand til å ta over – enten manuelt (ved at man skrur på enheten når den første dør) eller automatisk. Problemet med slike løsninger er dog at kompleksiteten på systemet øker når man skal ha redundans. Og som en følge av kompleksiteten, øker også muligheten for de vanligste feilene – brukerfeil (i dette tilfellet burde det kanskje være greit å spesifisere at jeg anser brukeren som IT-konsulenten som sitter å jobber med å gjøre en eller annen endring på systemet). De aller fleste feil som skjer i datasystemer er det et eller annet menneske som er årssaken til, og ikke datamaskinen i seg selv.

Som et eksempel på feil jeg selv har gjort (mer enn en gang), som har medført nedetid, kan jeg nevne en veldig vanlig feil på datanettverk. Litt avanserte switcher settes gjerne opp med tilgang til flere forskjellige nettverk (f.eks. med forskjellige sikkerhetsnivåer) på samme switchen. For å fordele riktige nettverk til riktige switcher setter man opp begrensninger på hvilke nettverk som får lov til å gå fra en switch til en annen. På Cisco-switcher (som er en av de vanligste leverandørene) skrives denne konfigurasjonen slik:

switchport trunk allowed vlan 2,4,6,8

Dette tillater nettverk 2, 4, 6 og 8. Dersom man skal legge til nettverk 5 skrives det slik:

switchport trunk allowed vlan add 5

Altså legger til “add 5″. Dersom man glemmer å legge til “add”, vil man i stedenfor få følgende konfigurasjon:

switchport trunk allowed vlan 5

Eller med andre ord, nettverk 2,4,6 og 8 vil slutte å virke (siden man erstatter hele linja slik den var), og kun nettverk 5 vil stå igjen…

Vi vil aldri kunne beskytte oss 100% mot alle mulige feil – det vil alltid være en viss margin for at ting slutter å virke. Samfunnssikkerheten er i stor grad avhengig av hurtigst mulig respons når noe skjer, og når noe skjer, er det stor sannsynlighet for at ting har sluttet å virke. Det er vanskelig å forutse hva som skal til, men jeg tror ikke vi kan ta som utgangspunkt i at Telenor Mobil skal kunne løse samfunnets problemer for sikkerhet – en enkelt aktør er ikke i stand til å løse det – uansett hvor mange milliarder du putter inn i det. Det er derimot en fordel med fri konkurranse, i stedenfor at alle bruker samme leverandør.

Tester iPad for elektroniske sakspapirer til politikere

Lars Åge Kamfjord — Fri, 06 May 2011 08:38:07 +0000

Driver å tester ut iPad for tiden, for muligens å bruke for elektronisk utsending av saksdokumenter for politikerne i kommunen, og må si meg veldig fornøyd. Den er god å jobbe på (med det unntaket at jeg kunne tenke meg et ordentlig tastatur for å kjenne/føle tastene, og dermed skrive fortere), har en god skjerm, god levedtid på batteriet, kjapp på surfing (i hvertfall på trådløst). Den er også mye bedre å kunne ha med seg inn i møter enn en bærbar PC.

For å få den til å fungere slik jeg ser for meg at løsningen bør fungere, så bør vi derimot ha inn noen ting:
* støtte for PDF med mulighet til å gjøre egne endringer (merke tekst som er viktig f.eks.)
* støtte for at politisk sekretariat kan laste opp dokumenter direkte til brettene (slik at man ikke behøver å overlate til brukeren å lagre et vedlegg fra en epost et eller annet sted på brettet. Mange greier ikke å lage en ordentlig mappestruktur som fungerer, eller å lagre dokumentet i stedenfor å åpne).
* ordning med remote wipe.

Alt dette tror jeg at bør være mulig å få til med iPad/iPad2, så dette tror jeg kan bli et spennende prosjekt å jobbe videre med.

(dette innlegget var egentlig mest for å teste blogging fra iPaden…)

Norske språkfiler på Zimbra

Lars Åge Kamfjord — Wed, 05 May 2010 13:23:01 +0000

Dessverre har ikke de norske språkfilene til Zimbra blitt tatt med i den offisielle versjonen av Zimbra ennå, men de eksisterer takket være Philip Gabrielsen og Roy Sigurd Karlsbakk. De siste oppdateringene er gjort av Roy Sigurd, og Philip har tilgang til SVN-repositoryet til Zimbra-xtras på SourceForge

For å laste ned språkfilene første gangen har jeg gjort følgende på min server:

mkdir -p /opt/ZmTranslations
cd /opt/ZmTranslations
svn co https://zimbra-xtras.svn.sourceforge.net/svnroot/zimbra-xtras/trunk/ZimbraTranslations/data/Norwegian_no/messages SVN_NO

Deretter at jeg lagt inn følgende script i /opt/ZmTranslations/update_translations.sh

#!/bin/bash
cd SVN_NO
svn update
#cp *.properties /opt/zimbra/jetty-6.1.5/webapps/zimbra/WEB-INF/classes/messages/
#cp *.properties /opt/zimbra/jetty-6.1.5/webapps/zimbraAdmin/WEB-INF/classes/messages/
#cp ZsMsg*.properties /opt/zimbra/conf/msgs/

cp *Msg*.properties /opt/zimbra/jetty/webapps/zimbra/WEB-INF/classes/messages/
cp *Msg*.properties /opt/zimbra/jetty/webapps/zimbraAdmin/WEB-INF/classes/messages/
#cp *Keys*.properties /opt/zimbra/jetty/webapps/zimbra/WEB-INF/classes/keys/
#cp *Keys*.properties /opt/zimbra/jetty/webapps/zimbraAdmin/WEB-INF/classes/keys/
#cp *ZsMsg*.properties /opt/zimbra/conf/msgs/

su – zimbra -c ‘zmprov fc locale’
su – zimbra -c ‘zmprov fc config’
su – zimbra -c ‘zmprov fc domain’
su – zimbra -c ‘zmprov fc server’
su – zimbra -c ‘zmprov fc skin’
su – zimbra -c ‘zmprov fc zimlet’

Hver gang jeg kjører dette scriptet, så oppdateres oversettelsene til siste versjon, filene kopieres ut i riktige mapper, og det kjøres en flush av oversettelsescachen på serveren (merk at jeg kjører flushcache på flere ting enn bare locale, siden jeg kjører dette scriptet manuelt hver gang jeg trenger å gjøre flush av noen av enkeltkomponentene som jeg gjør endringer på).

Foredraget mitt fra GoOpen 2010 om Zimbra

Lars Åge Kamfjord — Tue, 20 Apr 2010 19:57:11 +0000

Da var foredraget mitt om Zimbra i Tønsberg og Nøtterøy kommuner gjennomført på GoOpen (nervene begynner å gi seg nå, 7 timer etterpå… Første gangen jeg har holdt et så stort foredrag)

Film fra foredraget ligger ute hos Vimeo

Selve foredraget har jeg gjort tilgjengelig her i ODF og PDF-format. Selvfølgelig er det CC-BY-SA

Her er også et lite bilde av meg på scenen (Takk til kollega Lars Eik )

Fått meg ny netbook

Lars Åge Kamfjord — Tue, 16 Feb 2010 14:39:00 +0000

Kom tilfeldigvis over et greit tilbud på netbook i romjula, og har nå (endelig) fått tak i den. Det er en DELL Inspirion mini, med bl.a. 160GB disk, greit tastatur, 10,1” skjerm, 1,6GHz Atom-prosessor og 1GB RAM (men RAMen tror jeg må oppgraderes…).

Tenkte jeg skulle ta å forsøke å lære meg å bruke litt nyere Windows og Office-versjoner også, siden jeg hverken har prøvd Vista eller Windows 7 ennå, og har brukt OpenOffice som eneste kontorstøttesystem siden ~ 2004. Har fått inn Windows 7 nå, og har installert Office 2007 og Visio 2007 (beste produktet Microsoft noensinne har kjøpt er Visio!).

Nå sitter jeg å tester litt på Windows Live Writer for å skrive blogg-innlegg, og får vel teste litt på Office i løpet av kvelden.

Hvordan vi har satt opp Zimbra

Lars Åge Kamfjord — Fri, 26 Jun 2009 12:34:29 +0000

Nok en uke har gått, og i løpet av uka har jeg primært jobbet med å sette Zimbra i produksjon som nytt gruppevaresystem for skolene i Tønsberg og Nøtterøy kommuner. Vi kjører fra før av Novell eDirectory som katalogtjeneste og Novell NetMail som mailserver via IMAP, og vi måtte derfor ha på plass to ting.

Synkronisering av brukerdatabase fra eDirectory til Zimbra, siden Zimbra har sin egen OpenLDAP-database
Migrering av epost fra NetMail til Zimbra

Den første biten gjorde jeg ganske enkel, med et PHP-script som går igjennom hele LDAP-katalogen og lager kommandoer som kan brukes til zmprov:

Lagre dette scriptet som eDir2Zimbra.php, og kjør det med php på kommandolinje (eller kjør det via en webserver og lagre teksten som kommer et sted på Zimbra-serveren

php eDir2Zimbra > /tmp/add_zimbraaccounts

Deretter kan den fila brukes som input til zmprov

su - zimbra -c 'zmprov < /tmp/add_zimbraaccounts'

Har ikke lagt inn muligheten for å deaktivere kontoer automatisk i Zimbra ennå, men scriptet kan trygt kjøres mange ganger. Må vel oppdatere scriptet rett over sommeren, når en god del av lærere og elever har sluttet “offisielt” i kildesystemene mine, slik at kontoene blir disablet i eDirectory.

Migrering av e-post

Denne biten trodde jeg at jeg hadde rimelig klar. NetMail kjører all mailen i mbox-format, og jeg tenkte derfor orginalt å kjøre denne metoden:

Konvertere mbox til maildir via et av mange script for å gjøre det
Deaktivere autentisering mot eDirectory for domenet, og dermed ha standardpassordet definert i scriptet over på alle brukerne
Kjøre et av mange script for å flytte fra maildir til remote IMAP-server

Fikk dette til å fungere rimelig greit, men oppdaget når jeg testet med et par elever, som i hovedsak hadde fått masseutsendte eposter, at NetMail for å spare plass flytter ut mailer som er over 4k og sendt til flere enn 5 mottagere til et eget felleslager. Alle referansene i mbox-fila til dette felleslageret skapte problemer, og mailene kunne ikke (i hvertfall ikke lett) flyttes over.

Fordi NetMail lagret mailen i så sært format, så fant jeg ut at jeg for enkelthets skyld skulle bruke IMAP2IMAP-synkronisering. Testet litt med IMAPsync, og den fungerte rimelig greit, men jeg måtte ha passordet til alle brukerne for å foreta migreringen. Jeg vurderte det til at jeg kunne nullstille passordet til alle 8000 brukere, men vi har akkurat hatt en sak med elever som har fått tilgang til læreres passord, og byttet sine egne karakterer/fravær, og en slik prosess må nødvendigvis gjøres ekstremt kontrollert. Bestemte meg derfor at jeg ville forsøke å sniffe passordet til alle brukerne i stedenfor… (Yeah, I know: ugly som bare det, men jeg har i hvertfall fått det til å fungere).

Jeg kunne gjøre det på flere måter

Sniffe brukernavn og passord på IMAP med ethercap mot den gamle NetWare-servere
Sniffe brukernavn og passord på IMAP med ethercap mot den nye Zimbra-serveren
Prøve å få Zimbra/webmailen til å gjøre passordet til brukeren tilgjengelig på en eller annen måte

Å prøve å sniffe passordet via NetWare-serveren slo jeg ganske fort fra meg. Hovedønske er å få alle brukerne over på nytt system, og det ville være vanskelig å få bytta over brukerne til nytt system, hvis de må logge seg inn på det gamle, og noen skal flyttes over til det nye “etterhvert”.

Å sniffe passordet mot IMAP på Zimbra-serveren kunne vært en mulighet, men jeg prioriterte det ned som løsning, da jeg ikke ønsker at brukerne skal bruke den gamle webmailen (integrert del av LMS-systemet vårt), men det nye å flotte webgrensesnittet til Zimbra. Det ville da være unaturlig å be brukerne om å “bruk den gamle et par ganger, og så benytt den nye etterpå”.

Jeg begynte først å leke litt med muligheten for å lage en Zimlet som foretar import av mail fra den gamle serveren, men fant ikke noen gode howtoer på området, og jeg ikke orket å bruke lang tid på prosjektet, for å lære meg å kode Zimlet’er. Lekte også litt med å legge inn en javascript-prosess tok i mot passordet man logget på med, og sendte det videre til et separat system. Greide her ikke å bli fortrolig med kodestilen til Zimbras JSP-kode, så slo det også fra meg.

Gikk til slutt videre med å titte på debug-loggene man kunne aktivere på en bruker, for å se om de hadde mulighet til å logge passordet til brukeren. Hverken IMAP eller POP-så ut til å logge passordene, men SOAP-interfacet logget disse ved pålogging på webmailen. Brukte derfor scriptet over til å lage en kommando fo å aktivere logging på alle brukere:

 $output .= "aal -s SADM-MAIL02.ped.local ".$username." zimbra.soap debug\n";
Dette skal også kjøres via zmprov som over-
Etter dette, skrev jeg et kjapt script for å lete igjennom loggene etter brukernavn og passord, logge dette til en database, og så kjøre sletting av loggingen på den aktuelle brukeren. Fra databasen lagde jeg et nytt separat script som startet opp imapsync med riktig brukernavn og passord, og da var det bare for brukerne å logge inn, og vente til den gamle mailen dems var flyttet over til det nye flotte gruppevaresystemet vårt.

Har installert Zimbra gruppevare-system

Lars Åge Kamfjord — Fri, 12 Jun 2009 10:31:27 +0000

På skolenettet i kommunen har vi Novell eDirectory, og har gratis-mailsystemet Novell hadde i 2004 kalt NetMail for alle elever og lærere, med IMAP-tilkobling og lesing i LMSen. Denne mailserveren har vi bare hatt mer og mer problemer med etterhvert som årene har gått, og det faktum at den kjører på NetWare, noe ingen av oss på avdelingen egentlig har peiling på, gjør ikke problemene noe mindre.

Satte meg i forrige uke ned og testet mange forskjellige open source-gruppevaresystemer. I utgangspunktet hadde jeg et par små krav:

Helst kjøre på Linux
Bør være open source eller gratis (vi betaler ikke per-bruker-lisens for skoleelever ned til 6 år; muligens kommer vi også til å ha kontoer for barn i barnehager når vi bare finner ut av hvordan vi skal løse det med at de ikke kan lese).
Bør ha et greit administrasjonsgrensesnitt
Må fungere med brukerdatabasen fra eDirectory (og gjerne også ha støtte for Active Directory).
Må fungere både som webbasert (for mest mulig funksjonalitet), og med IMAP (fortsatt mulighet til å bruke rett fra LMSen for de som ikke har behov for funksjonaliteten som kommer med å ha gruppevaresystemet.

Hadde på forhånd blitt anbefalt om Zimbra fra en bekjent, som er utviklet av Yahoo!. Vi hadde sett litt på det på avdelingen, og var enige om at det AJAX-baserte grensesnittet var veldig bra, og at Zimbra løste mange (om ikke de fleste) problemene vi hadde hatt med LMSen og nåværende mailserverløsning.

Satte i gang installasjonen av Zimbra, men slet lenge med å få til autentisering mot eDirectory. Ingen av dokumentasjonene jeg greide å finne viste noe relevant for problemene mine. Jeg ga til slutt opp, og begynte å labbe på noen andre løsninger. I forbindelse med testing av en av disse løsningene, fant jeg dokumentasjon som viste seg å være relevant. I NetMail har vi opprettet mange brukerkontoer, og for lærere har vi opprettet alias-objekter som fornavn.etternavn for å få disse som e-post-adresser. Disse alias-objektene ser ut som ordinære brukere når de listes opp i LDAP, og dermed ble problemet at uansett hvordan man søkte etter brukere, så fikk man to svar, og Zimbra og de andre gruppevareløsningene greide ikke å bestemme hvilken av disse brukerobjektene den skulle bruke, og ga feilmelding på det. Flyttet alle aliasene ut fra OUene for brukerne, og problemet var løst.

Har nå satt opp Zimbra for test for endel skoler, og det ser ut til å fungere rimelig bra. Zimbra er en skalerbar løsning, og forhåpentligvis vil vi etterhvert få en veldig god e-post-løsning, med mye funksjonalitet. Gleder meg allerede til vi kan sette dette i produksjon.

Nagios er forket, og med god grunn

Lars Åge Kamfjord — Thu, 07 May 2009 08:48:05 +0000

Fikk en kollega inn på kontoret til morgenen i dag, og fikk høre at Nagios var forket til ICINGA, noe som jeg var veldig overrasket over. Begynte øyeblikkelig å gå igjennom mailer som har kommet inn på Nagios-devel-lista det siste døgnet, og så rimelig kjapt at det var en god grunn for forkingen.

Hovedutvikleren for Nagios, Ethan Galstad har jobbet med Nagios siden 1999, og produktet har vokst seg stort innen open source-bevegelsen, og er en så godt som standard for open source overvåking av tjenester. I løpet av disse ti årene har det blitt et kjempestort community med mange som jobber for å gjøre Nagios bedre, og prosjektet har blitt enormt mye større enn Ethan, men fortsatt er Ethan den eneste som har tilgang til å legge inn patcher og gjøre forbedringer på kildekoden. En slik lukking av open source-prosessen gjør at man ikke kan overleve i lengden.

I tillegg til en veldig lukket prosess, så har Ethan startet et eget selskap, Nagios Enterprises, og har brukt det siste året til å tvinge andre Nagios-selskaper til å slutte å bruke navnet “Nagios”. Ethan har brukt tiden på å juridiske ting, i stedenfor å gjøre den jobben folk forventer at han skal gjøre; utvikle Nagios!

Det har vært endel debatt på mailinglisten om hvorvidt ICINGA kommer til å lykkes eller ei, og foreløpig er jeg av den konklusjonen at de kommer til å lykkes, utelukkende på grunn av en enkelt mail fra Ethan, hvor han skriver at utviklingen ikke er død, fordi ting skjer “behind the scenes”, i form av supportkontrakter og “beskyttelse av varemerket Nagios”. Altså ingen svar på den faktiske kritikken av at programmeringen går for sakte.

Nei Ethan, nå har du veldig kort tid på deg til å faktisk gjøre noe med kritikken, ellers skifter jeg til ICINGA. Det er svært sjeldent at noen forker et open source-prosjekt, men når det gjøres, er det stort sett fordi ting ikke fungerer lenger, og det er ikke ofte det er relatert til at produktet er for dårlig!