# Varmista agenttisi toimivuus myös reunatapauksissa.

> Evaluoinnit ja guardrailit AI-agenteille: automaattinen laadun pisteytys, LLM-arvioijat ja järjestelmällinen testaus väärinkäyttöä ja reunatapauksia vastaan.

Sivu: https://semantly.fi/evalit-ja-guardrailit  
Kieli: Suomi  
Myös: [English](https://semantly.fi/en/evals-and-guardrails.md)

Automaattiset evaluoinnit pisteyttävät jokaisen vastauksen teidän omilla mittareillanne. Guardrail-testaus varmistaa, ettei agentti vuoda tietoja tai taivu väärinkäyttöön.

## Tyypillinen toimitus

- Arviointikriteerit ja KPI:t
- Testiaineisto todellisista keskusteluista
- Automaattinen pisteytys jokaiselle vastaukselle
- Guardrail-testiraportti priorisoiduin löydöksin

## Laatu mitattuna, ei arvattuna.

Vastausten laatu pisteytetään liiketoimintanne mittareilla – ei pelkällä tuntumalla tai satunnaisotannalla.

### Promptien arviointi ja KPI-pisteytys

Automaattiset evaluoinnit jokaiselle vastaukselle: relevanssi, faktapohjaisuus, sävy – ja teidän omat liiketoimintamittarinne.

### Testiaineistot

Todellisista keskusteluista koottu aineisto, jota vasten jokainen muutos voidaan ajaa.

### Regressiotestaus

Jokainen prompti- ja mallimuutos todennetaan evaluoinneilla ennen tuotantoa.

### Guardrail-testaus

Järjestelmällinen testaus väärinkäyttöä ja tietovuotoja vastaan ennen kuin ne päätyvät tuotantoon.

Aiheet: Prompt injection, PII-suojaus, Jailbreak-yritykset

### Promptien viritys

Mitattuihin tuloksiin perustuva iterointi. Näette jokaisen muutoksen vaikutuksen laatupisteisiin ennen julkaisua.

### Hälytykset

Ilmoitus heti, kun laatu heikkenee tai guardrail laukeaa tuotannossa.

## Laatu näkyy yhdellä silmäyksellä.

Kaikki evalit ja testit kirjautuvat samaan mittaristoon. Näette, kuinka paljon agentti on käsitellyt pyyntöjä, mitä niiden aikana on tapahtunut ja kuinka moni niistä on pisteytetty – päivä päivältä.

- **Kaikki samassa näkymässä.** Evalit, guardrail-testit ja käyttäjäpalaute kirjautuvat samaan mittaristoon tracejen rinnalle.
- **Kehitys ajan yli.** Näette, miten käyttömäärät ja laatupisteet muuttuvat päivä päivältä – ja paransiko viimeisin muutos laatua.
- **Poikkeamat heti näkyviin.** Piikit ja notkahdukset erottuvat kaaviosta, ja niistä voi porautua suoraan yksittäisiin traceihin.

Havainto esimerkistä: lokakuun puolivälin käyttöpiikistä ei kertynyt juuri lainkaan laatupisteitä, koska automaattiset arvioinnit eivät olleet vielä käytössä. Lokakuun lopun piikissä pisteitä kertyi jo lähes yhtä monta kuin traceja.

## Oikea evaluointi jokaiseen tilanteeseen.

Kaikkea ei kannata eikä voi mitata samalla tavalla. Yhdistämme kolmea evaluointityyppiä sen mukaan, mitä kriteeri vaatii ja paljonko arviointi saa maksaa.

### Koodipohjaiset evalit (Deterministinen)

Ohjelmakoodina kirjoitetut tarkistukset yksiselitteisille asioille: onko vastaus oikeassa muodossa, kutsuiko agentti oikeaa työkalua oikeilla parametreilla ja pysyykö vastaus sovituissa rajoissa.

Nopeita, lähes ilmaisia ja aina toistettavia – siksi ne ajetaan jokaiselle vastaukselle.

### LLM-evaluoija (Laadullinen)

Kielimalli arvioi agentin vastauksen kirjallisen arviointiohjeen mukaan: onko vastaus relevantti, perustuuko se lähteisiin ja noudattaako se sävyä ja ohjeita.

Sopii kriteereihin, joita ei voi kirjoittaa säännöksi. Kalibroimme arvioijan ihmisten arvioita vasten, jotta pisteisiin voi luottaa.

### Päätösmalliin perustuvat evalit (Liiketoimintalogiikka)

Kun agentti tekee päätöksiä – hyväksyy, hylkää, luokittelee tai ohjaa eteenpäin – sen ratkaisua verrataan päätösmalliin, kuten päätöstaulukkoon tai sääntömoottoriin, joka määrittää oikean lopputuloksen.

Näette, kuinka usein agentti päätyy samaan ratkaisuun kuin sovittu prosessi ja missä tapauksissa se poikkeaa.

## Näin etenemme.

Vaiheistettu toteutus, jossa jokaisella vaiheella on selkeä tuotos.

1. **Kriteerit.** Mitä hyvä vastaus tarkoittaa teidän liiketoiminnassanne – sovitaan yhdessä.
2. **Testiaineisto.** Aineisto kootaan todellisista keskusteluista ja reunatapauksista.
3. **Pisteytys ja guardrail-testit.** Evaluoinnit automatisoidaan ja hyökkäysskenaariot ajetaan läpi.
4. **Jatkuva seuranta.** Pisteytys pyörii tuotannossa ja hälyttää poikkeamista.

## Muut palvelut

- [Piloteista tuotantoon](https://semantly.fi/piloteista-tuotantoon.md): Kumppani, joka vie AI-pilottinne luotettavasti tuotantoon – laatu, tietoturva ja seuranta kunnossa.
- [MCP-palvelimet ja MCP-sovellukset](https://semantly.fi/mcp-palvelimet.md): Tuotteenne data ja toiminnot AI-avustajien käyttöön – interaktiivisine näkymineen.
- [Agenttien tuotantoseuranta](https://semantly.fi/agenttien-tuotantoseuranta.md): Jäljitys, analytiikka ja mittaristo: näette, mitä agentti tekee ja mitä se maksaa.

---

Semantly (Screenful Oy, Helsinki). Yhteystiedot: hey@semantly.fi · [Varaa arviointikeskustelu](https://semantly.fi/yhteystiedot)