Machine Learning Engineer, Evaluation
Engineering
EU Remote
Full-time
About the role
Make sure every answer Arcbase gives comes with the right proof. You will join a small team at Arcbase Labs that ships often and talks to customers every week.
What you'll do
Build evaluation sets for grounding, citations and summaries.
Ship improvements to how Echo Panels and Ask retrieve evidence.
Monitor quality in production and act on regressions.
What you'll bring
Experience shipping LLM features to production.
Strong Python and experimentation skills.
Care for measurement over intuition.
Apply for this role
; 1 > | < < % 1 ; + + = = % : >+ = :/<> % 1.+/
1 = \; =/ = : < . | ;\ 1 \ = : 1 =
<> | /. + / \ ;+; =:++< > \< = < > % % < > :% + ; >
| . \ + = % > = :+ \.. / 1 . % . % ; . \: ; + .= ;
: 0<| : \ %= : 0 0 % > 0 .%> + % + > \ 1 1 + < > / / /; %
. % ; < ;>= 1\ % % : <| <| + > 0 ; % =
1 : +0 => :: : . .% : > \ > % 0 \% /;+ / \ +/ 0 ; +0 :
; = | :: > . 0: |> 1 \ 0 < < . = =\ :<
+ = < 1| \ |/ : 1 : > \/ / . 0 ; / / <\ \ :1
: < + % 1 /| > . => .0= = < + 1 1 1 << ; > 1 1 \/ .% <.
< / / <: + \ / \ 0 : . + | < 1> > % :> : ; \ <
\1 1 \ ; ; = % + /: \ % ; + < % = > : >
/0 1 %.> : : ; % \ + > : > / 1 | : \ |
. + + </ : < . 1 = . + : = + + + %+ 0
: : : \ \ 1 | / | 0 < 1 010 | 1\11 . =
<:< | | % | \ :.% 0 1 < | . \ \ = \: :1 \ +. ; / |:|
% < % = : 0 % / > + 1 = 0 0 : =%| +1 /= +%+ %
< < | + | : .: > : : ; %.1 1 : > | + : <
:/ ; < 0 % < 1.0\% ; 0 1 % : % : : 0
= 0 :%0; / + 0: = = < %|. /: <\ %% + + <= % % ; | |1
/ + \ | : ; / \ ; / > 0 : <: \ / \ > : +: \ ; | < | ; =+
+ =1/ 1 / + | 0 0 + :. ; < 1/ / % . % % / < <
< . 0 > 1 1 0 1 + < ; . : < % > + / | . \ 0
|:1 ; = + : . \ . 01 ; < < \<% > | : 0; | : < % : 0
0= 0% = : 1 > 1 \ ;. | > / > . / / ; + | | : <
< . . =+ :/ = > %> 1 0 : \ / % % /% . > % . > \
Decide on proof,
not
hunches
; 1 > | < < % 1 ; + + = = % : >+ = :/<> % 1.+/
1 = \; =/ = : < . | ;\ 1 \ = : 1 =
<> | /. + / \ ;+; =:++< > \< = < > % % < > :% + ; >
| . \ + = % > = :+ \.. / 1 . % . % ; . \: ; + .= ;
: 0<| : \ %= : 0 0 % > 0 .%> + % + > \ 1 1 + < > / / /; %
. % ; < ;>= 1\ % % : <| <| + > 0 ; % =
1 : +0 => :: : . .% : > \ > % 0 \% /;+ / \ +/ 0 ; +0 :
; = | :: > . 0: |> 1 \ 0 < < . = =\ :<
+ = < 1| \ |/ : 1 : > \/ / . 0 ; / / <\ \ :1
: < + % 1 /| > . => .0= = < + 1 1 1 << ; > 1 1 \/ .% <.
< / / <: + \ / \ 0 : . + | < 1> > % :> : ; \ <
\1 1 \ ; ; = % + /: \ % ; + < % = > : >
/0 1 %.> : : ; % \ + > : > / 1 | : \ |
. + + </ : < . 1 = . + : = + + + %+ 0
: : : \ \ 1 | / | 0 < 1 010 | 1\11 . =
<:< | | % | \ :.% 0 1 < | . \ \ = \: :1 \ +. ; / |:|
% < % = : 0 % / > + 1 = 0 0 : =%| +1 /= +%+ %
< < | + | : .: > : : ; %.1 1 : > | + : <
:/ ; < 0 % < 1.0\% ; 0 1 % : % : : 0
= 0 :%0; / + 0: = = < %|. /: <\ %% + + <= % % ; | |1
/ + \ | : ; / \ ; / > 0 : <: \ / \ > : +: \ ; | < | ; =+
+ =1/ 1 / + | 0 0 + :. ; < 1/ / % . % % / < <
< . 0 > 1 1 0 1 + < ; . : < % > + / | . \ 0
|:1 ; = + : . \ . 01 ; < < \<% > | : 0; | : < % : 0
0= 0% = : 1 > 1 \ ;. | > / > . / / ; + | | : <
< . . =+ :/ = > %> 1 0 : \ / % % /% . > % . > \
Decide on proof,
not
hunches
; 1 > | < < % 1 ; + + = = % : >+ = :/<> % 1.+/
1 = \; =/ = : < . | ;\ 1 \ = : 1 =
<> | /. + / \ ;+; =:++< > \< = < > % % < > :% + ; >
| . \ + = % > = :+ \.. / 1 . % . % ; . \: ; + .= ;
: 0<| : \ %= : 0 0 % > 0 .%> + % + > \ 1 1 + < > / / /; %
. % ; < ;>= 1\ % % : <| <| + > 0 ; % =
1 : +0 => :: : . .% : > \ > % 0 \% /;+ / \ +/ 0 ; +0 :
; = | :: > . 0: |> 1 \ 0 < < . = =\ :<
+ = < 1| \ |/ : 1 : > \/ / . 0 ; / / <\ \ :1
: < + % 1 /| > . => .0= = < + 1 1 1 << ; > 1 1 \/ .% <.
< / / <: + \ / \ 0 : . + | < 1> > % :> : ; \ <
\1 1 \ ; ; = % + /: \ % ; + < % = > : >
/0 1 %.> : : ; % \ + > : > / 1 | : \ |
. + + </ : < . 1 = . + : = + + + %+ 0
: : : \ \ 1 | / | 0 < 1 010 | 1\11 . =
<:< | | % | \ :.% 0 1 < | . \ \ = \: :1 \ +. ; / |:|
% < % = : 0 % / > + 1 = 0 0 : =%| +1 /= +%+ %
< < | + | : .: > : : ; %.1 1 : > | + : <
:/ ; < 0 % < 1.0\% ; 0 1 % : % : : 0
= 0 :%0; / + 0: = = < %|. /: <\ %% + + <= % % ; | |1
/ + \ | : ; / \ ; / > 0 : <: \ / \ > : +: \ ; | < | ; =+
+ =1/ 1 / + | 0 0 + :. ; < 1/ / % . % % / < <
< . 0 > 1 1 0 1 + < ; . : < % > + / | . \ 0
|:1 ; = + : . \ . 01 ; < < \<% > | : 0; | : < % : 0
0= 0% = : 1 > 1 \ ;. | > / > . / / ; + | | : <
< . . =+ :/ = > %> 1 0 : \ / % % /% . > % . > \