橄欖石的挑選可以從以下幾個方面進行：
顏色。橄欖石的顏色主要有橄欖綠色（略帶黃的綠色）、黃綠色、褐綠色和深褐色。含鐵量會影響橄欖石的顏色，含鐵量越多，顏色越深。中綠色和深綠色是較爲優質的顏色，色澤應均勻、溫潤光滑。純綠色的橄欖石較爲稀有，價格較高；黃綠色過多會降低橄欖石的價值；而深褐色雖然罕見，但價值較低，更多作爲收藏。
淨度。橄欖石的淨度分爲不同的級別，如FI、LI、MI、HII、EI。優質的橄欖石應無肉眼可見的包體，無色或淺綠色半透明的氣態包體會影響其質量。高品質的橄欖石要求鏡下無瑕疵。
質量。大顆粒的橄欖石較爲罕見，主要產自緬甸和紅海地區。橄欖石多爲粒狀，完整的晶體較少見。在中國吉林也有產出。
切工。切工是指橄欖石的切割方式，包括明亮式切工、階梯型切工及混合式切工。優質的橄欖石應具有良好的光澤度和透明度，形狀多爲刻面石，如橢圓形、方形、圓多面形、祖母綠形等，適合用於製作大戒面、項鍊掛墜、胸針等。少數爲曲面石，透明度較差。
此外，觀察橄欖石時，還可以注意其是否有睡蓮葉狀包裹體和刻面棱重影，這些特徵在十倍放大鏡下清晰可見，甚至有時肉眼也能分辨。