1. 文化背景和成长环境的影响  

在某些文化或家庭环境中，男性可能会被教育成不轻易表露情感，这使得他们即使心中充满思念，也不愿轻易说出口。他们可能觉得表达情感是软弱的表现，或者认为男人应该更加坚强和理性。因此，这类男性即使非常想念对方，也不会轻易说出“我想你”。

2. 个性特质的不同  

不同的男人性格不同，有的男人性格外向，容易表达感情，喜欢直接说出“我想你”这样的感性词汇。他们认为情感是需要表达的，表达出来不仅能让对方感到被爱和被关注，也能增进彼此的亲密感。而有的男人性格内敛，不善于表达自己的情感，可能会通过行动而非言语来表达“我想你”这样的情感。

3. 关系的阶段和深度  

在恋爱关系的初期，许多男人可能会因为不确定对方的感觉而避免过于直接的情感表白。他们可能担心自己过早地暴露内心会给对方带来压力，或让对方觉得自己太过依赖和投入。因此，在关系刚开始时，男人说“我想你”的频率可能会较低。然而，随着关系的加深和相互了解的增多，他们会变得更加放松和自在，更愿意直白地表达自己的感受。

4. 对情感表达的理解和期待  

不同的男人对“我想你”这句话的理解和期待也有所不同。有的男人认为这句话非常重要，应该在非常特殊的时刻说出，而不是随意使用。他们可能会在分离较长时间后或在经历了一些感动时才会说这句话。而有的男人则认为“我想你”是日常表达的一部分，可以用来表达日常的思念和关心。

5. 不同的表达方式  

即使男人不轻易说“我想你”，这并不意味着他们不在意或者不想念对方。他们可能会通过其他方式来表达这种思念，比如主动打电话、发信息，询问对方的近况，或者计划一起做一些事情。这些行为都是他们表达“我想你”的另一种形式。

总结来说，男人是否轻易说“我想你”受到很多因素的影响。有的男人认为这是重要的情感表达，需慎重使用；有的男人则认为这是一种日常关心的表现。关键在于如何理解对方表达感情的方式，不要单纯依赖语言，而是通过对方的整体行为来判断他们的情感。