作为日常用户,当您遇到错误时,通常不会停下来思考:“也许此问题仅在Windows 10上的Chrome版本89上发生!”你为什么要?大多数人期望网站和应用程序在其系统上正常工作 - 特别是如果他们不使用深奥的旧版本的Internet Explorer。
如果您从事软件开发方面的工作,最好记住遇到它的用户,即“边缘外壳“错误就是一切。但是,如何确保发现这些特定环境的错误?
即使找到了它们,您也如何优先考虑它们?毕竟,对于100%可能的设备/浏览器/屏幕尺寸组合,您的应用程序或网站永远不会看起来完全完美。与大多数事情一样,找到平衡是关键。
请继续阅读以了解有关为什么交叉浏览器测试很重要的信息,以及如何正确做到这一点。
可能有主要的错误仅影响某些环境
“专业”一词在这里是关键。这是进行跨浏览器/设备测试的最重要原因。如果所有特定于环境特定的错误都像“ Firefox中缺少浏览器栏”图标一样次要,则可能不值得在浏览器/设备进行测试的时间和精力。但是现实是,特定于设备的错误可能意味着您的许多用户甚至不会崩溃就无法打开该应用程序。仅仅因为没有在所有浏览器/设备上的错误并不意味着这不是关键问题。
如何优先考虑测试覆盖范围
如上所述,您将永远无法测试世界上每个设备和浏览器版本。即使是最成功的应用程序和网站也有对他们正式支持哪些设备的限制。例如,如果您看一个应用商店或者应用商店清单,您可能会注意到“需要iOS 14”或观察到试图在6岁的摩托罗拉手机上安装行不起作用。
但是,您如何优先考虑哪些环境花费有限的测试时间?最重要的因素包括:
- 市场份额。例如,如果您知道70%的用户正在使用最新版本的Chrome,则可以相应地将更多的测试时间献上。
- 预算。如果您的QA测试预算无限,则每次冲刺数百万美元 - 恭喜!但是,如果您像大多数公司一样,您可能会预算有限的测试时间。
- 时间线。如果您有六个月的时间测试新网站发布,则可能可以在曾经存在的每个浏览器版本上测试。但是,当您有六天的时间时,您只能适合如此多的覆盖范围。
- 客户群。通常,客户群类似于市场份额。但是有时您的用户处于特定类型的人口统计中。例如,如果您的产品主要由低收入的人使用,那么最新,最昂贵的iPhone型号在您的客户群中的可能性较小。
覆盖范围的建议
市场份额和客户群是找出最佳测试覆盖率的类似方法。如果您尚未正式推出,则可能需要依靠一般市场份额。您仍然可以考虑到您的特定客户群,但是将涉及更多猜测工作。
例如,您可能针对某种类型的客户。但这并不意味着您的大多数用户最终都会进入该组。总的来说,您可以根据目标市场查找市场份额,然后从那里开始。例如,假设您计划主要在美国拥有用户。如果您研究美国境内的浏览器市场份额并发现50%的美国人使用铬,这将有助于确定覆盖范围。
如果您有现有的(且相当大的客户群),则可以更精确地做出此决定。例如,如果您具有应用程序/播放商店控制台或Google Analytics(分析),则可以看到每个浏览器/设备上的用户百分比。这并不意味着您需要按照这些百分比进行精确测试,但这是一个很好的起点。
您可能不想以用户拆分的确切方式进行测试的原因之一是,某些环境比其他环境更有可能患有错误。假设您有40个小时的测试,用户分割如下:
- Chrome桌面上的40%
- Safari桌面上的8%
- Firefox桌面上的5%
- 边缘桌面上的4%
- iPhone Safari的20%
- iPad Safari的7%
- Android Chrome的12%
- Android三星浏览器上的4%
这是否意味着您将在Chrome上花费40%的测试时间,8%在Safari桌面上等?不必要。在桌面镀铬中测试网站可能会花费的时间与桌面Safari中相同的时间。此外,与许多其他浏览器相比,Chrome的可能性较小。测试时间的很大一部分用于尝试复制和写作错误报告。因此,有时浏览器/设备的漏洞比其他人更多,最终会吞噬更多的测试时间。
从本质上讲,您需要确保将最集中在测试用户最常用的浏览器以及最有可能有错误的浏览器的平衡上。
交叉浏览器测试清单
每个应用程序或网站的覆盖范围可能略有不同。但是,有一个用于交叉浏览器测试的清单很有帮助。这是我们在测试网站时通常建议的:
- Chrome(最新版本 - Windows/Mac)
- Safari(最新版本 -苹果电脑)
- Firefox(最新版本 - Windows/Mac)
- 边缘(最新版本 - Windows)
- 桌面分辨率1920 x 1080、1366 x 768和1440 x 900
- 大iPhone(例如,iPhone 12 Pro Max,iPhone 11 Pro Max,iPhone 8 Plus)Safari
- iPhone X Safari
- 小iPhone(例如,iPhone 12 Mini)Safari
- iPad Mini Safari
- iPad Standard Safari
- iPhone Pro Safari
- 三星星系标准尺寸(例如,三星Galaxy S21)三星浏览器
- 三星星系大尺寸(例如三星星系注释20 Ultra)
- Google Pixel(最新版本)Chrome
当然,如果您有时间并且可以涵盖其他版本,设备和屏幕尺寸 - 很棒!但是,以上应该为适度的预算提供相当彻底的覆盖范围。
您还应该包括IE 11吗?
提及“ Internet Explorer”,您可能会引起技术(或之外)中普通人的认识或沮丧的吟。有充分的理由 - 众所周知,这是最困难的浏览器来优化网站。即使网站在Safari,Chrome,Firefox和Edge上看起来很完美,也可能会在Internet Explorer上有一些错误。
幸运的是,越来越多的公司正在取消对Internet Explorer的支持。IE现在的市场份额不到1%,而且一天下降。结果,我们建议在IE 11上放下任何正式的测试覆盖范围。通常不值得花费时间和时间来花费数小时的测试和报告仅在Internet Explorer上的错误。
找到一个不错的平衡的一种方法是对IE 11进行粗略检查,但没有任何深入的测试。That way, your team will be aware of any major issues ahead of time, and be ready to respond if customers write in. At the same time, you won’t have wasted tons of extra hours looking through every nook and cranny of the site in Internet Explorer.
当您不需要进行交叉浏览器测试时
有时候,跨环境测试不需要其他覆盖范围。For example, let’s say that you have an iOS app, with 50% of your users on iPhone 7, and 50% on iPhone 8. (Not the most realistic split, especially in modern years – but for the sake of example!) While you’d still want to test different versions of iOS, you wouldn’t need to devote the same amount of testing on both iPhone 8 and iPhone 7. Why? Because the devices are so similar in size/functionality that it would be very uncommon for there to be a bug on one and not the other.
您不需要在所有受支持环境上复制测试的其他常见场景:
- 检查链接是否转到正确的页面。每个平台只需要一次完成一次。例如,如果对iOS和Android应用程序进行了不同的编码,则需要检查每个链接。但是在网站上,您通常只需要检查一次即可。在一些罕见的情况下,链接行为在浏览器之间可能略有不同。例如,也许它会在Safari的新标签中自动打开,但在Chrome的同一标签中。或者,也许它在一个网页视图中显示了链接的PDF,并在另一个网页视图中显示自动下载。但是总的来说,如果该链接转到一个浏览器上的正确页面,则它将对其他浏览器进行相同的操作。
- 在Mac和Windows上的全面覆盖范围内测试相同的浏览器。这似乎与上面推荐的交叉浏览器测试清单有关。但是,我们并不建议您不应该在Windows和Mac上测试Chrome/Firefox,只是他们不需要相等的测试重复。
此外,如果您要为客户进行测试软件,那么重要的是要尊重他们在跨浏览器测试上的偏好。您可以提供有关测试覆盖范围的任何有用信息和指南。但是归根结底,由于预算或上面的任何其他原因,他们可能不会选择让您在所有浏览器中进行测试。
在交叉浏览器测试中需要帮助吗?
如果您有一个应用程序或网站,并且需要在浏览器和手机进行测试,则我们提供按需QA测试服务。联系我们找出我们按需的小时费率。