C#ではバージョン6から下のような文字列埋め込みが使えます。
string text = $"{point}点";
しかしUnityのデフォルトC#バージョンは4なのでバージョン6を使えるように設定する必要があります。
今回使ったUnityのバージョンは2017.3.1f1です。
C#のバージョン変更設定
まずはメニューバーのEditからProject SettingsのPlayerを選択します。
Other Settingsをタップして展開します。
OtherSettings内のConfigurationのScripting Runtime Versionを.net4.6に変更すれば作業完了です。
変更後は再起動をする必要があります。
Visual Studio上でもエラーが出なくなりました。